- 博客(70)
- 收藏
- 关注
RSS订阅原创 2020年12月15日python连接pgsql解决空值插入问题
问题描述在编写python连接pgsql脚本的过程中，发现两种语言对于空值处理的方式不同，python使用的是None表示，pgsql使用的是Null表示，这就使得你插入pgsql中空值的时候，不能用None表示（会报错）。于是引起了接下来的一大堆查询。解决方法import psycopg2conn = psycopg.connect(database='runoobdb', user='postgres', \ password='******', host='local
2020-12-15 19:27:06
1185
原创 2020-09-08 利用python连接PSQL
相比PSQL，我觉得python更容易点，尤其最近让我批量插入数据的时候，我觉得真的很有必要将PSQL和python连接起来，真的很能解决批量插入数据的问题。库的准备连接PSQL用的python第三方库：psycopg2期间很有可能用到numpy、pandas等库用于处理数据，这两个库的强大，我想懂的人都是懂的。连接到PSQLimport psycopg2# 以下代码用于连接数据库，本次以连接本地数据库为例conn = psycopg2.connet(database='runoobdb',
2020-09-08 19:27:41
204
原创 2020-09-03 不忘初心，继续前行
10年前，当人们都说土木行业行情一片大好的情况下我选择了相关专业，当人们说计算机供大于求的时候，我从未考虑过它。如今，10年前选择的纷纷证明了当年选择计算机专业是多么的正确，我没有办法回到那个年代，选取该行业。所以，我不应该太羡慕他们，因为只是羡慕是无用的，不如静下心来好好学习，提升自己。对于计算机自己乱七八糟的一顿乱砍，也算是有点进步，自己现在学习的神经网络了什么的，也是杂七杂八，也仅仅是满足了自己的好奇心，嫣然有种食之淡味，弃之可惜。不想以后再遇到合适的机会因为自己当时的放弃学习而没把握住。最近
2020-09-03 18:59:57
167
原创 2020-08-30 python面向对象学习及麦叔迷宫实战
他来了他来了！！！经过几天面向对象的继续学习，感觉自己懂了不少面向对象的知识，并且通过学习麦叔面向对象的课程，自己也动手实现了“麦叔迷宫”。接下来总结下面向对象这部分知识，然后加上“麦叔迷宫”自己写的代码。面向对象（Object Oriented Programming）面向对象中几个重要的概念应该就是类、实例(对象)、属性、方法。什么是类，其实就是一些事物共有的特征（一些实体的共性）；实例就是具体的实物，他们出了来自同一个类，具有类的共同特征外，他们还有自己的独有的特征（实例的个性）；类和实例都具有
2020-08-30 18:37:46
260
原创 2020_08_24 python-列表、文档操作
数据结构列表列表常用的方法。嵌套列表解析记得面试时，面试官问过我这样一个问题：利用python原生库实现一个矩阵的转置。接下来以下边这个矩阵开刀。方法一：方法二：python3模块常用的函数以numpy为例python中的读写文件文件的常用APIopen()函数用于打开文件，主要有两个参数，第一个是读取文件的路径及格式，第二个表示以什么样的模式对文件进行操作。第二个参数的选择有“r， w， a”，主要用r和w都会从文档的最起始位置开始读入或者写入，“r+”或者“w+”或者“
2020-08-24 20:50:23
139
1
原创 2020-08-23 python复习-迭代、函数
迭代器迭代器是python中访问集合中元素的一种方法，它记录的是可遍历对象的位置，从可遍历对象第一个位置开始，直至对象的全部元素取出。注意迭代器只能前进，不能后退，直至最后弹出’StopIteration’的异常。迭代器常用的两种方法是iter()和next()。可迭代对象创建迭代器字符串、列表、元组等可迭代对象都可以创建迭代器。一般用for语句访问迭代器的所有元素。或者用while语句访问，但是要加上异常检测，并退出循环，否则容易造成死循环。迭代器生成式。。。列表生成式摇身一变，就转成迭
2020-08-23 17:52:04
111
原创 2020-08-21 PostpreSQL循环语句
主要讲解PostpreSQL中 while 、for… 循环，期间也会夹杂 if 条件判断语句。简简单单一个循环框架如果单纯的想写个循环，那么就利用以下固定格式吧。简简单单一个循环老规矩，只要学习循环，就先写个从1到100的累计加法吧。其实这只是很简单的例子，主要是先理解这个循环结构怎么写，等到熟悉了循环的架构，到时候再灵活结合select、insert、update等语句，就可以完成重复性的插入了、查询等工作。循环中的记录变量以往学习存储过程的时候，我就发现如果想把一个text类型
2020-08-21 18:02:39
433
原创 2020-08-19-20 python复习---基本用法，数据类型，数据容器，循环
python闲置几个月了，前几天突然试了一下格式化的语句，结果还输错了，心酸啊。所以最近刚在电脑上把Anaconda装上，回顾一下python的重要知识，把以前没彻底搞懂的什么面向对象，时间序列问题好好的学一篇，把tensorflow这大老虎也装上，开始python的又一次“迷人之旅”。多行语句python通常是一行写完一条语句，但是有时候也会用反斜杠（\）来实现多行语句（续行符）。同时也用反斜杠\转义特殊字符（转义符）。r # row：原生的在一个字符串中反斜杠加上特定的字母可有特定的含义，比
2020-08-20 21:11:35
170
原创 2020-08-20 PostgreSQL存储过程学习总结
从入职到现在的半个月内，多次受到PSQL存储过程的打击，今天无不例外也是踩坑了，不过经过一早上的独自奋战，算是解决了不少问题。那么咱们就开始把。函数&存储过程查阅PSQL的资料时总是会把函数说成存储过程，现在想想他们俩有一定的联系，但是按照我学习python语言的理解，他们俩还是有一定的区别的。函数往往会返回一个结果，而存储过程往往都是完成了一系列select、update、insert等语句，并不旨在返回一个什么样的结果，它的问题就是增删查改。我们姑且就叫函数等同于存储过程吧。PSQL的函数定
2020-08-20 16:49:02
201
原创 2020-08-16PostgreSQL乱七八糟的总结
下周开始经理要安排我做一系列关于PSQL报表的工作，估计对于我这个新手来说会有很大的难度，慢点学习，在工作中理解与进步。接下来针对这两天查阅部分的资料进行一个简单的汇总。generate_series(1, 10, 2)生成一系列的数字，相信这里的参数基本上有过编程基础的都知道，不过多赘述。这里有点像广播算法。SQL常用数据类型总结int、numeric、serial、varchar()、text、date。常用于创建表时对于字段数据类型的定义，也可用于数据类型的转换。再介绍下PSQL中内
2020-08-16 20:32:29
221
原创 2020-8-13 SQL简介和DQL、DML、DDL、DCL概念的区分
SQL简介SQL的发展由1974年开始，是一个标准的数据库语言，是面向集合的描述性非过程化语言。同时正由于SQL是非过程化语言，即大多数语言都是独立执行的，与上下文无关，使得SQL语言的程序缺乏一个完整的过程，所以考虑了将SQL嵌入到高级语言中来完成一个完整的应用。SQL语言的分类数据查询语言 DQL其实就是SELECT，FROM，WHERE子句组成的查询块。数据操纵语言 DML主要有INSERT, UPDATE和DELETE。数据定义语言 DDL用于创建数据库中各种对象—表、视图、索引等。
2020-08-13 16:53:02
146
原创 2020-08-12PostgreSQL将某列多条记录合并为一行
业务上遇到的一个问题，暂时还不太懂实现的原理，但已从网上查到解决的办法，利用PostpreSQL实现类似sqlServer中的stuff函数。将表转为代码为select area,array_to_string(array(select unnest(array_agg(block))), ‘,’) mergefrom test group by area;语法通用格式为select 需要合并的列,array_to_string(array(select unnest(array_ag
2020-08-12 14:31:06
713
原创 2020-8-10 PostpreSQL中实战小结（case...when...心得，with..as..和view的区别）
case…when…使用心得case when类似于python中的if else语句，但经过最近一段时间使用，我觉得其实更像是完成了一种关系的映射。接下来先说语法吧，自己也说的不太清楚，先总结看看吧。以下表为例。语法一case when 列名condition then 输出结果 when 列名condition then 输出结果 … else 输出结果 end；利用此语法将id化成对应的英文select case when id=1 then ‘one’ when id=2 then ‘t
2020-08-10 20:45:00
678
原创 2020-8-5 PostgreSQL高级
公司为期两天的入职培训终于结束了，昨晚参加了部门的聚餐，喝的有点多，经理也给我分配了入职以来的第一份工作，虽然是很简单的机械操作，但也细心完成了，并最终对自己的所做的工作做了份简单的统计报告。接下来就好好熟悉业务，尽早适应工作中的事宜。PostpreSQL 索引索引是加速搜索引擎检索数据的一种特殊表查询。一个数据库中的索引与一本书的索引目录是非常相似的。索引有助于加快select查询和where子句，但他会减慢使用update和insert语句时的数据输入。索引可以创建或删除，但不会影响数据。使用c
2020-08-05 19:59:12
138
原创 2020-8-3 PostgreSQL的高级语法 ‘这部分触发器有问题，待修改‘
最近几天忙着入职培训，估计这次笔记会断断续续。screw it， Just fuck！！！PostpreSQL 约束主要用于创建表格时（也可创建表之后修改），对表中的数据规则进行约束。如果在插入数据时违反了创建时设置的约束条件，那么此次行为将会强行终止。约束保证了数据库中数据的准确性和可靠性。以下是postpresql中常用的约束：not null：不能存储位null值；unique：确保某列的值都是唯一的；primary key：主键，是not null 和unique 的结合，毕竟主键就是
2020-08-03 20:55:49
407
原创 2020-8-1 PostgreSQL学习
时隔了n段时间后再次写博客，期间遇到mooc课程下架，自己又找了oracle其他的学习资料，但是多以手写笔记为主，最近也刚完成入职租房等一系列琐碎的事情，但是单位突然让学习postpresql的学习，也是一门数据库语音，不过语法上和oracle都大同小异，加油干吧，虽然单位好多事情和自己想的不一样，到那时！既来之则安之。 目前已利用navicat连接了psql，但是因为IP地址的限制，这里的学习主要在SQL Shell上完成。 \help 用于查看各个命令的语法，注意不能有空格。ctrl + c
2020-08-01 19:00:12
237
原创 2020.6.11-数据库原理与应用：数据库原理与应用Day5-sql
第3章 关系数据库标准语言SQL3.1 SQL概述 SQL（Structured Quetry Language，结构化查询语言）,1974年由Boyce和Chamberlin提出，最初叫Sequel，并在IBM公司研制的关系数据库管理系统原型System R上实现。 各个公司开发的关系数据库管理系统都支持SQL标准，都采用SQL命令集作为该系统的数据操作语言。 目前，没有一个数据库管理系统能够支持SQL标准的所有概念和特性。许多软件厂商对SQL基本命令集还进行了不同程度的扩充和修改，又可以支
2020-06-30 08:57:21
176
原创 2020.6.19-27-数据库原理与应用Day6
3.3 数据查询 单表查询、连接查询、嵌套查询和集合查询。3.3.1 语句格式其中all和distinct可写或者写的时候二选一，主要是用来表示是否去掉重复的行。默认为all。3.3.2 单表查询 查询仅涉及一个表，是一种最简单的查询操作。 分为：选择表中的若干列；选择表中的若干元组；对查询结果排序；使用集函数；对查询结果分组。查询指定列查询全部列...
2020-06-27 11:28:01
247
原创 2020.6.17-数据库原理与应用Day5
觉得不能刻板的记笔记，还是直接先听课，然后记录关键的信息，具体可查看MOOC上的课程。第3章 关系数据库标准语言SQL 本门课程主要实验环境：Oracle 11g和PL/SQL Developer 课程中主要讲解的是Oracle中的SQL语言； 所有例题中用到的截图来自Oracle 11g课程中主要用到的3个关系（也就是表）： s(sno, sname, ssex, sbirth, college) 学生表（学号，姓名，性别，出生日期，学院） c(cno, name, cpno, c
2020-06-17 21:23:23
180
原创 2020.6.8-10-数据库原理与应用：数据库原理与应用Day4
博客一不小心关闭了，后期补上。关系数据库2.1 关系数据库及形式化定义2.1.2 关系模式 关系模式是对关系的描述。关系就是一张二维表，也是一个集合。关系是元组的集合，因此关系模式必须指出这个元组集合的结构，即它由哪些属性构成，这些属性来自哪些域，以及属性与域之间的映像关系。 现实世界的许多已有事实限定了关系模式所有可能的关系必须满足一定的完整性约束。这些约束或者通过对属性取值范围的限定，或者通过属性值间的相互关连反映出来。关系模式应当刻画出这些完整性约束条件。 因此，一个关系模式应当是一
2020-06-08 22:04:55
432
原创 2020.5.27-数据库原理与应用：数据库原理与应用Day3
1.3 数据库系统的结构1.3.1 数据库系统模式的概念 从数据库应用开发人员角度看，数据库系统通常采用三级模式结构，是数据库系统内部的系统结构。 从数据库最终用户角度看，数据库系统的结构分为：客户/服务器结构（Client/Server）浏览器/服务器结构（Browser/Server）分布式结构“型”和“值”的概念：型（Type）：对某一类数据的结构和属性的说明，说的是这一类数据的共性。值（Value）：是型的一个具体赋值。模式（Schema）：数据库逻
2020-05-28 09:32:03
133
原创 2020.5.25-数据库原理与应用：数据库原理与应用Day2
1.2.1 概念模型1.概念模型的表示方法 实体-联系方法（Entity-Relationship） E-R图实体型：用矩形框表示，实体集名字写在框中。联系：用菱形框表示，联系名写在框中，用无向边与相关实体集连接，并注明联系类型。属性：用椭圆表示，属性名写在椭圆中，如果为码属性，其名字带下划线。用无向边将实体集和它的全部属性连接起来。若联系也有属性，把属性和菱形用无向边连起来。上图表示单个实体集之间的联系。以上表示多个实体集之间的联系。例如某大学选修课程案例。添加上属性后为：1.
2020-05-25 21:37:02
243
原创 2020.5.24-数据库原理与应用：数据库原理与应用Day1
1.1 数据库系统概述基本概念：数据（Data）信息（information）我国著名的信息学专家钟义信教授认为“信息是事物存在方式或运动状态，以这种方式或状态直接或间接的表述”。美国信息管理专家霍顿（F.W.Horton）给信息下定义是：“信息是为了满足用户决策的需要而经过加工处理的数据。”简单地说，信息是经过加工的数据，或者说，信息是数据处理的结果。信息和数据是密不可分的。在计算机中：信息是数据经过加工处理后得到的另一种形式的数据，这种数据在某种程度上影响接收者的行为。具有可观真实性、传
2020-05-24 09:14:00
588
原创 2020.5.23：time模块的几个用法
无论是机器学习还是深度学习，在拿到数据集的时候经常会遇到关于时间的问题。这里从别人的微信公众号上摘抄过来。1. 使用time模块打印当前时间# 导入时间模块import time# 打印当前时间，注意返回的是浮点数seconds = time.time()# 例如返回的是1590230719.79705742. 浮点数转时间结构体接以上代码，注意返回的是结构化的时间，并不是我们通常理解的2020.5.23.18:49…local_time = time.localtime(seconds)
2020-05-23 19:10:41
261
原创 2020.5.23一直停滞后的学习：10个python编程小技巧。
参考自b站1. 变量的交换（Swapping Variables）交换a和b的变量方法一：比较简单及繁琐，可读性也较差。a = 1b = 2temp = a # 定义一个临时变量a = bb = temp方法二：好像仅在python中成立a = 1b = 2a, b = b, a2. 字符串格式化（String Formatting）在程序中组合和拼接字符串，我们一般使用“+”的形式，但是如果字符串较多的话，则会现得代码比较杂乱且可读性大大的降低，而且当我们连接int或者flo
2020-05-23 12:13:22
124
原创 2020.4.14，RNN简单学习
循环神经网络（Recurrent Neural Network）注意用来处理序列问题（Sequence）Sequence embedding ==>> [b, seq_len, feature_len] # b个句子，每个句子数量seq_len，每个单词为feature_len的长度。要理解在大文本的数据集中为什么要选用word embedding这种方法，而不是用one-h...
2020-04-16 09:04:58
148
原创 2020.4.5：jieba和wordcloud统计聊天信息
微信聊天记录网上教程比较复杂，没有实现，经过询问同学，主要采取人工的方法，将和某人的聊天记录暴力抓取。（ctrl+c ==> ctrl+v）代码实现import jiebaimport wordcloudfrom scipy.misc import imreadwith open('chat.txt', 'r', encoding='utf-8') as f: text = f...
2020-04-05 09:23:32
113
原创 关于许久以前的一个面试问题：用python自带的库实现一个矩阵的转置
这是2019年面试四维图新的一道面试题，因为自己是自学的小白，十分渴望与大佬交流学习的机会，就放开胆子参加了一次关于计算机专业的面试，虽然最终没有被录用，但是还是很开心。当时面试官提了几个问题，我都基本回答上来了，就是这个问题，因为时间原因，加上自己紧张，没有及时答上来，最近又想了想，最终实现了一下的方法。虽然勉勉强强，但还好是跑了出来。问题：用python自带的库实现一个矩阵的转置。def...
2020-03-31 09:40:49
135
原创 2020.3.29-3.31学习：计划改变学习线程，CNN基础知识
从入门学习python到爬虫，机器学习再到深度学习也有一年多了，感觉现在的自己还是只有一些基础，一直停留在学习API的无止境循环中，效果还不太好，没有一点实战能力，因为API真的是太多了。所以受网上UP主的启发，决定今后一段时间里将CNN和RNN理论搞懂大部分，结合实际项目有针对的学习API，尝试一下新的学习方法。从深度神经网络（DNN）到卷积神经网络（CNN）传统的神经网络结构如下图，而...
2020-03-29 13:34:58
214
原创 2020.3.28学习笔记
Tf.data中API使用1.学习预览Dataset基础API使用Dataset读取csv文件Dataset读取和存储tfrecord文件，tensorflow中自带的文件存储格式，更快2.使用API列表Dataset基础使用tf.data.Dataset.from_tensor_slices ==> 用来构建DatasetData构建后的具体使用方法有 ==> ...
2020-03-28 17:19:29
84
原创 2020.3.27学习总结：Wide&Deep模型
参考描述Wide&Deep模型是Tensorflow与2016年6月左右发布的一个用于Google Play中的应用推荐模型，其主要用于做分类和回归问题。Wide&Deep模型的主要思想就是结合线性模型的记忆能力和DNN模型的泛化能力。记忆：从历史数据中发现item或者特征之间的相关性，因为用于的是线性模型，主要就是通过权重和偏置来进行组合；泛化：即相关性的传递，主要利用多层...
2020-03-27 10:53:00
183
原创 2020.3.26学习笔记：主要是巩固神经网络的实现过程
巩固知识，和之前写的那个代码有点区别，但是思想是一样的，都是构建模型，然后前向传播得出损失函数的值，反向传播算出各个参数的梯度，更新权重，再计算损失函数值，等依次重复。import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow import keras from sklea...
2020-03-26 21:34:12
108
原创 2020.3.25学习笔记：函数求导，
主要是利用函数近似求导的公式编写代码。def f(x): return 3. * x ** 2 + 2. * x - 1def approximate_derivative(f, x, eps=1e-3): return (f(x + eps) - f(x - eps)) / (2 * eps)print(approximate_derivative(f, 1.))def g(x...
2020-03-25 11:15:45
295
原创 利用网页生成决策树
直入主题。先利用sklearn生成‘tree.dot’，然后利用word打开导入网页“http://www.webgraphviz.com”生成即可。期间遇到查看当前程序运行路径的问题。from sklearn import treetreee.export_graphviz(clf, out_file='tree.dot')# clf在此已为模型，略# 查看当前程序运行路径im...
2020-03-09 22:11:29
739
原创 np.c_和np.r_的用法
np.c_：是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等；np.r_：是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。但两个API的调用都需用[]，参数为需要合并的数据。import numpy as npx = np.arange(9).reshape(3, 3)y = np.ones([3, 3])c = np.r_[x, y]d = np.c_[x, y]x...
2019-11-21 19:32:17
149
原创 卷积神经网络对CIFAR100实战
CIFAR100数据分为测试集和训练集，为50k+10k，每张图片大小为32323，共100种分类。正是由于图片小，分类多的特性使得该项目测试难度较大。本次网络共设置13层（2卷积层+2卷积层+2卷积层+2卷积层+2卷积层+3全连接层），所以数据在训练过程中速度会较慢。import tensorflow as tfimport tensorflow.keras import datasets,...
2019-11-05 21:36:22
2576
2
原创 python关闭warnings的方法
方法一：这种方法不知道为什么，有时候会提示‘str’类型的错误，此时可以用方法二。import warningswarnings.filterwarnings('ignore')方法二：import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'os.environ[‘TF_CPP_MIN_LOG_LEVEL’]还四个参数，接下来一一介绍。im...
2019-11-03 11:15:58
3638
1
原创 利用tensorflow深度学习框架做fashionmnist的神经网络分类
import tensorflow as tffrom tensorflow.keras import datasets, layers, optimizers, Sequentialdef preprocess(x, y): x = tf.cast(x, dtype=tf.float32) / 255. y = tf.cast(y, dtype=tf.int32) return ...
2019-10-30 19:50:53
200
1
原创 利用python做三维图可视化
import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Ddef himmelblau(x): return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2 - 7)**2x = np.linspace(-6, 6, 200)y...
2019-10-30 15:39:07
6118
1
原创 网格搜索参数及其常用代码
利用sklearn中的GridSearchCV对模型最优超参数进行选择，经常与交叉验证共用。参数选择表现如下：0.01 0.1 1.0 10.0 100.01 (0.01, 1) (0.1, 1) (1, 1) (10, 1) (100, 1)2 (0.01, 2) (0.1, 2) (1, 2) (10, 2) (100, 2)3 (...
2019-09-12 18:21:24
1939
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人