- 博客(18)
- 收藏
- 关注
RSS订阅原创 古代文学史摘要---001
一曰载民，二曰玄鸟，三曰逐草木，四曰奋五谷，五曰敬天常，六曰达帝功，七曰依地德，八曰总禽兽之极。东南海之外，甘水之间，有羲和之国。羲和者，帝俊之妻，生十日。古代人民对自然及社会的理解和想象的故事，是人类早期不自觉的艺术创作。烛龙：一睡睡半年，睡着的时候天地黑暗，醒来天才亮。考古发现，原始的诗歌和宗教祭祀一起出现，内容表现劳动生活。雷神：雷泽中有雷神，龙身而人头，鼓其腹。风神飞廉：飞廉，鹿身，头如雀，有角，而蛇尾豹文。土反其宅，水归其壑，昆虫毋作，草木归其泽。神，北行，先除水道，决通沟渎。
2023-07-09 16:07:48
86
原创 pytorch使用中的一些坑
1.LSTM报错：RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling backward the first time.LSTM由于需要保存上一次的隐藏层信息，而backward之后这些信息会丢失，进而出现上述报错。解决方案可参考：
2021-03-02 11:14:19
606
原创 numpy数组计算中的axis
numpy数组计算中，经常要求按照某个轴计算，如axis=0/1.对于高维数组，究竟是在哪个维度上计算呢？其实axis中的0，1，2指的就是数组中数据块的层级关系。0就是最外层，指的是从最外层进入数组后的各个子数据块；1就是就是进入前面的各个子数据块后的更内层数据块。以如下二维数组为例，arr = np.array([[1,2,3], [6,5,4]]).(1) 当axis=0时，从最外层进入数组内部，面对的时[1,2,3]和[6,5,4]两个子数据块，将两个数据块计算，#求和In [25]: ar
2020-07-17 17:02:13
248
原创 pandas之concat陷阱
使用pandas的拼接功能时，需要注意表索引是否一致。如果两个表的索引不一致，很可能出现拼接错误的情况。如下所示：原本想横向将两个df表拼接，但df3中的索引与df1不一致，导致最终的拼接结果在横向和纵向都有扩展；而df1和df2有相同索引，达到了期望的拼接效果。import pandas as pddf1 = pd.DataFrame([[101,'上海',23],[102,'北京',45],[103,'北京',15]],columns = ['ID','city','age'])df2 = pd
2020-07-08 15:49:08
1068
原创 hive的left join 陷阱
hive中，左连接操作不能在on的右边加不等式条件。比如在hive中不能进行如下操作：select * from tabel_1 a left join table_2 b on a.id=b.id and a.salary>b.salary会出现报错。有人给出的答案是把上面语句改成：select * from tabel_1 a left join table_2 b on a.id...
2019-12-19 15:02:44
968
原创 FAILED: UDFArgumentTypeException Exactly one argument is expected.
hivesql报错，FAILED: UDFArgumentTypeException Exactly one argument is expected. 百度看到有人的sum函数没有加入参数，我的加入了参数但是也报错。百思不得解，一顿乱找，最后发现竟然还是sum函数用错了。求多个字段的和直接用加号即可，而我把几个字段作为参数都...
2019-11-20 15:43:01
8536
原创 hive之union all语句
学习hive代码，头一次发现union all命令，记录一下使用方法。union all 的主要功能是将将不同表的查询结果联合起来，前提是每个查询表的查询字段要相同才可以。结果如下： ...
2019-11-14 19:30:24
2689
原创 mysql的返回非空值函数coalesce
该函数的目标是返回众多参数中的第一个非空值。原表t_person如下：使用coalesce函数小姑如下：上面的操作表示：对每一行，当此人的年龄值为的时候返回0，否则返回原来的值。 小小菜鸡今天又学了一点知识好开心呢 ^^...
2019-11-14 14:47:57
1122
原创 sql的开窗函数
(此文档用来记录日常学习收获，只是个人对知识点的理解) 开窗函数基本格式：sum(col_name)/count(col_name)/avg(col...
2019-11-14 10:51:21
189
原创 元素级的数组运算
应用场景：数组中含有大量元素，如果要对数组里面的元素进行加减乘除等计算，最容易的方法就是通过循环控制访问数组每个元素，并对每个元素进行操作。但是，这种循环方式使得计算效率十分低下。python提供了一些通过函数，可以直接将数组作为参数，直接将函数作用域数组中的元素。A、一元通用函数1.数组判空np.isnan(array_name)2.求整运算np.ceil(array_name):求...
2019-09-13 12:37:34
510
原创 logistic损失函数推导
\qquad Sklearn中逻辑回归的损失函数的推导：\qquad假设y的标签为1和-1，用极大似然估计法估计模型参数,P(Y=1∣Xi)P(Y=1|X_i)P(Y=1∣Xi)=h(XiTW+C)h(X_i^TW+C)h(XiTW+C)=11+exp(−(XiTW+C))\frac{1}{1+exp(-(X_i^TW+C))}1+exp(−(XiTW+C))1,则目标为估计最大化下列...
2019-05-19 12:44:59
460
原创 sklearn应用之logistic优化算法选择
class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, m...
2019-05-18 18:46:23
424
原创 Tensorflow设置gpu显存使用比例
一般情况下，tf程序会再运行时占用gpu所有显存。可以通过会话设置，使得代码只是用gpu一定比例的显存：config = tf.ConfigProto()congfig.gpu_options.per_process_gpu_memory_fraction = 0.4sess = tf.Session(config =config )...
2018-10-22 16:05:47
1274
原创 基于深度的图像相似度计算
已知每张图片上各个像素点在世界坐标系下的（x,y,z）坐标值，寻找一种快速获得两张图像相似度的方法。方法一：计算图片A上任一点（x1,y1,z1）和图片B任一点（x2,y2,z2）的欧式距离。如果距离值小于某个指定阈值，则该两点相同，否则不同。该方法缺点：计算量大，即使采用像素点抽样的方法，仍然有很大的计算障碍。比如100x100的图片，共有10000个点，抽样50%，则有5000个点。则计算两...
2018-09-20 17:35:30
2573
原创 谷歌facenet项目代码解读（一）--align_dataset_mtcnn.py
附上代码连接：align_dataset_mtcnn.py 该代码主要是用于人脸对齐和人脸图像缩略图存储用的。人脸对齐主要是将人的鼻子，眼睛，嘴巴等特征标识出来。人脸对齐之前需要做的工作是人脸检测，之后人脸对齐，接着才可以进行人脸识别或者人脸验证等。该脚本主要由两个函数构成，main函数和parse_arguments参数解析.parse_arguments函数比较简单，具体使用可参考py...
2018-09-12 11:34:39
2323
原创 马尔科夫决策过程知识详解1
本节介绍了深入浅出强化学习原理入门一书的马尔科夫决策过程一节。主要目的是整理其中知识点，以便日后复习所用。（侵删） 马尔科夫决策过程是一套可以解决大部分强化学习问题的框架，简称MDP。按照顺序分别介绍马尔科夫性，马尔科夫过程，以及马尔科夫决策过程。一 马尔科夫性马尔科夫性指的是系统的下一个状态S（t+1）仅与当前状态S（t）有关，与以前的状态无关。公式如下： ...
2018-09-11 18:11:59
2030
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人