- 博客(19)
- 收藏
- 关注
RSS订阅转载 Could not satisfy explicit device specification '/device:GPU:0' because no supported kernel for GPU
如上图报错，说gpu没有支持的kernel。原因是应为在tensorflow中，定义在图中的op，有的只能再cup中运行，gpu中不支持。解决方法就是让op自动识别，让它选择在合适的地方运行即可。如果op中有标识的话，在运行的时候指定在cup上执行，如果无法区分的话，可以试试在sess.run的时候加入allow_soft_placement=True。例如：sess = tf.Session(c...
2018-12-28 15:23:19
360
转载 为什么高维稀疏特征的时候，lr 的效果会比 gbdt 好
这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。 假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余9990样本都为0(在高维稀疏的情况下这种情况很常见)，...
2018-11-12 11:35:05
2321
转载 学习MySQL我们应该知道哪些东西
学习MySQL我们应该知道哪些东西？ 随笔：小编由于年前一直在找工作，而年后找到工作后又一直在忙工作，所以也很少有时间给大家写点什么，总的来说呢，回顾一下之前面试的几次经历，也曾小小的总结了一下自己的不足，发现自己虽然一直在原有的公司(外包)拼死拼活，也陆续的学了一大堆东西，心里呢原以为自己也算是小有所成吧，可是随着那几次面试，还是逐渐的发现了一些自己的不足，就比如SQL这快。可能大概是之前...
2018-08-17 16:13:27
845
转载 排序之外部排序
排序之外部排序有时，待排序的文件很大，计算机内存不能容纳整个文件，这时候对文件就不能使用内部排序了（这里做一下说明，其实所有的排序都是在内存中做的，这里说的内部排序是指待排序的内容在内存中就可以完成，而外部排序是指待排序的内容不能在内存中一下子完成，它需要做内外存的内容交换），外部排序常采用的排序方法也是归并排序，这种归并方法由两个不同的阶段组成：1、采用适当的内部排序方法对输入文件的每个...
2018-08-06 09:13:29
192
转载 Python sorted：对自定义的数据结构排序
Python sorted：对自定义的数据结构排序Python 内置的sorted的函数可以用来对自定义的数据结构（列表）（设该列表为myList）排序，用法如下。 首先上定义。Python 2下参数列表：sorted(iterable, cmp, key, reverse)Python 3下参数列表：sorted(iterable, key, reverse) Pyt...
2018-08-03 09:45:36
661
原创 python2 与 python3中map函数的不同
python2中：map（func, list）会直接返回一个list但是python3中map（func, list）则只会返回一个map对象想要返回list，只能list(map)但是！！这个map对象是可以直接用于列表生成式的：...
2018-08-03 09:41:12
1058
原创 python 字符串转整型
今天在将字符串转换为整形时遇见个问题，特此记录我之前经常这么做：int("123")但是今天遇见的的是：“123.0”，此时 int("123.0"), 就报错了ValueError: invalid literal for int() with base 10: '123.0'网上查了一下，原因是，python在做整型转换时，不能带符号（不包括“”）。解决办法是： round(f...
2018-07-27 15:55:06
8022
原创 pandas 按与条件选取数据
chunk = chunk[(chunk.Coupon_id.notnull() and chunk.Date.notnull())]报错ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().改为：chunk = chunk[(...
2018-07-23 21:51:15
2926
原创 pandas 绘制天池O2O大赛购买趋势图
今天在回顾之前做的O2O大赛时，发现了大神提供的一个完整思路https://blog.csdn.net/bryan__/article/details/53907292，其中有副趋势图，由于之前做的时候并没有对数据集做过多的了解（想想这应该也是分不高的原因吧，以后一定要充分了解数据才行）我就想试试绘制。简单的一幅图，遇到不少问题，主要是集中在时间轴的绘制上，需要先转换为时间格式，不然会...
2018-07-23 15:07:24
374
原创 用fillna()填充众数
今天在做特征工程时，考虑给某列的缺失值，填充为该列的众数。按照之前填补均值和最大最小值的方法：import pandas as pddf.Mer_min_discount.fillna(df.Mer_min_discount.mode(), inplace=True) 结果发现缺失值怎么都填充不上，查阅资料后，恍然大悟，原来由于众数可能存在多个，所以pand...
2018-07-20 09:32:41
19911
3
转载 关系数据库与非关系数据库
1. 关系型数据库关系型数据库，是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。关系模型中常用的概念： 关系：可以理解为一张二...
2018-07-17 20:11:09
130
原创 缓存和内存
1、缓存是内存的一部分，是CPU经常访问的内存（不知道理解对不对）2、缓存存在于CPU中，存储的是CPU经常访问的数据，3、CPU从缓存中存取的速度远远快于从内存中存取。4、需要一个合适的算法，经常更新缓存，因为常用的数据也并不会一直常用...
2018-07-17 19:57:27
1191
1
转载 redis集群原理（简版）
先来一张redis集群的架构图： 在这个图中，每一个蓝色的圈都代表着一个redis的服务器节点。它们任何两个节点之间都是相互连通的。客户端可以与任何一个节点相连接，然后就可以访问集群中的任何一个节点。对其进行存取和其他操作。 集群的话，是有好多个redis一起工作的，那么，就需要这个集群不是那么容易挂掉，所以呢，理论上就应该给集群中的每个节点至少一个备用的red...
2018-07-17 19:48:00
3703
转载 redis集群方案-一致性hash算法
redis集群方案-一致性hash算法前奏集群的概念早在 Redis 3.0 之前讨论了，3.0 才在源码中出现。Redis 集群要考虑的问题：节点之间怎么据的同步，如何做到数据一致性。一主一备的模式，可以用 Redis 内部实现的主从备份实现数据同步。但节点不断增多，存在多个 master 的时候，同步的难度会越大。 如何做到负载均衡？请求量大的时候，如何将请求尽量均分到各个服务器...
2018-07-17 19:24:36
4121
转载 Python -- 遍历字典时删除元素报异常
错误的代码①d = {'a':1, 'b':0, 'c':1, 'd':0}for key, val in d.items(): del(d[key]) 错误的代码② -- 对于Python3 d = {'a':1, 'b':0, 'c':1, 'd':0} for key in d.keys(): del(d[key]) 正确的代码...
2018-07-17 08:03:07
1967
转载 机器学习面试 | 这些题目一定会被问到
只要会做下面这些题目（主要看大类，具体问题及解析见《BAT机器学习面试1000题系列》，链接见文末），就能轻松碾压机器学习笔试面试~赶紧收藏吧!计算机科学典型问题给定一棵二叉查找树中的两个元素，求它们的最近公共祖先。基于比较的排序算法的时间复杂度是什么？证明？如何求一个带权图中两个结点直接按的最短路径？如果有些权值是负的怎么办？求一个字符串中所有的回文子串。注意：对这些问题你都要能够推导你的解法的...
2018-07-12 11:51:43
455
转载 逻辑回归和线性支持向量机之间的区别
逻辑回归和线性支持向量机之间的区别逻辑回归和线性支持向量机之间的区别1区别1损失函数2总结一下2两种模型使用选择1区别逻辑回归和支持向量机之间的区别也是面试经常会问的一道题。下面主要讨论逻辑回归（LR）与线性支持向量机（linear SVM）的区别。lr 和 svm本质不同在于loss function的不同，lr的损失函数是 cross entropy loss， ,svm是hinge los...
2018-07-12 11:35:32
486
转载 SciPy教程 - 稀疏矩阵库scipy.sparse
点击打开链接稀疏矩阵在Python科学计算中的实际意义对于那些零元素数目远远多于非零元素数目，并且非零元素的分布没有规律的矩阵称为稀疏矩阵（sparse）。由于稀疏矩阵中非零元素较少，零元素较多，因此可以采用只存储非零元素的方法来进行压缩存储。对于一个用二维数组存储的稀疏矩阵Amn，如果假设存储每个数组元素需要L个字节，那么存储整个矩阵需要m*n*L个字节。但是，这些存储空间的大部分存放的是0元素...
2018-07-09 10:00:54
1350
转载 one-hot编码
学习sklearn和kagggle时遇到的问题，什么是独热编码？为什么要用独热编码？什么情况下可以用独热编码？以及和其他几种编码方式的区别。首先了解机器学习中的特征类别：连续型特征和离散型特征 拿到获取的原始特征，必须对每一特征分别进行归一化，比如，特征A的取值范围是[-1000,1000]，特征B的取值范围是[-1,1].如果使用logistic回归，w1*x1+w2*x2...
2018-03-27 21:00:45
7442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人