- 博客(70)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Jupyter 修改默认目录
结合网上的各种教程，把自己踩过的坑及步骤记录一下；1、修改配置文件在cmd运行jupyter notebook --generate-config会提示不是内部命令，需要把路径添加进环境变量中：因为是 anaconda 安装，软件被接管了，需要通过 Anaconda Prompt 运行（包含了相应的命令）运行jupyter notebook --generate-config生成配置文件，去修改配置文件去掉#注释，后面改为 jupyter notebook 要启动的...
2021-04-08 17:40:57
225
原创 用Pandas的resample进行上采样/下采样
除了用imlearn这个库进行上下/下采样外，用random.sample进行随机下采样的方法已在这一部分进行讲解：https://blog.csdn.net/m0_37712157/article/details/81209712#1%E3%80%81random.shuffle%E6%89%93%E4%B9%B1%E6%8E%92%E5%BA%8F%EF%BC%9A ...
2019-10-24 23:46:23
2425
原创 Linux命令技巧（一）
目录一、tail二、chmod三、wc 统计四、rename五、dos2unix一、tailinux tail命令用途是依照要求将指定的文件的最后部分输出到标准设备，通常是终端，通俗讲来，就是把某个档案文件的最后几行显示到终端上，假设该档案有更新，tail会自己主动刷新，确保你看到最新的档案内容。tail命令语法tail [ -f ] [ -c Number...
2019-10-11 15:11:46
163
原创 LightGBM（二）：参数微调
一、有关leaf_wise tree的参数Parameters 含义 用法 num_leaves 这是控制树模型复杂度的主要参数,理论上，我们可以设置num_leaves = 2^(max_depth)来获得与深度树相同数量的叶子。然而，这种简单的转换在实践中并不好。原因是，对于固定数量的叶子，叶型树通常比深度型树要深得多。无约束深度会引起过拟合。因此，当尝试优化num_...
2019-09-26 16:47:44
576
原创 pandas的拼接问题
目录1、pd.concat2、pd.merge1、pd.concatpredict = pd.concat([df_id, predict], axis=1, ignore_index=True)concat当axis=1时是横着拼接，默认是纵向拼接的。2、pd.mergepd.merge(A, B, how='outer', left_on=a, right...
2019-09-26 14:15:17
234
转载 推荐系统（一）
目录1、基于内容的推荐算法：2、协同过滤算法（CF）：3、基于知识的推荐算法推荐算法大致可以分为三类：基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法。1、基于内容的推荐算法：是什么：根据用户以往评价过或访问过的的物品属性对用户的兴趣建模，也可以说用户喜欢和自己关注过的Item在内容上类似的Item。 比如你看了哈利波特I，基于内容的推荐算法发...
2019-09-15 21:56:14
192
原创 分类精度评价(二)
目录1、roc_curve：2、auc:3、roc_auc_score4、confusion_matrix1、roc_curve：sklearn.metrics.roc_curve(y_true,y_score, pos_label=None, sample_weight=None, drop_intermediate=True)注意：预测输入是概率值，而不是分类后...
2019-08-30 10:26:32
2035
原创 数据分析Tips（一）Pandas
目录1、insert()2、drop3、panda的乘法4、reset_index()5、Pandas的层索引6、创建数组7、删除为空的行或列dropna()1、insert()只能单独存在，不能赋值a.insert(loc=0, columns='a', value=b)2、drop可以赋值，并且可以一次性删除多列a = ['a', 'b'...
2019-08-06 23:43:46
524
原创 （一）房价预测
1from sklearn.datasets import load_bostonimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitimport numpy as npfrom sklearn.preprocessing import...
2019-07-30 23:06:33
346
原创 python数据分析报错
1、OSError: Initializing from file failed当你用pandas读取文件报这种错误时，一般是因为你的文件名中带有中文，例如：res = pd.read_csv('我的文件.csv')1这种情况就会报错，只需要这样更改就可以：f = open('我的文件.csv')res = pd.read_csv(f)...
2019-07-18 21:50:28
174
转载 SQL语句总结（一）
目录1、聚合函数：2、数据分组（GROUP BY)：3、子查询：4、组合查询：1、聚合函数：（也称单组分组函数）SQL中提供的聚合函数可以用来统计、求和、求最值等等。总结：共5个，以emp表中的sal字段为例：select count(sal) from emp;select max(sal) from emp;select min(sal) from em...
2019-07-18 15:41:16
351
转载 风控知识
一、分类模型风控与其他领域一样，分类模型主要分为两大类：排序类、决策类、标注类（文本、自然语言处理）。一般来说风控领域在意的是前两个模型种类，排序类以及决策类。注意:巴塞尔协议定义了金融风险类型：市场风险、作业风险、信用风险。信用风险ABC模型有进件申请评分、行为评分、催收评分。(1)信用风险——申请信用评分申请评分可以将神经网络+逻辑回归联合使用。《公平...
2019-07-06 16:21:29
1310
原创 python生成数据集txt文件与读取数据集
目录一、根据文件夹自动生成带label的txt文件：二、根据txt文件自动生生成filename，label列表数据：一、根据文件夹自动生成带label的txt文件：这是用于给图片打标签并生成txt文件的程序；creat_labeled_txt 给三级目录里的文件打标签，并且标签根据第二级级目录自动生成，如shan:/right(wrong):/a.jpg...
2019-06-08 11:13:38
12120
转载 深度学习卷积及池化层大小计算
用CNN网络进行图片处理，就会遇到卷积、池化后的图像大小问题，一般搜到的答案是这样的：对于初学者，看到这个公式的唯一疑问是：P值到底是多少？在Tensoflow中，Padding有2个选型，'SAME'和'VALID' ，下面举例说明差别：如果 Padding='SAME'，输出尺寸为： W / Smport tensorflow as tfinput_image = tf...
2019-06-03 21:32:07
2916
原创 Tensorflow（三）：神经网络
1、前馈传播： y = (x*w1 + b1)*w2 + b2import tensorflow as tfx = tf.constant([0.9, 0.85], shape=[1,2])w1 = tf.Variable(tf.random_normal([2,3], stddev=1, seed=1), name='w1')w2 = tf.Variable(tf.random_...
2019-05-28 22:07:49
125
原创 Tensorflow(二)：数据操作及管理机制
1、placeholder机制：解决了在有限的输入节点上实现高效地接收大量数据的问题。用于在会话运行时动态提供输入数据；import tensorflow as tfa = tf.placeholder(tf.float32, shape=(2), name='input')b = tf.placeholder(tf.float32, shape=(2), name='input'...
2019-05-28 21:45:13
138
原创 Tensorflow在引入时提示：Process finished with exit code -1073741819 (0xC0000005)
今天用tensorflow的时候莫名其妙地提示：Process finished with exit code -1073741819 (0xC0000005)而且print也print不出来，然后我就一行一行的注释，最终锁定就是引入包的时候出错，对就是tensorflow出错，具体原因还么搞懂为什么，不过稀里糊涂的还是解决了，解决方法就是把一个包给更新到了2.9.0，就是h5py这个包；...
2019-05-27 12:10:26
2233
原创 Tensorflow（一）：Session会话
1、用with/as环境上下文管理器：with tf.Session() as sess: sess.run()2、Session的参数设置：在生成会话时，会设置构造函数的config参数来配置会话的一些选项。如并行的线程，GPU分配策略，运算超时时间等。用ConfigProto()函数的返回值进行运算；config = tf.ConfigProto(log_dev...
2019-05-27 10:49:49
141
转载 Tensorflow小tip
1、tf.logging.set_verbosity(tf.logging.INFO)作用：将 TensorFlow 日志信息输出到屏幕TensorFlow有五个不同级别的日志信息。其严重性为调试DEBUG<信息INFO<警告WARN<错误ERROR<致命FATAL。当你配置日志记录在任何级别，TensorFlow将输出与该级别相对应的所有日志消息以及更高程度严...
2019-05-25 21:58:09
94
原创 Python数据类型（三）：集合
1、是什么：无序，不重复元素序列；2、创建一个集合set:可以使用大括号{ }或者set()函数创建集合，注意：创建一个空集合必须用set()而不是{ }，因为{ }是用来创建一个空字典。3、操作：主要操作：差，并，交>>>basket = {'apple', 'orange', 'apple', 'pear', 'oran...
2019-05-22 21:58:02
129
原创 深度学习总结（三）ResNet
ResNet残差网络1、核心组件：（加了直连）Plain net: 可以拟合出任意目标映射H(x）;Residual net:可以拟合出任意目标映射F(x），H(x) = F(x) + xF(x)是残差映射，相对于identity来说；当H(x)最优映射接近identity时，很容易捕捉到小的扰动； ...
2019-05-22 20:47:52
295
原创 深度学习总结（二）GoogeLeNet
目录GoogeLeNet网络Inception V1Inception V2:Inception V3Inception V4GoogeLeNet网络1、背景知识：1）、ImageNet-2014竞赛第一名；2）、V1-V2-V3-V4;3）、提升：通过增加宽度、深度来，减少参数，降低计算；Inception V11、核心组件：1）、S...
2019-05-22 12:00:40
339
原创 图像处理（一）
（一）、空间分析域或变换1、平滑均值滤波 2、平滑中值滤波原理：卷积域内像素值从小到大排序，取中值。（为什么卷积核取奇数：a.为了对称，举例：一般padding时有Vaild跟Same两种Vaild: n*n f*f -> n - f + 1Same: 令图像输入大小与输...
2019-05-09 15:53:28
274
原创 python各种文件读取
目录1、json文件2、csv3、用with来读取文件，可避免忘掉f.close()4、用pandas读取excel/csv文件1、json文件1）、JSON文件样式：数据保存在键值中；键值对间由逗号分隔；花括号用于保存键值对数据组成的对象；方括号用于保存键值对数据组成的数组（多个对象组成）；【{}，{}】 ...
2019-04-29 20:45:18
258
原创 python 爬虫
（一）步骤：1）、通过网络连接获取内容2）、对获得内容进行处理（二）模块：1）、requests 处理HTTP请求的工具可获得 URL; HTTP会话； Cookie记录requests网页请求：get() ；post() ;requests对象属性：status_code HTTP请求返回状态， 200成功， 400失败。text ...
2019-04-28 10:49:42
96
原创 Python 常见问题总结
1、TypeError: 'list' object cannot be interpreted as an integerfor i in range(input): output += input[i] * weight[i]报错，input为list，因range不接受list类型可以改为： for index, item in enumerate(i...
2019-03-29 17:54:02
1294
原创 MATLAB调用USB2.0摄像头
整个过程我们需要做如下几件事情：1、查询USB2.0Camera的具体参数(imaqhwinfo)2、创建视频输入对象(videoinput)3、图像预览和显示(preview、stoppreview、closepreview和image)4、获取视频图像(getsnapshot)5、图像获取设备的获取和设置(get和set)6、关闭视频对象(delete)1、获取信息：...
2019-03-26 11:09:22
2569
原创 用Anaconda进行tensorflow的gpu版本安装
直接用anaconda安装，不用单独安装cuda与cudnn参考地址：https://www.anaconda.com/tensorflow-in-anaconda/ 第一步：第二步：第三步：第四歩：成功参考网站：https://zhuanlan.zhihu.com/p/59109217...
2019-03-25 18:01:00
1220
原创 Python 注意点
在这里对python容易忽视的知识点进行总结：1、input提示“can't multiply sequence by non-int of type 'float'”weight = input("weight(kg): ")因为input是字符串类型，string类型，需转成数值型。man_bmr = 13.7*float(weight) + 5.0*float(heig...
2019-03-23 21:40:39
88
原创 Python 数据类型（二）：字典
目录1、创建字典2、字典查找：(一般统计标签值，用来判断如KNN出现最大频率的标签，Shannon熵统计每个标签出现的频率）3、字典取key值（用来统计有什么样的标签）4、字典根据标签来统计标签样本的个数（result_list[j] += 1#对各自标签出现的次数进行统计，常用）什么样的标签）1、创建字典当根据label来创建一字典，即标签：dataSet =...
2019-02-28 19:49:30
186
原创 KNN(二）：知识点总结
1、字典取数： sortedDistIndices = distances.argsort() #argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y #确定前k个点所在类别出现频率 classCount = {} for i in range(k): voteIlabel = labels[sorte...
2019-02-26 21:59:15
316
原创 KNN（一）
对机器学习实战这本书的KNN部分进行整理，代码分两部分，一部分是myKNN.py，包含了所需的函数，另一部分是myKNN_run.py，对所需函数进行调用。python版本为3.X。myKNN.py：# coding: utf-8# In[3]:from numpy import *import operatorimport osdef classify0(inX, d...
2019-02-14 19:09:09
638
原创 tensorflow问题总结
目录1、tensorflow python framework erros invalidArgmentError:connot batch tensors with different shapes in componet 0. First element had shape [227,227,3] and element 19 had shape [227,227,4]2、incomp...
2019-02-12 17:47:10
3062
1
原创 核密度估计（kernel density estimation)kde
kde(kernel density estimation)是核密度估计。核的作用是根据离散采样，估计连续密度分布。核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一。由于核密度估计方法不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，因而，在统计学理论和应用领域均受到高度的重视。核密度估计其实就是通过核函数（如高斯）...
2018-12-01 22:35:18
8004
转载 Seaborn（2）可视化数据集的分布
可视化数据集的分布单元分布 双元分布 可视化数据集中的pairwise relationship1. 单元分布 sns.distplot() 直方图（hist）+内核密度函数（kde） 在seaborn中最简便查看单元分布的函数是distplot().该函数默认绘制直方图并拟合内核密度估计。通过调整参数可以分别绘制直方图，拟合内核密度图，地毯图等。x = np.rando...
2018-11-29 22:38:31
861
转载 Python的apply,map,lambda函数应用
在Python中如果想要对数据使用函数，可以借助apply(),applymap(),map() 来应用函数，括号里面可以是直接函数式，或者自定义函数（def）或者匿名函数（lambad） import pandas as pdimport numpy as npfrom pandas import DataFramefrom pandas import Seriesdf1= ...
2018-11-21 22:41:32
11443
转载 Pandas基本函数
目录一、生成数据表二、数据表信息查看三、数据表清洗四、数据预处理五、数据提取六、数据筛选七、数据汇总八、数据统计九、数据输出十、数据拼接合并一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd2、导入CSV或者xlsx文件：...
2018-11-21 16:29:52
1480
空空如也
用从v.imread读出的图像显示颜色发生了变化，这是什么原因？
2020-09-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人