- 博客(30)
- 收藏
- 关注
RSS订阅原创 天池赛-二手车交易价格预测-赛题理解&数据分析
主要是跟着赛题理解的帖子，自己做了一遍1、学习目标 理解赛题数据和目标，清楚评分体系2、了解赛题3、评价标准本赛题的评价标准为MAE(Mean Absolute Error)二、数据分析（记录一些python的语法）...
2020-03-24 20:52:52
897
原创 斯坦福CS224n-assignment1.4
一、什么是情感分类情感分类任务就是看一段文本，然后分辨这个人是否喜欢他们在讨论的这个东西。二、如何实现简单的情况分类词向量的平均值进行预测i like orange juice比如有一个300维的词向量i [........0.5........]，取平均...........juice[.......o.8....] 去平均通过平均词向量这个句子的词向量就...
2019-05-28 14:20:35
135
原创 斯坦福CS224n-lecture06- 依存分析
句法分析是自然语言处理中的关键底层技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。句法分析分为句法结构分析（syntactic structure parsing）和依存关系分析(dependency parsing)。以获取整个句子的句法结构或者完全短语结构为目的的句法分析，被称为成分结构分析（constituent structure parsing）或者短语结构分析...
2019-05-21 13:57:29
645
转载 sorted函数
1.sorted函数按key值对字典排序 先来基本介绍一下sorted函数，sorted(iterable,key,reverse)，sorted一共有iterable,key,reverse这三个参数。其中iterable表示可以迭代的对象，例如可以是 dict.items()、dict.keys()等，key是一个函数，用来选取参与比较的元素，reverse则是用来...
2019-05-15 14:00:12
5764
原创 算法--哈夫曼树与哈弗曼编码
视频地址：https://www.bilibili.com/video/av14273362/?p=1自己去书，真看不懂，这个老师讲得很好！！！视频讲解了为什么要提出哈夫曼树，什么是哈夫曼树，怎么计算哈夫曼树的代价函数，哈夫曼树的特点，怎么构造哈夫曼树。什么是哈夫曼树：每个字符出现的频率不一样，有的字符出现频率大，字符出现的频率低，不同的频率，使用不同的占位的编码。判定树：...
2019-05-07 12:10:11
339
原创 斯坦福CS224n-assignment1
总结：1、softmax 函数公式，作用在输出层，把预测值转换成输出值的概率分布。2、softmax函数加一个常量，结果不变，这个性质可以用在指数太大防止数值溢出，将x-max(x),其中x是矩阵，max(x)是行最大值。3、sigmod函数，激活函数，把线性变成非线性。4、损失函数5、从损失函数到x输入的求导。一、softmax1.1证明SoftMax对于...
2019-04-28 18:21:55
210
原创 斯坦福CS224n-lecture02-词向量
学习内容：1、单词意思2、word2vec 简介3、word2vec 目标函数4、优化目标函数wordnet词汇人们很难从同义词词典中获取跟多的价值，虽然有很多资源但是存在很多细微的差别。比如good的一组同义词：行家，专家，好的，熟练的，精通的，擅长的。这些其实是完全不同的东西，比如深度学习专家和擅长深度学习。难以发现新的词汇，比如深度学习忍者。人们往同...
2019-04-25 17:54:04
313
原创 深度学习--滑动平均模型
滑动平均值相当于将迭代的值，变得更加平滑，去除噪音，也就是把当前的值改变成前一个滑动平均值*β+当前值*(1-β)。当加入参数时，衰减率随着迭代的次数的增加，逐渐增大，前期平滑后的值开始非常接近原始数据，后期逐渐接近上一个平滑的值，也是相当于前面平滑过后数据的平均值。...
2019-04-24 17:52:08
886
原创 斯坦福CS224n-lecture01-自然语言与深度学习简介
学习内容：1、什么是自然语言处理2、什么是深度学习3、课程简介4、为什么理解自然语言这么难5、介绍深度学习在自然语言中的应用一、什么是自然语言处理1、什么是自然语言处理1.1这是一门计算机科学、人工智能以及语言学的交叉学科。1.2 目的是让计算机处理并理解自然语言，以完成有意义的任务，例如：执行任务，预定，买东西，翻译，问答等1.3 完全理解和表达语...
2019-04-23 14:50:08
367
原创 统计学--线性回归、卡方分布、方差分析
1、线性回归在基础算法学习中已学习过，直接连接https://blog.csdn.net/l422380631/article/details/888861302、卡方分布卡方分布的基本描述： 具有k个自由度的卡方分布是一个由k个独立标准正态随机变量的和所构成的分布。卡方分布经常用于我们常见的卡方检验中。卡方检验一方面可以用来衡量观测分布和理论分布之间的拟合程度，另一...
2019-04-09 22:16:01
1384
原创 统计学--假设检验
假设检验的的基本思想是：根据所获样本，运动统计分析方法，对总体参数的某个命题所构成的假设做出拒绝或接受的判断。假设的形式 H0——原假设，H1——备择假设 双尾检验：H0:μ = μ0， 单尾检验：，H1:μ < μ0，H1:μ > μ0假设检验就是根据样本观察结果对原假设（H0）进行检验，接受H0，就否定H1；拒绝H0，就接受H1。步骤：...
2019-04-07 23:04:11
806
原创 统计学--中心极限定理、置信区间
1、中心极限定理对于任意分布中每次抽取n个样本，抽取无数次，计算每次n个样本的期望，样本期望频率分布图趋近正态分布，n越大越趋近正态分布。样本均值的抽样分布，来自原分布，这里求的是样本均值，与原分布同均值。2、置信区间置信区间(confidence interval)：置信区间是由样本构造的对总体参数估计的一个区间，每一个置信区间会对应一个置信水平，表示真实参数落在置信区间中的概...
2019-04-05 23:00:44
1242
原创 统计学--基本知识
可汗学院--统计学学习内容 112-26集 统计学基本知识、二项及泊松分布学习内容 227-34集 大数定律、正态分布1、统计学基本知识1.1 描述集中趋势的统计变量均值：算术平均数，代表了这组数据的集中趋势，对这组数据有一定的代表性。中位数：集合中的数据从小到大排列，中间的数就是中位数，比中位数大和小的数一样多，一般情况，中位数与平均数很接近。众数...
2019-04-04 21:20:45
252
原创 初级算法梳理--决策树
学习内容：1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3. 回归树原理4. 决策树防止过拟合手段5. 模型评估6. sklearn参数详解，Python绘制决策树1、信息论基础1.1 熵信息的定义为，如果待分类的事务可能划分在多个分类之中，则符号的信息定义为：...
2019-04-03 17:55:57
108
原创 初级算法梳理--逻辑回归
1、逻辑回归与线性回归的联系与区别线性回归模型产生的预测值是实值y_hat，而考虑二分类问题，输出标记y∈{0,1}，可以把线性回归产生的预测值y_hat转化成0/1值，找到一个单调可微函数将分类任务的预测值y_hat转化成0和1。2、 逻辑回归的原理线性回归模型产生的预测值是实值y_hat，而考虑二分类问题，输出标记y∈{0,1}，可以把线性回归产生的预测值y_hat转化成0/1值，...
2019-04-01 18:05:15
220
原创 初级算法梳理--线性回归
目录目录：机器学习概念 线性回归原理 线性回归损失函数、代价函数、目标函数 优化方法（梯度下降法、牛顿法、拟牛顿法等） 线性回归的评估指标 sklearn 参数详解1、机器学习概念：1.1 有监督学习个人通俗理解：训练的数据集带有标签，通过训练学习得到模型，再给模型输入未知标签的新数据集，输出新的数据集的标签。常用的简单学习算法：分类算法，回归算法术语描述：用已知某...
2019-03-29 17:20:21
329
原创 数据挖掘项目--模型融合
from mlxtend.classifier import StackingCVClassifier, StackingClassifiers_clf = StackingClassifier(classifiers=[linear_svc, xgb_model, lgb_model], meta_classifier=lr, u...
2019-03-13 17:19:29
500
原创 数据挖掘项目--调参
# LRlr_param = { 'C': [0.05, 0.1, 0.5, 1], 'penalty': ['l1', 'l2'],}lr_grid = GridSearchCV(lr, lr_param, cv=n_fold, scoring=scoring, n_jobs=-1)lr_grid.fit(X_train_std, y_train)print(lr_...
2019-03-11 14:00:30
379
原创 数据挖掘项目--模型评估
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_scorefrom sklearn.metrics import roc_auc_score,roc_curve, aucimport matplotlib.pyplot as plt%matplotlib inlinedef mod...
2019-03-11 13:57:42
520
原创 数据挖掘项目--模型构建
# 数据划分from sklearn.model_selection import train_test_splitrandom_state = 1115X_train, X_test, y_train, y_test = train_test_split(X_cl, y, test_size=0.3, random_state=random_state)# 归一化from skle...
2019-03-07 09:53:49
623
原创 数据挖掘项目--特征选择
基于处理好的数据--data.csvdata=pd.read_csv('data.csv',encoding='gbk')y=data['status']X_cl=data.drop('status',axis=1)# 计算 IV 函数def cal_iv(x, y, n_bins=6, null_value=np.nan,): # 剔除空值 x = x[x...
2019-03-04 17:30:39
379
原创 数据挖掘项目--数据处理
import pandas as pdfrom sklearn.model_selection import train_test_split# 1、导入数据df = pd.read_csv('data.csv',encoding='gbk') #utf-8格式乱码，设置为gbk才能成功导入# 2、查看数据类型print(df.dtypes) #特征太多，这种方式在pych...
2019-03-02 20:50:14
349
原创 JavaSE-位&字节&字符&进制换算
字符与字节（byte）：1个字符是8个字节byte字节与二进制（bit）：1个字节有8位英文：ASCII码，1个字节有两种选择（0或1），因此有 2^8=256种类型。中文：gbk。unicode（uft-8，uft-16）编码全球统一编码，1个字符占2个字节，用十六进制编码形式表示。char c1 = '\u0061'，\u :表示后面借的是十六进制unicode 编码。0061 十六进制转换成...
2018-05-31 14:25:42
231
原创 JavaSE-数据类型
Java 语言是一种强类型语言。通俗点说就是，在 Java 中存储的数据都是有类型的，而且必须在编译时就确定其类型。 Java 中有两类数据类型在 Java 的领域里，基本数据类型变量存的是数据本身，而引用类型变量存的是保存数据的空间地址。说白了，基本数据类型变量里存储的是直接放在抽屉里的东西，而引用数据类型变量里存储的是这个抽屉的钥匙，钥匙和抽屉一一对应。常用的基本数据类型有：你可能已经注意到了...
2018-05-29 17:56:13
158
原创 JavaSE-标识符
命名规则标识符就是用于给 Java 程序中变量、类、方法等命名的符号。1. 标识符可以由字母、数字、下划线（_）、美元符（$）组成，但不能包含 @、%、空格等其它特殊字符，不能以数字开头。譬如：123name 就是不合法滴 2. 标识符不能是 Java 关键字和保留字（ Java 预留的关键字，以后的升级版本中有可能作为关键字），但可以包含关键字和保留字。如：不可以使用 void 作为标识符，...
2018-05-29 17:28:08
153
原创 JavaSE-java关键字
Java 语言中有一些具有特殊用途的词被称为关键字。关键字对 Java 的编译器有着特殊的意义，在程序中应用时一定要慎重哦！！Java 关键字是区分大小写的哦！所以 void 是关键字，但 Void 就不是了~~...
2018-05-29 17:22:24
109
原创 JavaSE-eclipse首次创建项目
eclipse运行文件步骤：1、创建项目2、创建包3、创建源代码文件4、运行1、创建java project2、填完项目名称后，完成。3、创建包，填写包名。4、创建源代码文件5、运行run as...
2018-05-29 17:04:03
1347
原创 mac 配置jdk环境
针对当前用户配置jdk环境：1、编辑bash_profile文件：vim .bash_profile 2、按i进入insert状态3、设置环境变量export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Homeexport CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_...
2018-05-29 15:04:39
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人