- 博客(82)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 特征选择/筛选方法总结
作者：jlianghttps://blog.csdn.net/jliang31.特征选择介绍1）特征分类相关特征：对于学习任务（例如分类问题）有帮助，可以提升学习算法的效果； 无关特征：对于我们的算法没有任何帮助，不会给算法的效果带来任何提升； 冗余特征：不会对我们的算法带来新的信息，或者这种特征的信息可以由其他的特征推断出；2）特征选择的目的对于一个特定的学习算法...
2019-03-30 14:51:16
80688
6
原创 TensorFlow之循环神经网络&自然语言处理 学习总结
作者：jlianghttps://blog.csdn.net/jliang3junliang 20190303说明：以下所有代码使用版本TensorFlow1.4.0或1.12.0版本import tensorflow as tfprint(tf.__version__)1.12.08. 循环神经网络TensorFlow中实现LSTM结构的循环神经网络的前向...
2019-03-07 19:52:19
3104
2
原创 数据分析系列：Z 检验和 T 检验的应用及代码实现
原创J数据科学家联盟4天前目录 0前言 1 Z 检验 1.单样本 Z 检验 2.双样本 Z 检验 2 T 检验 1.单样本 T 检验 2.双样本 T 检验 3 比例检验 1.单比例检验 2.双比例检验 4 总结 1. Z 分布和 T 分布 2. Z 检验和 T 检验的区别 0x00 前言均值对比是数据分析中最重要的内...
2020-07-02 20:02:39
3243
原创 （补基础）数据分析系列：假设检验的基础知识
JunLiang数据科学家联盟目录： 0x00 前言 0x01 基本思想 0x02 检验方向 拒绝域（拒绝域是由显著性水平围成的区域） 1.双尾检验 2.单尾检验 0x03 一类错误和二类错误 0x04 假设检验的步骤 0x0FF 总结 0x00 前言我们经常会遇到这样的问题： 在ABTest中，怎么衡量实验结果是否显著？置信度是多少？ 两组销售数据，如何判断一组...
2020-06-17 15:41:02
7699
转载 为什么做机器学习的很少使用假设检验？ （转载）
本文转载，非原创，用于学习，在这之中也必有疏漏未加标注者，如有侵权请与博主联系。原文地址：https://www.cnblogs.com/devilmaycry812839668/p/10136063.html原文地址：https://www.zhihu.com/question/55420602最近在学习机器学习方面的内容，如题所说，对于为什么机器学习中不使用假设检验十分不解，在网上搜寻了一些资料最后发现还是知乎上的这个帖子回答的比较靠谱，也比较全面，其实个人感觉机器学习很少用到统计.
2020-05-13 10:30:01
1291
转载 （转）Python 数据挖掘 工具包整理
连接器与io数据库类别 Python R MySQL mysql-connector-python(官方) RMySQL Oracle cx_Oracle ROracle MongoDB pymongo RMongo, rmongodb ODBC pyodbc RODBC IO类类别 Python ...
2020-05-04 15:44:55
369
原创 假设检验总结
1.符合正态分布，总体均值和方差已知的单个样本假设检验：均值差异的显著性检验例子：有一个婴儿服用维他命后8个月会走路，检验服用维他命对加快婴儿走路是否有效2.一组样本的假设检验例子：有25个学生学完传播学，检验传播学是否会改变填充词的频率这里不是关注单个人在总体的分布中的位置，而是关注一群人，所以不能把整体的分...
2020-03-22 23:09:43
3521
原创 特征工程系列：自动化特征构造
特征工程系列：自动化特征构造原创：JunLiang木东居士今天0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。特征工程又包含了 D...
2019-12-09 19:43:55
1354
原创 特征工程系列：空间特征构造以及文本特征构造
原创：JunLiang木东居士特征工程系列：空间特征构造以及文本特征构造本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应...
2019-12-01 17:14:11
1308
原创 特征工程系列：时间特征构造以及时间序列特征构造
特征工程系列：时间特征构造以及时间序列特征构造原创：JunLiang木东居士0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。特征工...
2019-11-16 17:22:38
5316
5
转载 评分卡模型中的IV和WOE详解
1.IV的用途IV的全称是InformationValue，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑...
2019-11-08 11:27:27
1368
原创 特征工程系列：GBDT特征构造以及聚类特征构造
特征工程系列：GBDT特征构造以及聚类特征构造原创：JunLiang木东居士4天前特征工程系列：GBDT特征构造以及聚类特征构造本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。...
2019-10-29 14:26:03
980
原创 特征工程系列：笛卡尔乘积特征构造以及遗传编程特征构造
原创：JunLiang木东居士1周前特征工程系列：笛卡尔乘积特征构造以及遗传编程特征构造本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要...
2019-10-21 13:14:32
2034
原创 特征工程系列：聚合特征构造以及转换特征构造
原创：JunLiang木东居士1周前特征工程系列：聚合特征构造以及转换特征构造本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在...
2019-10-21 13:12:51
1122
原创 特征工程系列：特征构造之概览篇
原创：JunLiang木东居士1周前特征工程系列：特征构造之概览篇本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中...
2019-10-09 12:57:21
444
转载 对于特征离散化，特征交叉，连续特征离散化非常经典的解释
一．互联网广告特征工程博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统，可以看到，其中的logistic regression模型是比较简单而且实用的，其训练方法虽然有多种，但目标是一致的，训练结果对效果的影响是比较大，但是训练方法本身，对效果的影响却不是决定性的，因为训练的是每个特征的权重，权重细微的差别不会引起ctr的巨大变化。在训练方法确定后，对ctr预估起到决定性作用的...
2019-08-20 20:45:39
846
原创 数据挖掘之统计学基础（4）：【实践】数据分布-Python实战
import numpy as npimport pandas as pdimport timeimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineplt.style.use('ggplot')plt.rcParams['figure.figsize'] = (18.0, 10.0)...
2019-08-13 20:44:22
704
原创 特征工程系列：特征预处理（下）
特征工程系列：特征预处理（下）原创：JunLiang木东居士昨天特征工程系列：特征预处理（下）本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据预处理包含数据探索、数据清洗和特征预处理三部分，《特征工程系列：特征预处理（上）》介绍了无量纲化...
2019-08-13 11:38:39
585
原创 特征工程系列：特征预处理（上）
特征工程系列：特征预处理（上）原创：JunLiang木东居士6天前特征工程系列：特征预处理（上）关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机...
2019-08-13 11:37:07
837
原创 数据挖掘之统计学基础（3）：【理论】概率分布
数据挖掘之统计学基础（3）：【理论】概率分布0x00前言概率分布（probabilitydistribution）或简称分布（distribution），是概率论的一个概念。具有相同分布函数的随机变量一定是同分布的，因此可以用分布函数来描述一个分布，但更常用的描述手段是概率密度函数（probability density function,pdf）。0x01基本概念1.随机变量随机变量...
2019-08-02 20:26:28
1179
原创 特征工程系列：数据清洗
特征工程系列：数据清洗原创：JunLiang 木东居士前天特征工程系列：数据清洗本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地...
2019-08-02 19:14:54
1227
原创 数据挖掘之统计学基础（2）：【实践】描述性统计
0x01 Python环境安装1.下载miniconda（Linux版）下载地址：https://docs.conda.io/en/latest/miniconda.html2.安装miniconda./Miniconda3-latest-Linux-x86_64.sh3.创建python3环境conda create -n py36 python=3.6source activat...
2019-07-24 19:44:26
673
原创 特征工程系列：特征筛选的原理与实现（下）
原创：JunLiang木东居士今天本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言我们在《特征工程系列：特征筛选的原理与实现（上）》中介绍了特征选择的分类，并详细介绍了过滤式特征筛选的原理与实现。本篇继续介绍封装式和嵌入式特征筛选的原理与实现。0...
2019-07-19 14:37:18
621
原创 特征工程系列：特征筛选的原理与实现（上）
本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？特征工程是利用数...
2019-07-18 21:35:01
758
原创 数据挖掘之统计学基础（1）：【理论】描述性统计
0x00前言描述性统计是一种汇总统计，用于定量描述或总结信息集合的特征。描述性统计的对象既可以是总体，也可以总体的一部分即是样本。描述性统计分为集中趋势和离散趋势。0x01集中趋势集中趋势又称 “数据的中心位置”，集中趋势反映了数据向其中心值聚集的程度，是对数据一般水平的概括性度量，主要通过平均值、中位数和众数来表示。1.众数出现频次最高的观测值。例子：数据集[...
2019-07-17 12:39:14
3818
原创 卡方检验学习总结
1.卡方检验概念1）卡方检验是一种用途很广的计数资料的假设检验方法，由卡尔·皮尔逊提出。（1）它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析。（2）其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。（3）卡方值描述两个事件的独立性或者描述实际观察值与期望值的偏离程度。卡方值越大，表名实际观察值与期望值偏离越大，也...
2019-07-11 21:34:57
20250
1
原创 聚类方法 学习总结
1.重点归纳1）聚类的核心概念是相似度（similarity）或距离（distance），有多种相似度或距离的定义。因为相似度直接影响聚类的结果，所以其选择是聚类的根本问题。（1）闵可夫斯基距离（Minkowski distince），p=2时为欧氏距离，p=1时为曼哈顿距离。（2）马哈拉诺比斯距离（马氏距离）（3）相关系数（4）余弦相似度2）类与类之间的距离（1...
2019-07-03 16:11:21
3375
原创 《数据驱动 从方法到实践》 之数据驱动产品和运营决策 学习总结
1.数据驱动运营监控1）创业公司需要关注的指标：Acquisition（触达）、Activation（激活）、Retention（留存）、Referral（引荐）、Revenue（营收），简称AARRR。2）用户获取（Acquisition）（1）衡量各渠道ROI是重中之重，甄选出最优渠道才能实现营销资源和营销渠道的把控。（2）通过用户行为数据分析，可以科学评估数字营销各渠道...
2019-05-29 12:57:31
3242
转载 PySpark的DataFrame
PySpark的DataFrame的具体操作：读取数据集、观察文档、查看列名、文档统计值、查看变量属性、选择特定变量、筛选特定样本、计算不重复值、资料清洗、处理缺失值、转换类型，具体例子如下所示：## 读取数据集fileDF = spark.read.csv('hdfs://tmp/ratings.csv', sep = ',', header = True)## 观察文档fileDF....
2019-05-28 15:08:45
1021
原创 2019腾讯广告算法大赛题目理解与数据探索（含代码）
2019腾讯广告算法大赛题目理解与数据探索1.题目介绍1.1 背景介绍广告曝光预估的目的是在广告主创建新广告和修改广告设置时，为广告主提供 未来的广告曝光效果参考。通过这个预估参考，广告主能避免盲目的优化尝试，有效缩短广 告的优化周期，降低试错成本，使广告效果尽快达到广告主的预期范围。比赛中使用的数据 经过脱敏处理，通过本次大赛，我们旨在挑选出更为优秀的曝光预估算法以及遴选出杰出的 社交广告...
2019-05-27 20:11:10
9602
1
原创 《数据驱动 从方法到实践》之 数据驱动的环节 学习总结
1.内容简介本书是从理论到实践的全面且细致的企业数据驱动指南，完整还原作者在百度大数据工作从零到一构建百度用户行为大数据处理平台的经历。详解大数据本质、理念与现状，围绕数据驱动四环节—采集、建模、分析、指标，深入浅出地讲述企业如何将数据驱动方案落地，并指出数据驱动的价值在于“数据驱动决策”、“数据驱动产品智能”。最后通过互联网金额、电子商务、企业服务、零售四大行业实践，从需求梳理、事件指标设计、...
2019-05-25 17:48:44
3204
原创 金融用户画像项目总结
金融用户画像项目总结目录理财用户画像 导读 I.用户画像概念 II.用户画像目的 III.用户画像应用简介 IV.用户画像体系 i.标签概述 ii.标签处理过程 iii.标签体系 V.用户画像构建 i.知识点总结 ii.用户画像构建流程 iii.用户画像开发流程 VI.产品化--DMP系统 i.DMP简介 ...
2019-05-24 10:24:36
4543
1
转载 如何选择合适的损失函数
【AI科技大本营导读】机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。没有一个损失函数可以适用于所有类型的数据。损失函数的选择取决于许多因素，包括是否有离群点，...
2019-05-10 19:30:36
2615
转载 BERT 中文预训练模型使用
只要是从事文本处理相关工作的人应该都知道 Google 最新发布的 BERT 模型，该模型属于是词向量的预训练模型，一经提出便横扫各大 NLP 任务，最近 Google 公司如约推出了中文词向量的预训练模型，不得不说这是一件非常有良心的事情，在此膜拜和感谢 Google 公司。那么如何使用 bert 的中文预训练好的词向量呢？前两天看见 paperweekly 推送的一篇文章，叫做是两...
2019-04-27 16:44:15
22515
5
原创 《硅谷增长黑客实战笔记》我的制定增长作战计划 学习总结
作者：jlianghttps://blog.csdn.net/jliang31.制定增长作战计划1）增长成功的秘诀不在于同时做很多事，而在于找到目前影响增长率的最关键的那一两件事。找到“做什么”和“怎么做”比“做”本身要重要得多。2）增长作战计划的关键（1）方向标：北极星指标（2）路线图：增长模型（3）仪表盘：关键指标看板（定量数据）（4）参考书：用户心理决策...
2019-04-18 10:14:55
908
原创 《硅谷增长黑客实战笔记》我的增长黑客旅程 学习总结
作者：jlianghttps://blog.csdn.net/jliang31.增长经理的职责1）搭建数据基础设施，定义增长目标，提供用户洞察，排序增长项目，设计并上线实验。将原先各自为政的产品开发和营销智能有机整合起来。2）传统产品经理与增长产品经理的区别（1）传统产品经理负责产品开发流程，他们更多的是以解决方案为导向；（2）增长产品经理，虽然遵循类似的流程，来上线功能或...
2019-04-11 20:25:04
2095
原创 《深度学习工程师-吴恩达》05序列模型—序列模型和注意力机制 学习总结
《深度学习工程师-吴恩达》05序列模型—序列模型和注意力机制 学习笔记作者：jlianghttps://blog.csdn.net/jliang31.重点归纳1）基础模型（1）Sequence to sequence翻译模型 （2）Image to sequence图像描述模型：输入一张图片，它能自动地输出图片的描述 2）机...
2019-04-07 16:21:38
991
原创 降维算法总结
作者：jlianghttps://blog.csdn.net/jliang31.降维简介1）相关背景（1）在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。 更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。 ...
2019-03-30 19:35:50
31200
3
原创 P-R曲线与ROC曲线使用总结
P-R曲线与ROC曲线总结作者：jlianghttps://blog.csdn.net/jliang31.P-R曲线1）实际预测时二分类的四种情况 真阳性/真正类(True Positive，TP)：预测为正类，实际是正类； 假阳性/假正类(False Positive，FP)：预测为正类，实际是负类；误报，给出的匹配是不正确的； 真阴性/真负类(Tr...
2019-03-28 23:51:02
6392
转载 如何使用学习曲线来诊断你的LSTM模型的行为？（附代码）
AMiner学术头条原创2019/03/11 14:32邵洲作者如何使用学习曲线来诊断你的LSTM模型的行为？（附代码）LSTM是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在自然语言处理、语言识别等一系列的应用上都取得了很好的效果。《Long Short Term Memory Networks with Pytho...
2019-03-16 11:59:52
3836
机器学习知识学习总结（机器学习/数据挖掘/数据分析面试资料）（原创资料）
2019-04-06
深度学习工程师-吴恩达 学习总结
2019-03-26
统计思维：程序员数学之概率统计
2019-02-28
伯克利教材
2019-02-28
Hadoop技术内幕：深入解析YARN架构设计与实现原理
2017-01-06
嵌入式系统下Qt编写的E-mail收发终端
2010-02-02
LED七彩变色灯的制作、分析
2008-11-06
调频接收机 电路 分析
2008-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人