- 博客(115)
- 收藏
- 关注
RSS订阅原创 数据科学中常用的应用统计知识
元素：数据中最小单位样本：大型数据集中一个子集总体：一个大型数据集NNN（或者nnn）：一般用NNN表示总体规模，nnn表示样本规模随机抽样：从总体中抽取元素到子集中分层抽样：对总体分层，并在每层中做随机抽样样本偏差：样本对总体作出了错误的估计xˉ\bar{x}xˉμ\muμ样本统计量：对抽取自大规模总体中的样本做计算，所得到的一些度量值，比如均值，方差等统计量数据分布：单个元素在数据集上的频数分布。
2023-10-21 14:17:08
265
原创 论文分享 --＞强化学习--＞Playing Atari with Deep Reinforcement Learning
本次要总结分享的是DeepMind出品的强化学习经典DQN原始论文，论文链接DQN Paper，DeepMind使用该DQN方法，在某些电玩游戏上，机器表现超越人类。动机和创新点本篇论文所提方法是第一个将深度网络和强化学习结合起来进行训练的方法，具体而言，将深度网络（卷积网络）提取高维特征，使用Q-learning的学习方式来训练整个网络。对于一些高维复杂场景，状态特征很难通过人工特征工程的方式提取，这对传统的一些强化学习算法带来挑战，而近些年流行的深度学习，能很好的从高维特征提取到高级特征，并且在
2021-08-08 19:59:59
1015
原创 读书笔记 -- ＞强化学习 -- ＞ The Bellman Equation
本文将总结 强化学习中的一个重要基础知识，Bellman Equation。文章目录value based 方法The V-function: the value of the stateThe Q-function: The value of the actionThe Bellman EquationBellman equation for the State-value functionBellman equation for the Action-value function参考资料value
2021-07-26 00:45:55
659
1
原创 读书笔记--＞强化学习--＞强化学习一些基本概念介绍
因为工作中涉及到强化学习知识，故开始利用闲暇时间学习，主要参考的书籍是 Richard S.Sutton 和 Andrew G.Barto 编写的 Reinforcement Learning （第二版）。本章主要总结 书籍的第一章：Chapter 1 Introduction强化学习 是做什么强化学习 就是 学习，如何将环境状态（situations）映射到动作（action），并且期望执行该动作能获得奖励（reward）越大越好。强化学习不是用来告诉哪个action应该被执行，而是学习和发现哪个
2021-07-04 14:29:13
484
1
原创 论文分享--＞GNN--＞Graph Attention network
本次要总结分享的论文：论文链接：Graph Attention network（GAT)来源会议：ICLR 2018作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio参考代码：GAT-CODE本篇论文的核心内容其实很简单，就是将 NLP领域的 注意力机制 延用到不规则的 图结构上，使得节点在聚合其邻居节点信息时，能自适应的分配不同邻居不同权重。实验显示取得了不错的效果。本论文是GNN领域内重要的一篇论文，
2021-05-16 18:46:08
364
原创 论文分享--＞GNN--＞GraphSAGE
本次要总结的是 论文 Inductive Representation Learning on Large Graphs，参考的实现代码链接code，本篇论文是GNN领域内一篇非常重要的论文，值得认真读下。论文动机和创新点将大图中的节点用低维度的稠密向量表示，已经被证明是非常有用的方法，但是现有的大部分方法，都是将图中的所有节点扔进模型中进行训练，本质还是直推式的，其训练得到的模型不容易推广到未见过的节点，或者一张新的图上。本论文涉及两个重要概念，分别如下： transductive：直推式，
2021-05-02 17:07:31
526
1
原创 论文分享--＞GCN--＞SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
本次要总结和分享的是ICLR2017的关于GCN方面的代表作之一论文：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS，论文链接 paper先导知识在读这篇论文之前，需要对论文 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering 有着深入的理解，否则里面数学推导会让人感到迷茫。关于该论文，之前的博文已经对其推导过程进行了
2021-04-10 23:52:53
467
原创 论文分析--＞推荐系统--＞FLEN
本次要总结的论文题目是FLEN: Leveraging Field for Scalable CTR Prediction，发表于KDD2020，论文链接是FLEN，参考的论文实现代码是flen-code，首先得说这篇论文不值得精读，我大概陆陆续续花了半个星期读完论文和代码，发现根本不值得我思考这么久，实现代码和论文里某些细节不是很符合，对论文里的实验结果表示怀疑。感觉就是篇水文，但是既然读完了，就总结下吧，也许是我水平有限，无法领略文章的深度呢。文章目录动机模型样本定义Embedding LayerFi
2021-03-21 22:09:52
407
原创 论文分享 --＞ 数据挖掘
本次要分享的论文是 2014年的cikm论文 Modeling Paying Behavior in Game Social Networks，本论文由 腾讯公司和 清华大学联合出品，深入探讨了 如何挖掘 游戏数据中的 高潜付费玩家，并且就历史数据，详细分析了 免费玩家 向 付费玩家转化规律。虽然本论文所提模型比较简单，但是其中的数据分析和实验分析过程，对业务而言，十分具有参考价值。文章目录论文动机数据分析数据集特征设计和分析一些基础特征社会影响特征（Social Effects）Social Influ
2021-02-16 12:49:43
464
原创 论文分享 -- ＞推荐系统-- ＞ MMoE
本次要总结的论文是 Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts，参考的实现代码为 keras-mmoe。文章目录论文动机和创新点模型三种网络在合成数据上的对比实验合成数据生成过程任务相关程度 对 模型效果影响三种模型对比实验代码分析个人总结参考资料论文动机和创新点多任务学习在推荐系统里有着广泛的应用，在多任务学习中，我们希望能建立单一模型，可以对多个目标同时进行学习和建模（
2021-01-02 22:24:57
596
原创 论文分享--＞推荐系统--＞DeepInterestEvolutionNetwork(Dien)
本次要分享的论文是 CTR/推荐 领域内又一篇论文，论文链接dien，参考的实现代码 mouna-dien。和之前分享CTR论文类似，本论文难度不大，读起来较容易。文章目录论文动机及创新点模型Behavior LayerInterest Extractor LayerInterest Evolving Layer核心代码分析auxiliary lossAUGRU总结参考资料论文动机及创新点利用用户历史行为数据，对用户的兴趣演变进行建模对CTR效果至关重要，但是目前大部分CTR方法 将行为表征直接视
2020-12-27 01:14:29
398
原创 论文分享--＞推荐系统--＞DeepInterestNetwork
本次要分享的是 推荐系统/CTR 领域的论文，论文链接Deep Interest Network for Click-Through Rate Prediction，参考的代码链接 DeepInterestNetwork。论文动机及创新点目前基于深度学习的CTR模型，大多都是 embedding&MLP 的方式建模，具体而言，就是将高维稀疏的特征向量压缩成低微稠密向量，并且其长度固定，在此基础上再接个多层感知机来学习特征之间的非线性关系。但是这种将其转换成长度固定向量的方式，较难捕捉用户的多峰
2020-12-13 17:23:14
320
原创 论文分享--＞推荐系统--＞deepfm
本次要总结分享的是 推荐/CTR 领域内著名的deepfm 论文，参考的代码tensorflow-DeepFM，该论文方法较为简单，实现起来也比较容易，该方法在工业界十分常用。文章目录论文动机及创新点模型结构输入数据FM部分Deep部分代码分析数据预处理定义DeepFM模型超参数构图总结参考资料论文动机及创新点在deepfm提出之前，现有的模型很难很好的提取低阶和高阶的交互特征，或者需要足够丰富的人工特征工程才能进行。一些特性交互很容易理解，可以由专家（对业务逻辑很了解的人）设计。然而，大多
2020-12-05 18:22:21
299
原创 机器学习-- ＞ 隐马尔科夫模型(HMM)
本篇博文将详细总结隐马模型相关知识，理解该模型有一定的难度，在此浅薄的谈下自己的理解。HMM定义HMMHMMHMM 是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。隐马尔科夫模型随机生成的状态随机序列，称为状态序列；每个状态生成一个观测，由此产生的观测随机序列,称为观测序列。序列的每个位置可看做是一个时刻。上图中的...
2020-10-10 10:36:14
1404
1
原创 论文分享-- GCN -- Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要总结的论文是 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering，论文链接GCN，参考的代码实现GCN-code。不得不说，读懂这篇论文难度较大，因为里面有许多数学推导，要了解较多的数学知识。本人数学一般，因此在读本论文的同时参考了网上大部分较优秀的讲解，这里会结
2020-10-05 01:02:27
2607
原创 论文分享 -- NLP -- grid beam search
本篇博文主要总结论文 Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search，论文链接 gbs，参考的实现代码 codes。首先不得不说，对于初学者来说，beamsearch是一种稍微难理解的算法，而在此算法上衍生的grid beam search就更复杂了，因此本论文读起来有一定的难度。论文动机普通的beamsearch是由动态规划的方法找到最优的生成序列，但是这种方法在交互翻译场景可能并不适用，
2020-07-15 20:51:49
1158
6
原创 论文分享 -- >Graph Embedding -- >struc2vec
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要总结和分享的论文是struc2vec，参考的代码code，不同于以往根据顶点在图中位置以及与其他顶点距离关系来学习顶点的表示，本论文提出的一种独立于顶点位置，属性的方法来捕捉顶点的stronger notions of structural identity，...
2020-03-22 20:12:28
795
原创 论文分享 -- >Graph Embedding -- >Structural Deep Network Embedding
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要分享的论文是来自KDD2016的工作，论文链接Structural Deep Network Embedding，（简称SDNE）参考的代码链接 CODE。本篇论文同样致力于利用图结构，获取节点的embedding representation，定义了与 LI...
2020-03-08 19:40:48
603
原创 Spark性能优化 -- > Joins (SQL and Core)
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本博文将总结和讨论下spark中join操作的优化操作。简介Join操作是spark中比较重要和常用的操作，无论是Spark Core还是Spark SQL都支持一些基础的join操作。但是join操作需要特殊的性能考虑，因为他们需要较大的网络传输，甚至会创建出...
2020-02-09 23:15:10
585
原创 Spark性能优化 -- > Spark SQL、DataFrame、Dataset
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本博文将详细分析和总结Spark SQL及其DataFrame、Dataset的相关原理和优化过程。Spark SQL简介Spark SQL是Spark中 具有 大规模关系查询的结构化数据处理 模块。spark sql支持大规模的分布式内存计算，并且模糊了RD...
2020-01-31 23:37:41
1158
原创 spark性能优化 -- > spark工作原理
从本篇文章开始，将开启spark学习和总结之旅，专门针对如何提高spark性能进行总结，力图总结出一些干货。无论你是从事算法工程师，还是数据分析又或是其他与数据相关工作，利用spark进行海量数据处理和建模都是非常重要和必须掌握的一门技术，我感觉编写spark代码是比较简单的，特别是利用Spark SQL下的DataFrame接口进行数据处理，只要有python基础都是非常容易入门的，但是在性能...
2020-01-12 22:51:54
425
1
原创 论文分享 -- > NLP -- > FreeLB
本次要总结和分享的是正在ICLR2020审稿的，关于NLU对抗学习的论文：FreeLB: Enhanced Adversarial Training for Language Understanding，论文链接 FreeLB，感觉该论文方法创新和实验效果均还不错，由于本人在对抗学习领域上水平有限，在此就对本篇论文进行一个浅显的解读，如有错误还望指正。论文动机对抗训练的初衷：目前人工智能技术...
2019-12-15 20:09:37
5088
原创 论文分享 -- >Graph Embedding -- > LINE: Large-scale Information Network Embedding
本次要总结和分享的论文是 LINE: Large-scale Information Network Embedding，其链接 论文，所参考的实现代码 code，这篇论文某些细节读起来有点晦涩难懂，不易理解，下面好好分析下。论文动机和创新点information network 在现实世界中无处不在，例如最常见的社交网络图。而这种网络通常包含 百万以上的节点和数以十亿记的边，如果能将这种...
2019-10-19 20:16:37
594
原创 论文分享-- >Graph Embedding-- > DeepWalk: Online learning of Social Representations
本次要分享的论文是14年论文DeepWalk: Online learning of Social Representations， 论文链接DeepWalk，参考的代码CODE，本论文是图表示学习领域内的一篇较早的文章，是学习本图表示学习绕不过的一篇文章，虽然整体难度不大，但是文章所提出的方法个人感觉非常独到和有趣。论文动机和创新点在自然语言处理领域，word2vec是一个非常基础和著名...
2019-10-02 13:02:09
586
原创 论文分享-- >异常检测-- >Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection
本文将总结分享ICLR2018论文 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection，论文链接 DAGMM，参考的代码链接 CODE，本论文旨在将神经网络、EM与GMM有机结合起来，做无监督的异常检测，并且取得了不错的效果。论文动机和创新点异常检测的本质是通过密度估计找出离群点过程。...
2019-08-25 17:25:35
7140
5
原创 论文分享-- ＞序列挖掘-- > DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES
因为业务需求，私下学习了些序列数据的处理算法，本文将总结ICLR2018论文：DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES，论文链接DTC，参考的论文代码 DeepTemporalClustering，本论文方法是完全针对时序数据的无监督聚类算法，是第一次提出在无标签的时序数据上，建立了一...
2019-07-04 00:26:02
2690
4
原创 论文分享 -- > NLP -- > Neural machine Translation of Rare Words with Subword Units
本次分享的是一篇16年的关于NLP中分词操作的论文，论文链接Subword，参考的实现代码subword-nmt，许多论文方法（例如BERT等）都将该方法应用到分词处理上，相对于word-level和character-level，该方法取得了不错的效果。动机和创新点机器翻译中，通常使用固定大小的词表，而在实际翻译场景中，应当是open-vocabulary。这就使得翻译数据集中的稀有词变得...
2019-06-09 18:09:46
2374
1
原创 论文分享 -- > NLP -- > Language Models are Unsupervised Multitask Learners
本次要总结和分享的论文是GPT2，参考的实现代码model。本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的，从模型的角度来讲，几乎没有修改，只是去掉了fine-tune过程，无论是在预训练和预测阶段都是完全的无监督，这点有点不可思议，但是的确做到了，而且效果还不错。网上对这篇论文的讲解非常多，这里本人就讲下自己浅薄的见解。本篇论文的核心思想并不难，但是我个人感觉论文读起来比...
2019-06-01 01:32:05
827
原创 深度学习-- > NLP -- > improving multi-task deep neural networks via knowledge distillation for natural
本次总结和分享一篇大佬推荐看的论文improving multi-task deep neural networks via knowledge distillation for natural language understanding， 论文链接MT-DNN-KD动机和创新点集成学习的方法对提高模型的泛化能力在众多自然语言理解任务上已经得到了验证但是对于多个深度模型集成而成的集成模型...
2019-05-22 21:09:25
865
原创 深度学习 -- ＞ NLP-- ＞ BERT
本次分享和总结自己所读的论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，也就是大名鼎鼎的BERT，网上对这篇论文的解读非常多，在此就提下自己浅薄的见解。论文链接 BERT论文动机以及创新点语言模型的预训练已经在自然语言处理的各项任务上取得了有目共睹的效果。目前有两种途...
2019-05-18 17:37:13
1048
原创 深度学习 -- > NLP -- >Improving Language Understanding by Generative Pre-Training
本文要分享总结的是论文Improving Language Understanding by Generative Pre-Training，论文链接openAI-GPT.论文动机以及创新点现实世界中，无标签的文本语料库非常巨大，而带有标签的数据则显得十分匮乏，如何有效利用无标签的原始文本，对缓解自然语言处理相关任务对有监督学习方式的依赖显得至关重要。有效的从无标签文本中利用超单词级...
2019-05-07 17:23:05
3590
1
原创 深度学习 -- >NLP -- > Deep contextualized word representations(ELMo)
本文将分享发表在2018年的NAACL上，outstanding paper。论文链接ELMo。该论文旨在提出一种新的词表征方法，并且超越以往的方法，例如word2vec、glove等。论文贡献点能捕捉到更复杂的语法、语义信息。能更好的结合上下文内容，对多义词做更好的表征。（以往的词表征方法，例如word2vec等可能无法很好的解决这个问题）能非常容易的将这种词表征方法整合进现有的模型中...
2019-04-29 20:44:17
618
原创 论文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach
本篇博文分享和总结下论文Learning to Rank:From Pairwise Approach&nbsp
2018-09-20 19:39:42
3437
5
原创 论文分享-- >From RankNet to LambdaRank to LambdaMART: An Overview
严格来说，这并不是一篇论文，只是一个reportreportreport ，里面系统的介绍了三个比较著名的排序模型RankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMART ，链接 Rank本篇博文将分析总结下前两个排序模型RankNet、LambdaRankRankNet、La...
2018-09-20 19:39:27
4058
1
原创 常用优化方法总结
本篇博文总结一些常用的优化算法。SGD最常见的优化方法是SGDSGDSGD ，基础的原理不详细讲了，讲下其缺陷。 θ=θ−η∗▿θJ(θ)θ=θ−η∗▽θJ(θ)\theta = \theta-\eta *\triangledown_{\theta} J(\theta) 1. 当学习率太小，到达最优点会很慢。 2. 当学习率太高，可能会跳过最优点，出现震荡的现象。 3. ...
2018-05-27 17:26:57
1109
原创 评价指标总结
本篇博文主要总结下机器学习，深度学习，自然语言处理里面的一些的评价指标及其背后的原理。机器学习分类问题精确率 (Precision)TPTP+FPTPTP+FP\frac{TP}{TP+FP} 可以这样理解准确率：分母是我们这边所有预测为真的数量，包括正确预测为真的和错误预测为真的。召回率 （recall）TPTP+FNTPTP+FN\frac{TP}{TP+...
2018-05-27 15:31:03
2385
原创 RL for Sentence Generation
本篇博文主要总结下台大教授李宏毅深度学习课程中关于seqGANseqGANseqGAN 的相关内容，并且添加了自己的一些思考。Policy Gradient众所周知，强化学习的目标就是Maximizing Expected RewardMaximizing Expected RewardMaximizing\ Expected\ Reward，在se...
2018-05-22 17:27:38
457
原创 Adversarial Learning for Neural Dialogue Generation 代码分析
作为一名NLPlayerNLPlayerNLPlayer 初学者，或者是一名道行不是很深的NLPlayerNLPlayerNLPlayer ，很有必要细细的评读相关优秀的论文，但是如果只是读论文，而不去探索实际的代码的实现，可能无法提高代码能力，也比较难的深刻理解论文中的一些细节，所以在读完论文后，详细的分析其开源代码，了解整个的实现过程非常有必要。那么代码需要分析到什么程度呢？我的实习经历告...
2018-05-18 16:33:42
2428
6
原创 论文分享-- ＞Adversarial Learning for Neural Dialogue Generation
本次要分享的论文是Adversarial Learning for Neural Dialogue GenerationAdversarial Learning for Neural Dialogue GenerationAdversarial\ Learning\ for\ Neural\ Dia...
2018-05-17 14:52:32
1516
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人