- 博客(33)
- 收藏
- 关注
RSS订阅原创 推荐系统笔记8-FTRL
本来是想通过学习别人的博客，来了解FTRL，但是经典之作还是想通读一篇论文；本文介绍Google在2013年发布在KDD的《Ad Click Prediction: a View from the Trenches》；摘要...
2019-02-07 16:34:35
756
原创 推荐系统笔记8-在线学习
本文介绍在线学习的一些内容，并做一些总结，首先什么是在线学习，根据维基百科的定义，传送门，总结来说在线学习就是每来一个/批样本增量更新一次；一、 提一个问题，为什么需要在线学习，从下面几个角度探讨：离线批量学习早先的搜索学习能力，是基于批处理的离线机器学习。在每次迭代计算过程中，需要把全部的训练数据加载到内存中计算。虽然有分布式大规模的机器学习平台，在某种程度上批处理方法对训练样本的数量...
2019-02-07 10:50:46
744
原创 推荐系统笔记7-DeepFM: An End-to-End Wide & Deep Learning Framework for CTR Prediction
本文介绍DeepFM: An End-to-End Wide & Deep Learning Framework for CTR Prediction，原文Paper链接；摘要对于CTR问题，学习特征交互是至关重要的问题，文中提出DeepFM(DNN+FM)；一、介绍关于特征交互的作用，文中给出了一个例子：1、如人们经常在要吃饭的时候下载关于food的APP，所以APP和时间戳的二...
2019-02-06 12:35:08
1388
原创 推荐系统笔记7-Deep & Cross Network for Ad Click Predictions
本文介绍Deep & Cross Network for Ad Click Predictions，这个和之前一篇Deep Crossing文章是不一样的，Deep Crossing通过ResNet和Embedding来学习特征组合；摘要特征工程对于预测模型是很重要的，但是这个过程费时费力，DNNs可以自动学习特征交互，但是不能学习所有的特征类型；文中提出Deep & Cros...
2019-02-06 10:01:13
657
原创 推荐系统笔记7-Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attentio
本文介绍Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Networks，简称为AFM，原文Paper链接；摘要AFM以FM为基础，认为FM通过以相同权重建模所有特征交互的方式存在问题，因为不是所有特征交互都是同样有价值的，相反没有多大用的交互特征反而会引入...
2019-02-05 19:41:56
3646
2
原创 推荐系统笔记7-Field-aware Factorization Machines for CTR Prediction
本文介绍Field-aware Factorization Machines for CTR Prediction，简称为FFM，其原文Paper传送门。摘要计算广告中CTR预估有着很重要的作用，其中二阶映射的FM常被使用，但提出的FFM在比赛中优于FM，因此引出FFM；一、介绍通常用LR处理分类问题，其模型是用来解决如下最优化问题：minwλ2∥w∥22+∑i=1mlog(1+ex...
2019-02-05 16:46:01
1322
原创 推荐系统笔记7-Neural Factorization Machines for Sparse Predictive Analytics
这篇文章介绍NFM(Neural Factorization Machines for Sparse Predictive Analytics)，Paper链接，这是我最想了解的一篇文章了，曾经17年腾讯广告比赛的神器。摘要和FNN、PNN一样，针对类别变量One-hot以后的稀疏输入，如何做交互而引出NFM，FM可以捕捉交互（二阶特征），但是以线性方式；DNN可以捕捉非线性特征交互，如Wid...
2019-02-03 17:52:34
1530
原创 推荐系统笔记7-Product-based Neural Networks for User Response Prediction
本文介绍Product-based Neural Networks for User Response Prediction（简称PNN），原文Paper链接。摘要本文和上次介绍的FNN一样，针对用户响应问题（如CTR、CVR等）建模，因为这类问题往往是类别型并且存在多个field，所以传统模型只能挖掘较浅的数据模式，且DNN不能直接用来处理高维稀疏输入（因特征空间过大），文章提出通过PNN来...
2019-02-03 10:37:12
3637
1
原创 推荐系统笔记7-Deep Learning over Multi-field Categorical Data
本文介绍Deep Learning over Multi-field Categorical Data– A Case Study on User Response Prediction，包含Factorisation NN和Sampling based NN，原文Paper链接；摘要：预测用户回应（user response），例如CTR、CVR（转化率）在网页搜索、个性化推荐、在在线广告...
2019-02-02 20:07:47
2166
原创 推荐系统笔记7-Deep Neural Networks for YouTube Recommendations
本文介绍Youtube的一篇Paper，Deep Neural Networks for YouTube Recommendations。摘要根据经典的检索的two-stage：首先是通过deep candidate generation model产生TopN个候选物品集合，然后deep ranking model做综合排序；一、介绍Youtube为几十亿用户提供个性化推荐，推荐在You...
2019-02-02 16:07:43
475
原创 推荐系统笔记7-Wide & Deep Learning for Recommender Systems
从这篇文章开始我想陆续写一些关于推荐系统的深度学习论文笔记总结，首先介绍Google的这篇Wide & Deep模型（Paper传送门）。一、摘要利用泛化线性模型和非线性特征变换来处理大规模回归和分类问题很常见，文章引入Memorization和Generalization，其中Memorization是指利用特征的交互，这里是wide部分，具有可解释性；Generalization部...
2019-02-02 11:55:00
541
2
原创 推荐系统笔记6-排序算法&深度学习模型（一）
这篇文章接着该文章后面继续介绍，主要介绍的是CTR的问题；在介绍以前，总结一下之前腾讯面试的一个问题：LR能不能组合出没出现的特征？FM能不能组合出没出现的特征？解答： LR不能组合出未出现的特征，而FM是可以组合出未出现的特征的，考虑如下数据集：其中Poly2参数可以看作LR的特征组合，对于测试集来说，训练集是没有NBC和Adidas的组合特征的，因此LR就无法通过特征组合来学习到参数W...
2019-02-01 15:24:41
1757
原创 推荐系统笔记4-建立大规模分类模型
分类问题就是寻找一个超平面，分开不同标签的数据集。一、分类模型应用1.1、点击率预估模型：1.1.1、 传统的以统计特征来做点击率预估，即用前几天的统计来做下一天的点击率预测，如下式所示：其中ad_ctr表示历史的具体广告点击，cate_ctr表示一个具体的属性类别，可能包含多个ad类别，显然，当具体的广告数过小时，点击率不具备统计意义，所以需要用cate_ctr代表ad_ctr；1....
2019-01-31 14:28:54
1090
原创 推荐系统笔记5：多目标排序
一、多⽬标排序介绍1.1、 什么是多目标排序：什么是多目标排序，假设判断淘宝推荐系统的好坏，有点击率、浏览深度、加购/收藏、购买、重复购买/好评等，以上单个目标都可以作为衡量推荐系统的好坏标准；1.2、 为什么要有多目标排序 ，常见的推荐的系统多见于隐式反馈：不同目标表达的偏好程度不一样；单个目标衡量不全面；（例如转发锦鲤，是因为真的喜欢还是随波逐流呢？）每个用户表达的满意度方式不一样...
2019-01-26 16:01:32
4867
原创 推荐系统笔记3：Embedding学习常⽤算法和Online Match Serving
一、Embedding（嵌入）学习常⽤算法为什么需要使用Embedding:Embedding是一个软分类问题，不需要明确的将某个用户或者物品划分到具体的类别，类似SVM引进分类错误变量 ξ\xiξ，变成一个软分类问题；我们不需要关心分类标准，就是该分为哪些具体的类别，可以由数据自动计算得到；对于每一个user，可以得到对于隐层变量，也就是属于某一类的概率；同样对于每一个item，也可...
2019-01-24 10:10:35
549
原创 推荐系统笔记二：匹配算法和实践（part1）
一：工业界常用的推荐系统框架如YouTube2016年发表的论文Deep Neural Networks for YouTube Recommendations所示，常用的推荐系统框架，主要分为Match和Rank两部分：定义: Match基于当前的用户信息、历史信息、上下文信息（如用户所在位置等），快速在数据库中找到用户最感兴趣的TopN的Item，从而为后续的Rank来做小范围综合多目标...
2019-01-22 15:04:26
1392
原创 推荐系统笔记一:简介和评估
一、介绍为什么要有推荐系统：信息过载、用户需求不明确；搜索和推荐的区别：搜索更关注马太效应（马太效应传送门），简单的说，就是让富有者更加富有，让贫穷者更加贫穷；而对于推荐来说，则更加关注长尾分布，也就是要要提高覆盖率；搜索和推荐相结合，如百度搜索界面（其他人还搜等等）；推荐系统应用在哪：头条（新闻推荐）、快手（短视频推荐）、淘宝（商品推荐）等；二、评估推荐系统由三方构成：用户+内...
2019-01-21 21:28:27
706
原创 kaggle-手写字体识别
import pandas as pdfrom pandas import DataFrame, Seriesimport numpy as np具体的CNN设计大概跑到loss = 0.0078,的时候，然后用此时的模型做预测，最后的结果是0.9917
2017-12-11 10:15:16
1981
原创 github遇到的坑1
上午在local本地创建一个仓库，然后在github远端创建一个仓库，然后想将本地的仓库和远端的仓库连接起来，然后问题就出现了。 按照正常的github命令，先是 git remote add origin SSH Key， 例如git remote add origin [email protected]:michaelliao/learngit.git， 这一步没有问题，然后 git pus
2017-10-28 12:46:00
309
原创 台湾大学机器学习基石Lecture12
12-1:Quadratic Hypothesis二次规划的假设 之前我们介绍的都是线性假设，即用一条线将数据分隔开，例如下面的情形： 直观的第一感受就是可以用一条直线将O和X分隔开，由此也引入了得分函数s=wTxs=w^Tx。但是如果数据集的分布是下面这个样子呢？ 如果你想用一条直线将圈圈和叉叉分开，除非是数据是存在noise的，不然不可能分得开，换个角度想，分开两类数据未必需要直线
2017-10-23 14:00:54
230
转载 Markdown中编写LaTeX数学公式
编写LaTeX数学公式编写LaTeX数学公式LaTeX基本语法希腊字母三角函数与逻辑数学字符字体转换花括号用法多行数学式对齐矩阵与行列式括号的其他用法本节内容：目前CSDN写博客支持Markdown语言，而写博客经常要用到一些数学公式，在Markdown中写LaTeX数学公式则显得非常重要，本节将一些常用的数学公式的写法记录下来，以备日后查询
2017-10-22 15:41:35
1359
原创 台湾大学机器学习基石Lecture11
11-1：Linear Models for Binary classification线性模型在二元分类中的应用 回顾一下我们 前面所学的三种经典模型：Linear classification(线性分类)、Linear Regression(线性回归)、Logistic Regression(也称软线性分类)，我们将这三个模型进行对比，结果如下图所示： 其中s是得分函数，其表达式为s=w
2017-10-22 13:36:47
218
原创 台湾大学机器学习基石Lecture10
10-1:Logistic Regression ProblemLogistic回归问题 我们举一个心脏病预测的例子 ，我们根据患者的年龄，性别，体重，血压这些特征来预测这个人是否有心脏病，很显然这是一个二分类的例子，其输出结果为{+1,-1},算法流程如下图所示： 具体流程图的介绍在第八节已经详细介绍了，这里就不再赘述了。 那么我们如何根据这些特征判定是否该患者患心脏病呢？类似PLA，我
2017-10-21 14:06:20
305
原创 台湾大学机器学习基石Lecture9
9-1：Linear Regress Problem线性回归问题 再次谈到第二章发银行信用卡的问题，给你X=(x1,x2…xn)X=(x_1,x_2\ldots x_n)个输入特征，二元分类就是让你设计一个算法决定是否给一个新的顾客发放信用卡，而本节介绍的回归问题是指对于一个新的顾客，你设计一个算法来预测该顾客的信用额度是多少，它的输入是整个实数集R。 线性回归的假设公式如下： y≈∑di=0
2017-10-17 12:09:25
213
原创 台湾大学机器学习基石Lecture8
8-1：Noise and probabilistic Target杂絮和概率目标函数 本节主要介绍的是数据有噪声的情况下，机器学习是否还是可行的。 那么什么是噪声呢？比如发银行信用卡的时候: 1. 相同的用户特征却得到了不同的输出标签y 2. 对数据进行分类的时候，对应的标签填写错误 3. 或者直接就是录入了错误的数据 以上都是噪声产生的原因。 还是以从罐子里抽小球为例进行
2017-10-16 13:07:25
195
原创 台湾大学机器学习基石Lecture7
7-1:Definition Of VC-Dimensionvc维的定义 上一节我们介绍了成长函数MH(N)M_H(N)、上限函数B(N,K)B(N,K)、以及上限函数小于等于一个组合∑k−1i=0CiN\sum_{i=0}^{k-1}C_N^i，由组合知道，其最高次幂为Nk−1N^{k-1}，下面用两张图来介绍上限函数作为成长函数和Nk−1N^{k-1}作为成长函数的差别： 从图中可以看出
2017-10-15 12:49:54
240
2
原创 台湾大学机器学习基石Lecture6
6-1:Restriction of Break point断点的限制 上一节介绍了成长函数MH(N)M_H(N)，即样本为二元分类的情况下，假设空间在N个样本点上能够产生的最大二分数量。由此引出了断点（Break Point）的概念，即不能满足完全分类，也就是k个输入样本点，无论k怎么分布，都不能被shatter为2k2^k种情况，那么k就是断点。 我们进一步对K进行讨论，假设k=2时：当输
2017-10-14 13:05:40
274
原创 台湾大学机器学习基石Lecture5
5-1：Recap and preview概括和预习 Lecture4中我们得到了一个推论，如果|H|=M是有限的，并且数据N足够大，那么由公式(1)： 由此可以得到下面的推论：1、没有断点的时候，$M_H(N)=2^N$2、存在断点为k的时候，其成长函数$M_H(N)=O(N^{k-1})$
2017-10-10 18:24:11
254
原创 台湾大学机器学习基石Lecture4
4-1:Feasibility Of Learning机器学习的可行性，可能有一个很upset的事情是机器学习可能是不行的，为什么？因为你能确保在数据Data中g满足要求，但是数据外或者进行预测呢？g可能和实际的f差很远。4-2:Probability to the rescue补救是有可能性的。 在概率论与数理统计中中，我们做过用样本估计总体的试验，假设有一罐球，如下图所示： 罐子里有绿色
2017-10-09 12:53:05
215
原创 Python日常知识点小汇总
1、关于python包的安装1、Python中最重要的便是python的各种包，我自己是win8系统，那么安装package(比如pandas包)可以直接dos命令：pip install pandas2、由于国内有防火墙，导致dos命令失效，可以使用豆瓣镜像源进行dos下载：pip install -i--trusted-host http://pypi.douban.co
2017-10-08 13:49:21
1262
原创 台湾大学机器学习基石Lecture3
1、监督学习还是举上面那个分类四种美国硬币的例子，{1c,5c,10c,25c}，那么对于一组数据，监督学习就是指你知道所有数据对应的标签，也就是你知道完整的每个数据属于哪一类。比如下图所示：
2017-10-08 12:52:15
209
原创 台湾大学机器学习基石Lecture2
2-2：PLA上一节提到的h(x)，如何解出w呢?这就需要一个算法来进行求解了，也就是经典的PLA(perceptron learning algorithm)感知器算法，我们要从众多的hypothesis中选出最好的h，然后令g=h，这个g至少在给出的数据D上满足 g≈f，这样就可以使用这个g来进行未知顾客是否发放信用卡的预测了。 但是存在一个问题，hypothesis有无限多个，也就是有无限多条线，如何找出
2017-10-07 13:24:33
231
原创 台湾大学机器学习基石lecture1小结
最近在学习台湾大学林轩田老师的机器学习基石课程，在lecture1中，老师讲述了when can machine learn?提出了三个判断是否使用机器学习的关键：1、有更好的输出表现2、不知道如何写规则（但数据集应该包含规则）3、最重要的便是要有资料data针对机器学习在生活中的应用，举一个例子来说，假如我们要写一个movie推荐系统，那么一个可用的pattern可以是：找到da
2017-09-22 21:47:47
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人