Marcus-Bao的个人主页

原创 Collaborative Translational Metric Learning论文小结(附核心pytorch代码)

前言在之前得专栏文章中，我们介绍过一种将度量学习引入推荐系统的方法Collaborative Metric Learning(CML)论文总结。其主要的motivation就是说传统的基于点积的矩阵分解方法不满足三角不等式，因此不是一个好的度量方式，会存在一些问题。对此，CML的解决思路是将用户和商品投影到欧几里得空间，然后用欧几里得距离来度量用户对不同商品的偏好。那么CML就是完美的吗？显然是不可能的。 CML的出现后，涌现了一系列的基于度量学习的推荐算法，大部分都是对原CML的改进和提高，我会慢慢

原创 Java大神必备宝典——CSDN耗时100天打造9大模块100+知识点福利大放送！（一图在手，眼界全开）

随着 Java 语言薪资的水涨船高，身边越来越多小伙伴开始学习 Java 。在众多编程语言中，Java 并不是一门最简单易学、易上手的编程语言，为什么还有那么多人要学 Java ？4 月北京 Java 工程师平均薪资，已经达到 21.8K了，可以说 Java 程序员是业内薪资最高的程序员之一。而且在所有软件开发类人才的需求中，对 Java 工程师的需求达到全部需求量的 60%~70%。这么大的需求量，是其他任何技术岗位都无法比拟的。如何才能学好 Java ？不管学习哪一门语言，全面、扎实地掌握语言

原创 python从入门到精通——6位专家耗时90天打造CSDN社区python核心知识点

最近几年 Python 语言超级火爆，不只是编程圈内火，各行各业的圈子里也都在讨论。为什么突然之间，各行各业的人都来学习 Python 呢？作为从业者，我就经常被用户询问：为什么要学 Python ? 薪资高吗? 我该怎么学 Python ?…每天有数十万人都在搜索 Python 相关的问题。鉴于大家都有这方面的困惑，为了帮助更多的人从零进阶 Python 工程师，CSDN 特意联合 6 位大厂一线 Python 工程师，花费 3 个月，反复打磨，共同打造了这张《Python 全栈知识图谱》。

原创 Pytorch自定义优化器Optimizer简单总结(附AdamW代码分析)

写在前面虽然pytorch,tensorflow等主流框架已经为我们内置了很多已经被广泛使用的优化算法，比如SGD，Adam，Adagrad等等，但是有的时候往往需要对优化器做一定的改动，才能使我们的模型收敛到最优解；或者说我们就是对SGD系列算法展开研究，发现了其中的问题并且提出了一个更好的优化器，如何把他封装到pytorch或者tensorflow里呢？让其可以简单的使用。本文就针对pytorch重载Optimizer进行简单的讲解，接下来的几篇还会逐步讲解，如何自己写cuda，如何自己定制back

原创 关于推荐系统的全面调研与探讨！千万别错过！

简单定义来说：推荐系统是一个信息过滤系统，根据用户的历史行为，社交关系，兴趣点，来判断用户当前感兴趣的物品和内容。其根据不同的目标定义，也会导致不同的推荐结果，从measure上来考虑，包括用户满意度，预测准确度，覆盖率，多样性，新颖性，精细度，实时性，内容时效性，内容质量，商业目标等等。1. 常用评测指标用户满意度：用户是推荐系统中非常重要的参与者,他们的满意度也直接决定了推荐系统的好坏.但是用户满意度这个指标无法离线计算,只能通过用户调查或者在线实验获得，一般都是线上行为统计，包括购买率（CV

原创 服务器配置记录

组里最近的新服务器需要配置下环境，就在此记录一下。添加新用户为新服务器创建新用户:sudo adduser usernamePS：这里一定要使用adduser, 执行该命令后会在home文件夹下自动创建username的文件夹随后会让你输入两次密码确认。修改已有用户的密码//首先sudo su，进入root// 然后执行sudo passwd username//再修改密码即可升级Python3直接去python下载库里面下载对应的版本，我这里是Ubuntu系统要安装，下载后.

原创 长尾序列用户行为建模中可转移参数的学习(KDD-2020)

本文给大家分享的是阿里和浙大合作发表在KDD-2020上的文章《Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling》，提出从梯度对齐和对抗训练两方面来缓解序列建模任务中的长尾问题。该文章首发于本文微信公众号: 长尾序列用户行为建模中可转移参数的学习(KDD-2020),扫码关注第一时间获取更多资讯：Introduction & Motivation序列推荐的结果很大程度上取.

原创 知识图谱在推荐系统中的应用全面调研

超长文字预警… 本文是对《A Survey on Knowledge Graph-Based Recommender Systems》的简单总结，文章对近几年知识图谱在推荐系统中的应用做了较为详细的总结和讨论，希望可以给想要入坑的各位一点点启发。Introduction近几年，结合知识图谱和推荐系统的方向是一大热，知识图谱(KG)是一个异构图，其中节点作为实体，边表示实体之间的关系。Item及其属性可以映射到KG中，以了解item之间的相互关系[2]。此外，还可以将用户和用户侧信息集成到KG中，从..

原创 SIGIR‘20阿里巴巴利用Domain Adaptation在long-tail item上的实践

SIGIR’20阿里巴巴利用Domain Adaptation在long-tail item上的实践Domain Adaption应该是前几年CV里比较火的topic，这几年在推荐里也逐渐被应用了。。。 本文给分享的是阿里巴巴在SIGIR’2020上的一篇文章——《ESAM: Discriminative Domain Adaptation with Non-Displayed Items to Improve Long-Tail Performance》利用DA解决long-tail问题，提升模型表现

转载 2020年精排模型调研

❝本文经作者同意转载自: https://zhuanlan.zhihu.com/p/335781101作者: Ruhjkg编辑: MarcusBao谢绝任何形式的二次转载！❞2020年精排模型调研前言最近由于工作需要调研了一下2020年关于精排模型的进展。在广告推荐领域的CTR预估问题上，早期以LR+人工特征工程为主的机器学习方法，但由于人工组合特征工程成本较高，不同任务难以复用。后面FM因子分解机提出了二阶特征自动交叉解决了人工组合特征的难题。之后2014年Facebook 提出GBDT+L

原创 什么是Sequential Recommendations？关于Sequential Recommendations的全面调研！

本文参考自论文《Sequential Recommender Systems: Challenges, Progress and Prospects》，是对其翻译和总结。关于SeqRec我也分享过不少的文章，也进行过简单的总结，可以看深入探寻《Self-Attentive Sequential Recommendation》ICDM‘18.摘要本文首先介绍了Sequential Recommender Systems（SRSs）的特点，然后对该领域面临的主要挑战进行了总结和分类，接着介绍了该领域最.

原创 Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering (Nips‘20) 论文小结

摘要在基于隐式反馈的协同过滤中，负采样(negative sampling)是从大量的unlabeled data中获取负样本标签比较常用和流行的方法。然而，负采样的效率和有效性这两个问题仍然没有被很好的解决，因为它们使用比较复杂的结构，并且忽视了 false negative样本的风险。本文首先通过实验观察，提供了一个关于负样本比较新颖的理解。作者发现，在模型学习过程中只有一小部分样本比较重要，并且假负例(FN)在许多训练迭代中倾向于有稳定的预测。基于此发现，作者提出了一个Simplify and Ro

原创 A Univariate Bound of Area Under ROC 论文小结

本文想给大家分享的是《A Univariate Bound of Area Under ROC》论文。还是那句话水平有限，大家多多包涵，非常欢迎任何形式的讨论，大家共同学习共同进步。码字不易，喜欢就请大家点赞、收藏、转发三连吧！蟹蟹大家的支持，后面我也会把整个系列总结到一起更新到公众号！欢迎大家关注，转发，分享三连！Abstract & Intro...

原创 Positive&Unlabeled Data Learning——第四弹(Semi-Supervised Classification/AUC Optimization)

PU Learning系列目录目录第一弹 PU Learning简介以及关于论文《Learning Embeddings From Positive Unlabeled Data with BGD》的分享第二弹 关于论文《Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training》的分享，文章主要用到了自步学习，meta-learning，以及知识蒸馏。第三弹 关于论文《Positive-Unlabeled Learning w

原创 Positive&Unlabeled Data Learning——第三弹 (Positive-Unlabeled Learning with Non-Negative Risk Estimator)

PU Learning系列目录目录第一弹 PU Learning简介以及关于论文《Learning Embeddings From Positive Unlabeled Data with BGD》的分享第二弹 关于论文《Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training》的分享，文章主要用到了自步学习，meta-learning，以及知识蒸馏。本文是第三弹，关于文章《Positive-Unlabeled Learni

原创 Positive & Unlabeled Data Learning——第二弹 (Self-PU)

写在前面拖更了好久的PU-Learning的第二弹终于来了，最近事情炒鸡多，再加上尝试了自己的几个idea发现目前都不太work啊，都快要崩溃了= =. 利用这段时间更新点水文，调整下自己。。。。接下来，自己要介绍的文章和之前的文章不同的是，本文更多的是关注"How to do PU Learning？", 怎样做就会存在各式各样的有趣的方法了！而之前的文章更多的是采用简单的PU Learning学习方法，并且argue 使用全样本会带来更多的监督信息，但是要解决学习速度的问题。希望大家还是要了解在解决问

原创 最硬核的独立蒙特卡洛抽样法

写在前面本文首发于博主微信公众号:以及知乎:扫码关注可免费获取不定期分享!最硬核的独立蒙特卡洛抽样法蒙特卡洛法，也称为统计模拟方法，是通过从概率模型的随机抽样进行近似数值计算的方法。模拟是指把某一现实的或抽象的系统的某种特征或部分状态，用另一系统（称为模拟模型）来代替或模拟。为了解决某问题，把它变成一个概率模型的求解问题，然后产生符合模型的大量随机数，对产生的随机数进行分析从而求解问题， 这种方法叫做随机模拟方法，又称为蒙特卡洛(Monte Carlo)方法。较早的蒙特卡洛方法的变体应该是

原创 浅谈大数定理和中心极限定理

极限定理极限定理是概率论的重要内容，也是数理统计学的基石之一。大数定律（大数定理）讨论的是概率论中讨论随机变量和的平均值的收敛情况，是数理统计学中参数估计的理论基础。中心极限定理，讨论的是概率论中随机变量和的分布以正态分布为极限的一组定理。中心极限定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。大数定理大数定理，又称大数定律，是一种描述当实验次数很大的时候n→∞n\rightarrow \inftyn→∞所呈现的概率性质的定律。大数定律并不是经验规律，而是严格证明

翻译 Why Python is Slow? Looking Under the Hood

前言最近写了点rankboost相关的代码，发现当weaklearner比较多且数据量巨大的时候，单纯的利用python+sklearn+numpy来fit是非常慢的，就想到了之前用过的cython，写完之后果然效率飞起啊。但是为什么python如此之慢呢？我这个菜鸡还是需要学习一下的。。。Why python is slow?归根结底，python是一种动态类型的解释性语言，它的值并不是存储在密集的buffer中，而是在分散的对象中。python是动态类型的，而不是静态的每次当程序执行时，解释器

原创 知乎求关注啦！同步分享免费文章！

原创 公众号：码农修炼厂 mnxlc2333 开始营业啦！！！

欢迎各位大佬们前来交流，一起进步一起飞！

原创 Positive & Unlabeled Data Learning——第一弹

Positive & Unlabeled Data Learning(第一弹)最近做的东西遇到了瓶颈，最近想从PU Learning这寻找一点灵感，所以接下来打算开个专题，陆续记录下自己最近看到的PU learning的文章。水平有限，非常欢迎大家可以多交流，讨论，一起进步！所谓PU learning就是说我们收集得到的数据一般只有positive-only data，也就是说只有正样本，和一些没有标注的unlabeled data，对于这部分未标注的数据我们不清楚它到底是negative 还是

原创 Disentangled Self-Supervision in Sequential Recommenders（KDD‘20）论文小结

《Disentangled Self-Supervision in Sequential Recommenders》是清华大学崔鹏老师和阿里巴巴杨红霞合作发表在KDD2020上的论文，该论文的最大亮点就是argue了当下sequential recommendation中比较流行的seq2item的监督训练方法，并提出了一种有效的基于seq2seq的训练方法对传统的seq2item进行补全，读过之后大受启发。关于sequential recommendation的简单介绍可以看我之前的深入探寻《Self-

原创 2020.8.21 阿里笔试第二题(找规律)

思路刚开始题目都没看懂…样例答案都凑不出来。。。后来从3，4,5，一个个写了一下发现了规律。A选一个点，然后B先走，其实B一定是占据主导地位，来引导着A走，但是二者又有一个共同的目标就是最大化游戏的完美度。比如有5个点的时候，那你发现：(比如权重是[1 2 3 4 5 ]仔细研究会发现权重的绝对大小对规律没影响)A选择完美度最大的点B往完美度第二大的点走 5×45 \times 45×4A往完美度第三大的点走 4×34 \times 34×3B走回完美度最大的点3×53 \times...

原创 Gaussian Affinity Loss (ICCV19)论文小结

今天继续记录的是关于imbalance class learning的paper，ICCV19的affinity loss：Paper关于这篇文章只找到一个unofficial code:CodeContribution & Motivation文章中介绍了一个混合的损失函数，它通过这一单一的损失函数同时进行分类和聚类。 该方法基于欧几里得空间中的"affinity measure"，可以带来诸多好处：可以直接对分类的boundary实施maximum margin 限制一种易于操作的

原创 微软automl工具包nni如何自定义Assessor？附实例讲解

最近需要炼丹，希望找到一个比较好的自动调参的工具，最后经过调研和尝试选择了微软最近发布的NNI (Neural Network Intelligence)。关于nni的quick start移步官网:​nni总体来讲nni比较好用，支持pytorch、tf等，其可视化界面也及其美观，和tensorboard差不多。 借用 @范舒涵 的两张图总结：AssessorAssessor 从 Trial 中接收中间结果（也就是nni.report_intermediate_result一定要是自己用

原创 2020.08.08 网易秋招算法岗笔试简单总结(贪心，dp，二进制枚举，tarjan)

记录一下8号做的网易笔试题，总的来说笔试难度相对easy且每个人的题目可能不同，简单记录分享下。PS：对于题目，每个人有每个人不同的想法和解题思路，大佬们有更高效的方法欢迎讨论，但勿喷，谢谢！TI思路：就一个简单的贪心，暴力拆成2的和统计个数就好了，不过多解释。T2思路可dp可暴力。dp简单的可以是两维dp[i][j],j∈{0,1}dp[i][j],j\in\{0,1\}dp[i][j],j∈{0,1},转移方程也极其简单。当然细心的可以发现，一维其实就足够了。T3思路法

原创 Equalization Loss论文小结(CVPR2020)

接上一篇BAGS小结(CVPR2020 Oral Paper)​今天继续分享一篇有意思的paper，关于长尾分布下的目标检测问题。CodeEqualization Loss for Long-Tailed Object Recognition该方法主要关注large-scale目标检测数据集上的长尾分布问题，在最新的LVIS数据上达到了SOTA，是LVIS Challenge冠军。所提出的方法不仅可以应用到目标检测，作者还给出了一种基于softmax分类的EQLoss，很有趣。所谓长尾分布，简

原创 C++知识点总结

1.c和c++的区别是什么？ 程序 = 数据结构+算法.c语言是面向过程的,面向过程就是分析出解决问题的步骤,然后用函数将其实现,使用时依次调用. 程序= 对象+消息.c++是面向对象的,c++面向对象是将构成问题的事物分解成各个对象，每个对象完成在解决整个问题中的行为.主要特点是类，封装，继承，多态等。面向对象的语言具有更好的可扩展性。2.const有什么用途? （1）定义一...

原创 Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax(CVPR20)

论文代码近几年，关于long-tailed或imbalanced problem在各个领域都受到持续关注，cvpr、iccv等会议也一直有关于相关问题的topic。最近，偶然读到了几篇关于解决该问题的比较有意思的文章，于是就简单记录一下。这篇文章BAGS是针对object detection中的long-tailed问题（LVIS 2019 challenge数据集），本人不是做cv的，但是实验中发现其迁移到其他imbalanced classification上同样适用。Introduction作

原创 深入探寻《Self-Attentive Sequential Recommendation》ICDM‘18

本文我们主要致力于解决以下几个问题：本文的motivation/contribution是什么？实验细节以及实验效果如何？具体的应用场景？本文存在什么不足？在本文的最后，我将针对以上问题简单谈谈自己的拙见，欢迎大家一起在评论区留言谈论。言归正传，带着上面四个问题，让我们一起探寻《Self-Attentive Sequential Recommendation》，SASRec背后的秘密！谈谈序列推荐由于自己是第一次给大家分享序列推荐的文章，所以本着对我自己的读者负责的态度，还是要花点篇.

原创 最近邻搜索神器——一文读懂局部敏感哈希LSH原理

什么是LSH?LSH主要用来解决高维空间中点的近似最近邻搜索问题,即Approximate Nearest Neighbor(ANN)。在实际的应用中我们所面对的数据是海量的,并且有着很高的维度。在对数据的各种操作中,查询操作是最常见的一种,这里的查询是指输入一个数据,查找与其相似的数据,那么怎样快速从海量高维数据中找到与某个数据最相似的数据,成为了一个难点。传统的哈希算法通过哈希函数建立哈希表,由哈希表我们能够得到O(1)的查找时间性能,传统哈希算法的关键在于,找到合适的哈希函数,将原始数据映射到相

原创 Attention Is All You Need论文详解与理解

研究背景、动机深度学习做NLP问题的方法，大多基本上是先将句子分词，然后将每个词转化为对应的词向量序列，于是每个句子就都对应一个词嵌入矩阵X=(x1,x2,...,xt)X=\left(x_1,x_2,{...,x}_t\right)X=(x1​,x2​,...,xt​)，其中xix_ixi​代表着第i个词的词向量，维度为d。因此，我们的问题就自然转化为如何编码这些序列信息了。在Transformer该论文提出之前，几乎所有主流的翻译模型或者NLP模型都是建立在复杂的循环神经网络(Recurrent N

原创 Variational Inference with Normalizing Flows 论文小结

变分推断中，用于近似的后验分布的选择是变分推断的核心问题。大多数的变分推断的应用为了进行高效的推断都聚焦于简单的后验近似族，比如mean-field（平均场）或者简单的结构化近似。这一限制极大的影响变分推断方法的质量和性能表现。本文提出了一种新的方法来指定灵活的，任意复杂的和可伸缩的近似后验分布(也就是 normalizing flow)。该近似是通过normalizing flow构造的分布，通过一系列可逆变换(invertible transformation)将简单的初始密度函数转化为更复杂的密度函数

原创 小白学变分推断(2)——变分推断改进

在上一篇系列文章小白学变分推断(1)——变分推断概述中，我们通过对ELBO引入条件概率公式，进一步化简得到:ELBO=Eq[log p(x∣z)]−KL(q(z)∣∣p(z))ELBO = E_q[log\ p(x|z)] - KL(q(z)||p(z))ELBO=Eq​[log p(x∣z)]−KL(q(z)∣∣p(z))进而引入如下三个问题:如何通过随机梯度估计方法来求解后验分布qqq并提升 VI 方法的 scalability？如何引入复杂的近似后验分布q(z)

原创 小白学变分推断(1)——变分推断概述

变分推断 (Variational Inference, VI)在概率机器学习问题中，其一个中心任务是在给定观测数据变量X的条件下，计算潜在变量Z的后验概率分布P(Z∣X)P(Z|X)P(Z∣X):[P(Z|X) = \frac{P(X,Z)}{p(X)}]但是这对于实际应用中的许多模型来说，分母的边缘概率密度p(X)p(X)p(X)往往是不好求得的(intractable)。比如，Z为...

原创 Easy Algorithms系列——详解递归与分治

写在前面： 嗨，大家好。欢迎各位有缘人来到我的博客，这里是Easy Algorithms (EA) 系列第一弹。之所以写这个专栏，完全是为了回顾和整理自己的算法知识。本科四年，我大概搞了三年半的算法竞赛，通过自己的不懈努力，还算取得了一丢丢丢丢小小的成就。实话实说，我是从大一下学期才接触算法竞赛的，再加上自己的智力远不如那些OI大佬，所以自认为自己也就是一个中下水平，也只是将将够应付基础的算法面试罢了。后来，有幸保送到中国科学院大学读研究生，慢慢发现之前的竞赛经历无形之中给我很多帮助和启发，并且它锻炼了..

原创 Black Box Variational Inference论文小结

变分推断已经成为近似复杂模型后验分布的一种有效且广泛的方法。对于特定的模型，如果我们可以将其ELBO期望写成解析解的形式(比如指数家族分布，例如高斯分布)，这种情况下我们可以采用变分推断的一般方法进行优化求解。然而对于更一般的模型和任意的变分分布,普通的变分推断方法就无法进行有效求解了.针对不同的模型我们可以设计模型特异性的求解方法,但是针对具体的问题设计特定的求解策略是一个费时费力的工作。David等人提出了 Black Box...

原创 deeplearning.ai 改善深度神经网络(正则化、优化、mini-batch等)附代码作业答案

一、初始化1.为什么神经网络的所有参数不能全部初始化为0>?若w初始化为0 ,很可能导致模型失效,无法收敛。也就是说如果我们初始将所有的w初始化为0,那么进行前向传播时每一层得到的值都是一样,这样一来当我们使用反向传播时,传回的梯度也是一样的,这就导致了我们更新参数后w还是一样的,这就使得我们的NN不能各自学习到很好的特征了。可以看这里2.Xavier InitializationXavier Initialization 初始化的基本思想就是保持输入和输出的方差一致,这样就避免了所有的输出

原创 简单谈谈神经网络中的梯度消失、爆炸原因及解决办法

为什么要使用梯度更新规则？我们先来简单说一下梯度小时的根源–深度神经网络和反向传播。目前深度学习方法中，深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务，深层网络比如深度卷积网络，LSTM等等，而且最终结果表明，在处理复杂任务上，深度网络比浅层的网络具有更好的效果。但是，目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来,每一层非线性层都可以视为是一个非线性