- 博客(125)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN)
长尾问题是个老大难问题了。在推荐中可以是用户/物料冷启动，在搜索中可以是中低频query、文档，在分类问题中可以是类别不均衡。长尾数据就像机器学习领域的一朵乌云，飘到哪哪里就阴暗一片。今天就介绍来自Google的一篇解决长尾物品推荐的论文。
2023-09-03 00:39:14
478
原创 Improved Deep Metric Learning with Multi-class N-pair Loss Objective
从N-pair loss初探度量学习
2023-08-10 01:14:55
174
原创 Rethinking the Role of Pre-ranking in Large-scale E-Commerce Searching system
这篇论文对粗排的角色进行了分析，讨论了粗排过度模拟精排的问题，分别从离线评估方式、样本构造、目标构造和学习框架上进行了改进。论文没有花太多篇幅在模型框架的创新上，而是在深入的分析和解决真实粗排场景中常见的问题，在各种细节上也处理的很到位，如多个正样本的list-wise损失函数的改造上。完整、仔细地读下来，对理清粗排地整个流程和挑战都很有帮助，值得学习。欣赏一下北京的夜景😀。
2023-07-09 22:13:20
307
原创 浅尝Transformer和LLM
大语言模型势不可挡啊。哲学上来说，语言就是我们的一切，语言所不能到达的地方我们也不能达到。就人类来说，语言或许已经不仅仅是一种工具那么简单，其不仅是人类在物理世界进行活动时不可或缺的媒介，也是我们自身构建精神世界时的一砖一瓦。语言的重要性已经无需多言了。教会计算机人类的语言（用人类的语言进行思考）是一项艰巨的任务，或许从计算机发明之初这一征程就已经开始了，然而直到现在我们还有很长的路要走。最近，大语言模型大放异彩让我们看到了更大的希望。
2023-06-22 22:01:26
3270
原创 Spark Shuffle
这一篇主要讲 Spark 中的 Shuffle 机制.将 job 划分成多个 task 后, stage 内的一个 task 可以在一个节点上完成计算, task 内以来的数据可以直接存储在当前结点上 (内存或者磁盘中). 但是 stage 间的 task 可能在不同节点上计算, 那么当前 task 怎么拿到上一 stage 的数据呢?注意到在生成物理执行计划时, 是按照宽依赖对 DAG 进行划分的, 也就是在宽依赖型的 transformation 的输入和输出之间切一刀. 所以这个问题等价于。
2022-10-31 15:50:59
194
原创 Spark 逻辑处理流程与物理执行计划
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下.这一篇主要讲 Spark 中逻辑处理流程时怎么生成的, 以及在逻辑处理流程的基础上如何生成物理执行计划.⟶⟶。
2022-10-31 15:24:24
962
原创 Spark Overview
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下.先大致了解一下 Spark.
2022-10-31 15:22:06
1024
原创 softmax求导的过程
(图出自李宏毅老师的PPT)对机器学习/深度学习有所了解的同学肯定不会对 softmax 陌生，它时而出现在多分类中用于得到每个类别的概率，时而出现在二分类中用于得到正样本的概率(当然，这个时候 softmax 以 sigmoid 的形式出现)。1. 从 sigmoid 到 softmaxsigmoid 出现的频率在机器学习/深度学习中不可谓不高，从 logistic 回归到深度学习中的...
2022-02-25 21:21:00
35
原创 湖南大学信息科学与工程学院选课指南！！！
由于研一的疏忽，导致学科的时候少选了一个学分????????????????????，悲催的我只得在研二上学期，其他同学都不用上课的时候，还要每周去上课，到了还要紧张兮兮的准备期末考试，再一次体会到了被期末考试支配的恐惧，特别是我选的是令人望而生畏的随机过程。不过经过一学期的学习，也算摸着了一点随机过程的门道，希望以后能够逐渐加深自己对随机过程的理解，并能够应用起来，哈哈哈，做到学以致用。今天晚上刚考完试的我，就更新了我研...
2022-01-06 21:51:00
44
原创 提升方法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址： 提升方法。1. 某公司招聘职员考查身体、业务能力、发展潜力这3项。身体分为合格1、不合格0两级，业务能力和发展潜力分为上1、中2、下3三级。分类为合格1 、不合格-1两类。已知10个人的数据，如下表所示。假设弱分类器为决策树桩。试用AdaBoost算法学习一个强分类器。应聘人...
2021-12-31 11:47:00
73
原创 支持向量机
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：支持向量机。1. 比较感知机的对偶形式与线性可分支持向量机的对偶形式。解答思路：列出感知机的原始形式；写出感知机的对偶形式；列出线性可分支持向量机的原始形式；写出线性可分支持向量机的对偶形式；比较感知机和线性可分支持向量机的对偶形式。回忆一下感知机的目标函数：...
2021-12-31 10:28:00
39
原创 Logistic回归与最大熵模型
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：Logistic回归与最大熵模型。1. 确认Logistic分布属于指数分布族。解答思路：列出 Logistic 分布的定义列出指数分布族的定义通过指数倾斜，证明Logistic分布的分布函数无法表示成指数分布族的分布函数形式先看一下什么是 Logistic 分布：...
2021-12-28 15:22:00
35
原创 决策树
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：决策树。1. 根据表5.1所给的训练数据集，利用信息增益比(C4.5算法)生成决策树。解答思路：列出C4.5的生成算法；使用sklearn的DecisionTreeClassifier类构建决策树，并使用graphviz包展示，默认是Gini，这里可以作为自编程的验证；...
2021-12-27 17:00:00
57
原创 Scrapy基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task3，主要任务有：爬虫构建画像物料入库本篇博客主要参考Fun-rec的文档，在这里。本篇博客主要内容是 scrapy 的介绍，以及项目中新闻物料的爬取和保存。Scrapy说起爬虫框架，那 scrapy 必是当之无愧的一哥了。虽然我还没用 scrapy 写过爬虫，但也是仰慕已久。犹记当初刚学了一点 python，尝试的第一个项目...
2021-12-26 12:23:00
26
原创 朴素贝叶斯法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：朴素贝叶斯法。一下相关内容都基于以下前提：输入空间 \(\mathcal{X} \subseteq \mathbb{R}^n\)，输出空间为 \(\mathcal{R} =\{ c_1, c_2, ..., c_K \}\)。\(X, Y\) 分别表示定义在输入、输出空间上的随...
2021-12-24 20:43:00
18
原创 k近邻法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：k近邻法。1. 参照图3.1，在二维空间中给出实例点，画出 \(k\) 为1和2时的 \(k\) 近邻法构成的空间划分，并对其进行比较，体会 \(k\) 值选择与模型复杂度及预测准确率的关系解答思路：参照图3.1，使用已给的实例点，采用sklearn的KNeighborsC...
2021-12-21 14:20:00
58
原创 redis基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 redis 基础，Fun-rec的文档在这里。Redis(Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。由于是内...
2021-12-21 11:02:00
20
原创 mongodb基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 mongodb 基础，Fun-rec的文档在这里。看一下 MongoDB 的自我介绍：MongoDB 是由C++语言编写的，通用的、基于文档的分布式开源数据库。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB...
2021-12-19 17:35:00
23
原创 感知机
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：感知机。1. Minsky 与 Papert 指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或 (XOR)。验证感知机为什么不能表示异或解答思路：列出异或函数(XOR)的输入和输出；使用图例法证明异或问题是线性不可分的；使用反证法证明感知机无法表示异或。先...
2021-12-18 23:25:00
30
原创 mysql基础 - #2
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 mysql 基础，Fun-rec的文档在这里。当前为mysql基础第二篇，前期内容：mysql基础 - #11. 数据库的操作创建数据库语法：CREATE DATABASE [IF NOT EXISTS] <数据库名称...
2021-12-16 15:01:00
21
原创 mysql基础 - #1
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 mysql 基础，Fun-rec的文档在这里。在开始之前，先了解一下mysql是个什么。mysql 是一个开源的关系型数据库系统。拆解一下：mysql = my + sql。sql(Structured Query Language)是由...
2021-12-16 13:26:00
17
原创 统计学习方法及监督学习概论
本篇文章只是一个开始。文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：统计学习方法概论。1. 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型\(n\)次独立的数据生成结果，其中\(k\)次的结果为1，这时可以用极大似然估计或贝叶斯估...
2021-12-13 21:46:00
17
原创 新闻推荐系统基本流程
近期参加了DataWhale组织的组队学习，加入了其中的新闻推荐系统的学习，专门开了一个分类来记录学习的过程！项目地址：Fun-rec。先给出整个新闻推荐系统的框架：可以很清楚地看到，整个系统被划分成两个部分：offline，online。offlineoffline部分主要包含：新闻物料的爬取物料画像处理用户画像更新生成推荐页列表生成热门页列表新闻物料的爬取每天2...
2021-12-13 19:07:00
26
原创 黑塞矩阵（Hessian Matrix）
黑塞矩阵和雅可比矩阵，相信搞机器学习方向的同学多多少少也听过一点。但是平时毕竟用到的还是不多，因此也不是很重视，甚至对它们的定义也不是很清楚。????????????此次，就借这个博客梳理一下黑塞矩阵及其用途。????定义黑塞矩阵是由多元函数的二阶偏导组成的矩阵。假设 \(f(x_1, x_2, ..., x_n)\) 二阶可导，则其黑塞矩阵为：\[\left[\begin{array}{cccc}\frac...
2021-11-30 11:06:00
740
原创 二次型
目录基本概念半正定矩阵的一些性质正定矩阵判定规则Reference、二次型是一种特殊的二次函数，其中只含二次项，在机器学习中常以目标函数的形式出现。基本概念二次型(Quardic Form)，只包含二次项的函数，如：\[2x^2 - 3 xy + y^2 + z^2\]二次型可以写成矩阵的形式：\(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol...
2021-11-26 16:37:00
30
原创 Python闭包
一般，在使用了嵌套函数时才会出现闭包。其实，闭包是指延伸了作用域的函数，这个闭包的函数中引用了不在本函数体中定义的非全局变量，即出现了自由变量。看一个简单的例子：>>> def make_averager(): series = [] def averager(new_val): series.append(new_val) total = sum(series...
2021-11-01 19:07:00
17
原创 chmod
chmod在Linux中，不同的用户(包括不同组的用户)对同一个文件的访问权限是不一样的，当想要改变某个用户对某个文件的权限时，最常用来改变权限的命令就是 chmod。在了解这个命令之前，首先就应该对linux下权限的表示有一定的了解。先上图了解下：在图片中的 - r w - r- - r - -，也就是通过 ls -l 命令查看文件时，每一行的二到十列都是文件的权限。在Linux ...
2021-11-01 19:01:00
25
原创 用随机梯度下降来优化人生
By - 李沐要有目标。你需要有目标。短的也好，长的也好。认真定下来的也好，别人那里捡来的也好。就跟随机梯度下降需要有个目标函数一样。目标要大。不管是人生目标还是目标函数，你最好不要知道最后可以走到哪里。如果你知道，那么你的目标就太简单了，可能是个凸函数。你可以在一开始的时候给自己一些小目标，例如期末考个80分，训练一个线性模型。但接下来得有个更大的目标，财富自由也好，100亿参数的变形金刚...
2021-11-01 16:25:00
17
原创 C++学习
1. typedef和typenametypedef：定义类型别名typename：可用在模板中，功能与class一样，或者告诉编译器后面紧跟着的是个类型名2. qualified name和dependent name1). qualified name例如:std::cout, std::endl;这样含有作用域符号(::)的就是限定名，当我们用using声明将cout,endl引入到当前作用域之后就可以直接使用这两个名称，这个时候cout，endl就不是限定名了。2). depe
2021-05-09 15:27:48
83
原创 QT使用小结
1. 在QT中使用std::cout在QT中如果要在控制台输出信息，一般是使用qDebug()，如果要使用C++中的std::cout该怎么办呢？在QT5.12下，是可以直接使用std::cout的，但是并不会马上输出，会等到缓存区满了才输出，或者每次输出都输出一个换行endl。...
2021-05-08 17:01:57
507
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人