- 博客(100)
- 资源 (3)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 推荐算法_04_word2vec
python中库gensimhttps://blog.csdn.net/qq_28840013/article/details/89681499
2020-11-13 16:37:33
230
原创 fm代码
1.https://www.jianshu.com/p/610dff83f709import numpy as npfrom random import normalvariate# from sklearn_pandas import DataFrameMapperfrom sklearn.preprocessing import MinMaxScaler as MMimport pandas as pddata_train = pd.read_csv('diabetes_train.t.
2020-05-18 21:57:11
545
原创 机器学习基础__06__BP误差反向传播
BP算法核心就两点1.误差反向传播2.链式求导法则参考：这个最全最细0.一步步教你理解反向传播方法这个简单易懂，一看就懂了1.20分钟搞懂神经网络BP算法这个例子不错2.一文搞懂反向传播算法...
2020-01-01 15:44:30
227
原创 机器学习基础__05__常见的代价函数和激活函数
目录1. 常见的代价函数1.1 回归问题的代价函数1.2 分类问题的代价函数2. 常见的激活函数2.1 为什么需要激活函数？2.2 sigmoid函数2.3 tanh函数2.4 ReLU函数2.5 LeakyReLU1. 常见的代价函数一句话总结：关于代价函数，回归问题用均方误差，分类问题用交叉熵。损失函数（Loss Function）：是定义...
2019-12-25 19:58:42
514
原创 linux安装pytorch
1. 先安装Anaconda3https://blog.csdn.net/bewithme/article/details/88369733Anaconda3包也可以从这里下载，然后上传到服务器，https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2. 再用Anaconda3安装pytorchconda install pytorc...
2019-12-24 15:12:54
165
原创 机器学习基础__04__常见的机器学习优化算法
目录1. SGD2.Momentum 动量法3.Nesterov Momentum 牛顿动量法4. Adagrad5. RMSprop6. Adam1. SGD我们通常所说的SGD，指的是小批量随机梯度下降算法。每次迭代中计算batch_size个样本的梯度，不仅计算效率高，而且收敛稳定。它是目前深度学习训练优化的主流方法。注意：系数一般取0.001,...
2019-12-24 14:37:21
300
原创 机器学习基础__03__梯度下降法
目录1. 什么是梯度1.1 方向导数1.2梯度1.3 为什么沿着梯度方向函数增长最快2. 梯度下降法3. 梯度下降法的三种形式3.1 批量梯度下降3.2 随机梯度下降3.3 小批量梯度下降1. 什么是梯度梯度是一个向量。（有大小有方向）1.1 方向导数导数导数表示切线的斜率，公式如下： ...
2019-12-23 20:34:47
482
原创 机器学习基础__02__L1L2范数在机器学习中应用
目录1. 范数概念2. 为什么L1有稀疏性?L2则没有3. 应用1. 范数概念范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下 L1范数当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和，也叫“稀疏规则算子”。 ...
2019-12-21 11:33:48
436
1
原创 vim 配置 for golang（最佳实践）
1. 用golang最特征go mod包管理工具2. vim-go配置：点这里此时函数还不能跳转，执行3和43. 在.bash_profile中添加如下：export GOPROXY="https://goproxy.io,https://goproxy.cn,https://mirrors.aliyun.com/goproxy/" ...
2019-11-08 20:48:16
715
原创 redis是k-v，set前要序列化
下面展示一个实验，把K是string，V是[]string，存入redis中如果V在redis中存在，则要追加数据func saveUserDisLike(userDisLikeMap map[string][]string, redisName string) { countScope := countstat.GetCountGlobal().NewCountScope("saveUse...
2019-10-19 16:18:11
341
原创 golang中map是不安全的
golang中Map是不安全的有两种办法解决：加锁用sync.Map下面展示加读写锁处理：type SafeMap struct { Data map[string]int Lock sync.RWMutex}func (m *SafeMap) Get(k string) int { m.Lock.RLock() defer m.Lock.RUnlock() retu...
2019-10-19 16:03:31
580
原创 基础算法_04_最短路径问题
目录一. 单源最短路径问题（Dijkstra迪杰斯特拉算法）二. 多源最短路径问题（Floyd弗洛伊德算法）一. 单源最短路径问题（Dijkstra迪杰斯特拉算法）1. 问题描述如上有向图所示，求出到其它各个顶点的最短路径2. Dijkstra算法先将有向图用带权邻接矩阵表示：算法过程状态图如下：上述图中，表示当前求得的一条从出发的最短路径的终点，S表示已找到从出发...
2019-09-14 10:41:04
187
原创 基础算法_02_动态规划
1. 引入：上台阶问题入门例子：一个10级的台阶，每次只允许走1个或2个台阶，一共有几种走法？每一步，上几个台阶，都是一个决策问题。我们可以试着倒着考虑，最后一次决策，上到第10级台阶是怎么来的？显然有两种可能：要么是第9级迈1步，要么是第8级迈2步。记f(n)表示上到第n级台阶的所有走法，则f(10) = f(9) + f(8)，那么f(9) = f(8) + f(7)，f(8) ...
2019-09-13 09:51:32
171
原创 多个服务器间copy文件
利用nc命令1. 先启动接收端：nc -lp 8888 > 文件名2. 再启动发送端：nc -w 1 接收端ip 8888 < 文件名其中 8888表示端口号，只要双方一致就可以了参考：linux nc命令相互发消息及传文件...
2019-08-14 20:51:09
186
原创 逻辑回归LR
一、模型函数逻辑回归LR = 线性回归 + sigmoid它是过去应用最广泛最流行的一种分类/排序算法，虽然逻辑回归的名字是“回归”，但它是一种分类算法。一般来说，不建议用线性回归做分类，因为线性回归的输出值可能远大于1或远小于0，而逻辑回归的输出压缩在区间[0，1]线性回归：，其中= 1，线性回归对特征权重有很好的解释性。sigmoid函数：，函数图像...
2019-08-11 11:11:00
169
原创 机器学习基础__01__性能度量
目录一、性能度量二、回归问题的性能度量三、分类问题的性能度量3.1 混淆矩阵3.2 准确率、召回率与F13.3 ROC与AUC一、性能度量性能度量是衡量模型泛化能力的评价标准，反映了任务需求。通俗讲就是对于多个模型，哪个好呢？性能度量就是评判这个。什么样的模型是好的，不仅取决于算法和数据，还取决于任务需求。二、回归问题的性能度量回归问题常用的性能度...
2019-07-16 21:40:28
383
原创 机器学习_吴恩达_week7（支持向量机SVM）
目录一、SVM1.1 优化目标1.2 大间隔的直观理解1.3 大间隔分类器的数学原理1.4 核函数11.5 核函数21.6 使用SVM一、SVM1.1 优化目标从LR入手，一步一步修改成SVM的优化目标：SVM的代价函数：左图中，粉色曲线由两部分组成：大于1时是直线，小于1时是斜线（斜线斜率不是很重要）右图中，粉色曲线由两部分组成：大于-1时是斜线...
2019-06-28 15:40:55
173
原创 机器学习_吴恩达_week8（聚类与降维）
目录一、聚类1.1 无监督学习1.2 k-means算法1.3 优化目标1.4 随机初始化1.5 选择聚类数二、降维2.1 动机1：数据压缩2.2 动机2：数据可视化2.3 主成分分析问题规划12.4 主成分分析问题规划22.5 主成分数量选择2.6 压缩重现2.7 应用PCA的建议一、聚类1.1 无监督学习1.2 k-m...
2019-06-26 14:42:08
211
原创 pandas读取excel
假设excel中只有一个表单，内容如下：需求是读取excel，转换成map[old_id] = new_idimport pandas as pdimport xlrddef read_from_excel(): ...
2019-06-25 16:58:32
174
原创 机器学习_吴恩达_week5（神经网络的学习）
目录一、神经网络的学习1.1 代价函数1.2 反向传播算法1.3 反向传播算法的直观理解1.4 实现注意：展开参数1.5 梯度检验1.6 随机初始化1.7 综合起来1.8 反向传播算法举例：自动驾驶一、神经网络的学习1.1 代价函数代价函数解释：第一部分：偏差部分，相比逻辑回归多了，是因为输出是k向量，每一个都要像LR那样计算一次第二部分...
2019-06-21 20:17:31
214
原创 推荐系统_05_模型融合
1. 为什么要模型融合先来看一下推荐系统的三个阶段：挖掘、召回和排序。不同召回算法只负责筛选靠谱的候选结果，最终推荐给用户的，由另一个统一的模型决定，这个叫做模型融合。2. 经典的模型融合：“线性模型+树模型”2.1 逻辑回归2.2 梯度提升决策树GBDT2.3 二者结合3. FM/FFM模型4. Wide and Deep 融合模型...
2019-04-01 17:06:34
252
原创 推荐系统_04_矩阵分解算法
1. 背景2006年10月2日，Netflix公司宣称：在我司现有推荐系统基础上，把圴方根误差降低10%的人，可以瓜分100万美元。Netflix放出的比赛数据是评分数据，它是推荐系统中评分预测模式。本次比赛中，矩阵分解模型大放异彩，最著名的是SVD以及其各种变体。2. 矩阵分解2.1 为什么要矩阵分解矩阵分解算法，能很好的解决推荐系统中的评分预测问题。算法思想：把大矩...
2019-03-28 17:21:44
1605
原创 mysql常用命令
假设数据库所在的服务器IP：192.168.9.9，端口：3306，用户名：zdchu，密码：123456一、连接及查看结构1. 连接数据库mysql -h 192.168.9.9 -P 3306 -u zdchu -p 1234562. 查看有哪些数据库，并选中一个3. 查看当前数据库下所有表4. 查看表结构desc是describe的缩写。二、sql...
2019-03-28 10:53:36
133
原创 golang并发编程
以推送文章为例，推送给谁？推送什么？先准备好，整合成以下结构：type PushUser struct { Uid string //推送人 ArticleId string //推送文章id PushType string //推送类型}然后起一个goroutine把推送信息写入通道，起n个goroutine读通道，n依赖用户数架构如下：...
2019-03-19 12:03:21
124
原创 golang常用代码块
目录1. 格式化日期2. 随机数3. redis的MGet4. 定时任务5. 多线程6. sort.Slice排序7. 任意类型 interface{}8. init函数1. 格式化日期//年月日时分秒time.Now().Format("20060102150405")//简单日期，如2019-06-06date := time.Now().F...
2019-03-18 15:16:54
638
转载 推荐系统工程师成长链路
作者简介： 陈开江，希为科技CTO，曾任新浪微博资深算法工程师，考拉FM算法主管，个性化导购App《Wave》和《边逛边聊》联合创始人，多年推荐系统从业经历，在算法、架构、产品方面均有丰富的实践经验。 责编：何永灿（[email protected]） 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》推荐系统工程师技能树掌握核心原理的技能数学：微积分，统计学，线性代...
2019-02-25 16:12:21
253
原创 推荐算法_02_协同过滤算法(ItemCF和UserCF)
一、UserCFhttps://blog.csdn.net/shixiaoguo90/article/details/80253567二、ItemCF
2019-02-02 14:14:46
439
原创 推荐算法_03_FM算法论文
Abstract—In this paper, we introduce Factorization Machines (FM) which are a new model class that combines the advantages of Support Vector Machines (SVM) with factorization models. Like SVMs, FMs a...
2019-01-31 17:42:33
953
原创 推荐算法_01_余弦相似度及TF-IDF算法
目录1.1 余弦相似度介绍1.2 余弦相似度举例1.3 TF-IDF算法1.1 余弦相似度介绍如何衡量两个向量的相似程度？我们用夹角的大小，来衡量向量的相似程度，夹角越小，向量越相似。夹角0度：方向相同，线段重合，表示完全相似 夹角90度：方向正交，完全不相似余弦曲线图：以二维空间为例，向量a和向量b的余弦计算如下：通常，向量是用坐标表示...
2019-01-31 17:40:35
608
转载 杨强:深度学习是昨天,强化学习是今天,迁移学习是明天
作为首位美国人工智能协会（AAAI）华人Fellow，唯一AAAI华人Councilor，国际顶级学术会议KDD、IJCAI等大会主席，香港科技大学计算机与工程系主任杨强教授在国内外机器学习界声誉卓著。在此前接受CSDN采访时，杨强介绍了他目前的主要工作——致力于一个将深度学习、强化学习和迁移学习有机结合的Reinforcement Transfer Learning（RTL）体系的研究。那么，这...
2019-01-31 11:50:33
438
原创 《Go程序设计语言》__第6章__方法
6.1 方法声明方法的声明和普通函数的声明类似，只是在函数名前多了一个参数。这个参数把方法绑定到这个参数对应的类型上。import "math"type Point struct {x, y float64}//普通函数func Distance(p, q Point) { return math.HyPot(q.x - p.x, q.y - p.y)}//Poin...
2019-01-19 17:13:06
126
原创 FM算法研究
目录0. 摘要1. 介绍2. 稀疏下的预测3. Factorization Machines (FM)4. FMs与SVMs的比较5. FMs与其它Factorization Models的比较0. 摘要 在本文中，我们介绍了因式分解机（FM），它是一种新的模型，它结合了支持向量机（SVM）和分解模型（Factorization Models）的优点。...
2019-01-11 16:24:22
502
原创 《推荐系统实践》__第7章__推荐系统实例
目录7.1 外围架构7.2 推荐系统架构7.3 推荐引擎架构7.3.1 生成用户特征向量7.3.2 特征-物品相关推荐7.3.3 过滤模块7.3.4 排名模块7.1 外围架构数据的收集与存储实时数据：数据库mysql或缓存redis中 非实时数据：分布式文件系统(如HDFS中)7.2 推荐系统架构推荐系统联系用户和物品的方式主要有3种：可...
2019-01-10 16:10:01
298
原创 《推荐系统实践》__第4章__利用用户标签数据
目录 4.1 UGC标签系统的代表应用4.1.1 Delicious4.1.2 CiteULike4.1.3 Last.fm4.1.4 豆瓣4.1.5 Hulu4.2 标签系统中的推荐问题4.2.1 用户为什么进行标注4.2.2 用户如何打标签4.2.3 用户打什么样的标签4.3 基于标签的推荐系统4.3.1 实验设置4.3.2 一个最简单的...
2019-01-09 17:54:13
233
原创 《推荐系统实践》__第3章__推荐系统冷启动问题
目录3.1 冷启动问题简介3.2 利用用户注册信息3.3 选择合适的物品启动用户的兴趣3.4 利用物品的内容信息3.5 发挥专家的作用3.1 冷启动问题简介冷启动问题分为3类：用户冷启动：主要解决如何给新用户做个性化推荐的问题。 物品冷启动：主要解决如何将新的物品推荐给可能对它感兴趣的用户这一问题。 系统冷启动：新开发的平台/网站，如何推荐？解决方案：热门物品...
2019-01-08 18:11:59
230
Mac中vim+golang+godef配置
2018-11-16
怎么实现spring Security实现集群间共享session？？？
2016-03-04
Table 'zabbix.nodes' doesn't exist
2015-12-14
service zabbix_server start执行失败！
2015-12-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人