- 博客(20)
- 收藏
- 关注
RSS订阅原创 推荐系统的主要算法（3）
文章目录前言一、DNN 模型二、Wide & Deep模型三、Deep & Cross模型3.1 嵌入与堆叠层3.2 交叉网络3.3 深度网络3.4 融合层四、DIN 模型五、ESMM 模型前言随着深度学习的发展，推荐系统中开始越来越多地用到深度学习。本篇博文介绍推荐系统中常见的深度学习模型，如DNN模型、ESMM模型、Wide & Deep模型、Deep & Cross模型和DIN模型。一、DNN 模型深度神经网络（Deep Neural Network, DN
2021-11-30 00:28:12
1118
原创 深度学习之激活函数
文章目录前言1. 阶梯函数2. sigmoid函数3. tanh函数4. ReLU函数5. maxout函数6. ReLU函数的衍生函数前言激活函数是人工神经网络的重要组成部分，负责对输入信号进行非线性变换，可以拟合各种曲线，并输出最终结果。激活函数中的“激活”一词是指对网络中的某个神经元是否被接受到的所有输入信号之和激活，即这个神经元接收到的信号是起作用还是被忽视。激活函数将神经元的所有输入，包括输入值、连接权重，经过代数运算，得到一个综合的激活值，激活函数根据这个激活值离阈值的远近决定这个神经元输
2021-11-25 14:23:12
1287
原创 深度学习笔记(2)
文章目录前言五、循环神经网络(RNN)六、长短期记忆网络(LSTM)6.1 梯度消失与梯度爆炸6.2 LSTM七、seq2seq与注意力模型7.1 seq2seq 简介7.2 注意力模型待完善。。。。前言这一系列博文记录学习深度学习的一些零散的笔记。从神经网络的基础到优化算法，再到深度学习神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。前一篇文章深度学习以处理非结构化数据而著称。除常见的应用在图像领域的CNN外，对于语音和文本等非结构化数据，CNN的处理效果并不好。接下来介绍
2021-11-24 23:27:39
660
原创 迁移学习的基本概念、使用场景与方法
前言尽管深度学习发展迅速，但并非每个人都拥有可以从头到尾训练一个模型的软硬件条件，包括数据以及软硬件资源。迁移学习（Transfer Learning）可以帮助我们解决这一问题。一、什么是迁移学习迁移学习就是利用数据、任务或模型之间的相似性，将在旧领域学习过或训练好的模型，应用于新领域的过程。迁移学习的关键点在于新的任务系统与旧的任务系统在数据、任务和模型之间相似性。二、使用场景当我们拥有海量的数据资源，机器学习系统可以很容易的从海量数据中学习到一个很稳健的模型，自然不需要迁移学习。但通常情况下，
2021-11-23 16:11:57
7876
原创 深度学习笔记(1)
文章目录前言一、感知机与神经网络二、神经网络的正则化三、深度学习的优化算法3.1 梯度下降法3.2 从Momentum到Adam四、卷积神经网络(CNN)4.1 卷积的含义4.2 池化和全连接4.3 CNN 图像学习过程的直观解释4.4 CNN在计算机视觉三大任务中的应用4.4.1 图像分类4.4.2 目标检测4.4.3 图像分割总结前言这一系列博文记录学习深度学习的一些零散的笔记。从神经网络的基础到优化算法，再到深度学习神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。一、感知
2021-11-23 15:12:03
1424
原创 推荐系统的主要算法(2)
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言推荐系统中通常需要计算物品的内容相似度，内容相似就是通过对物品内容的理解，比如物品的基础属性、物品的特征等，得到物品的向量表达，然后通过向量之间的相似度计算得到相似物品列表。基于文本内容的物品，常用Word2vec方法计算相似内容。本篇博文主要介绍Word2vec算法的理论。一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2021-11-21 17:21:17
708
原创 推荐系统的主要算法(1)
文章目录前言一、矩阵分解1. 奇异值分解(SVD)2. 交替最小二乘(ALS)3. 贝叶斯个性化推荐(BPR)二、线性模型1. FM2. FFM三、树模型1. 决策树2. GBDT3. GBDT+LR4. XGBoost5. LightGBM总结前言本篇博文主要介绍推荐系统中的常用算法，包括矩阵分解、线性模型（FM和FFM）、树模型、集成算法模型。深度学习模型DNN、Wide&Deep、Deep FM在下一篇博文中介绍。一、矩阵分解物品之间的相关性、信息量不因向量维度的增加而线性增加。矩
2021-11-17 21:27:37
2802
原创 推荐系统的框架与基本原理
文章目录前言一、推荐系统的框架及运行1. 基本框架2. 推荐引擎的工作流程二、推荐系统的经典问题1. 搜索和利用2. 冷启动三、召回策略1. 基于行为相似的召回(1) Jacard相似度：(2) 利用余弦相似度：(3) 欧几里得距离：(4) 皮尔逊相关系数：2. 基于内容相似度的召回四、推荐系统排序1. 特征选择的方法2. 排序过程五、基于知识图谱的推荐系统总结前言推荐系统的作用包括：一方面可以满足用户需求，提高用户活跃度以及平台与用户的粘合度；另一方面对于平台而言，不仅提升了用户体验，甚至在一定程
2021-11-16 20:05:11
1872
原创 推荐系统基本概念与分类
文章目录前言一、什么是推荐系统？二、推荐系统的分类1.基于内容的推荐2.基于协同过滤的推荐2.1 基于用户的协同过滤2.2 基于对象的协同过滤2.3 基于模型的协同过滤3.混合推荐方法三、搜索与推荐的区别总结前言小白记录自学推荐系统刚接触推荐系统，有错误的地方还请各位指正，感谢理解~一、什么是推荐系统？推荐系统是能找出用户和物品之间联系的信息过滤系统。推荐系统主要有两个显著的特征：主动性：从用户角度考虑。不需要用户提供明确的需求，能够自主通过分析用户与物品之间的关联数据进行建模，为用户提
2021-11-16 11:53:50
3327
原创 HDFS常用命令总结
在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。一、version命令version命令可以打印Hadoop版本的详细信息。$ hadoop version二、dfsadmin命令dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。# hadoop dfsadmin -report三、jar命令jar命令是运行jar包文件命令。用户
2021-04-20 11:33:49
1977
原创 数据库优化之索引的使用与失效
索引是数据库优化最有效的方式在之一。注意避免索引失效，主要有以下几点：全值匹配：对索引中所有列都指定具体值 最左前缀法则：索引了多列，查询从最左前列开始，且不跳过索引中的列，顺序可变换。缺少左侧列时，右侧索引自动失效，这点可以从EXPLAIN中的key_len看出 范围查询右边的列，不能使用索引 不要在索引列上进行运算操作，否则索引失效 对于VACHAR类型的列，字符串不加单引号，索引失效 尽量使用覆盖索引（查询的列都在索引中），避免使用SELECT * 用OR分割开的条件：若OR前面的条件
2021-04-10 13:08:17
134
原创 Hadoop框架简述
Hadoop2.0的核心包括分布式文件管理系统（HDFS）、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，并且能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。MapReduce、Spark等大数据 处理框架要处理的数据源大部分都存储再HDFS上，Hive、HBase等框架的数据通常也存储在HDFS上。简而言之，HDFS为大数据存储提供了保障。 YARN解决了Hadoop1.0资源利用率低和不能兼容异构计算框架等多.
2021-04-09 21:53:30
993
转载 Python绘制传统相关性矩阵/下三角相关性矩阵/重点相关性矩阵
数据科学最重要的技能之一就是数据可视化，在数据建模过程中，我们比较关心数据之间的相关性，而观察数据相关性我们使用最多的技能之一就是相关性矩阵。数据相关性矩阵可以让我们对数据之间的关联关系有更为直观的理解。这里简单汇总一下使用Python绘制传统相关性矩阵/下三角相关性矩阵/重点相关性矩阵的代码1.传统相关性矩阵import pandas as pdimport seaborn as snsimport matplotlib.pyp...
2021-04-07 18:39:15
7199
2
原创 Python中list/array/DataFrame相互转换
# 导入程序包import numpy as npimport pandas as pdlist转arraya = np.array(a)array转DataFramea = pd.DataFrame(a)DataFrame转arraya = a.valuesarray转lista = a.tolist()DataFrame转lista = a.values.tolist()
2021-04-03 10:19:28
215
原创 A/B测试学习笔记
一、A/B测试的定义 A/B测试指的是：为了验证一个新的产品交互设计、产品功能或者策略、算法的效果，在同一个时间段，给多组用户（一般称为对照组和试验组，用户分组方法统计上随机，使得多组用户在统计角度上无差别）分别展示优化前（对照组）和优化后（试验组、可以有多组）的产品交互设计、产品功能或者策略、算法，并通过数据分析，判断优化前后的产品交互设计、产品功能或则策略、算法在一个或者多个评估指标上是否符合预期的一种试验方法。二、A/B测试的试验类型1. 正交实验 指的是：...
2021-03-11 16:19:38
501
原创 在Python中利用pandas读取Microsoft Excel文件
pandas支持通过ExcelFile类或pandas.read_excel函数来读取存储再Excel2001（或更高版文件中的表格型数据。这些工具内部是使用附加包xlrd和openpyxl来分别读取XLS和XLSX文件的。（这里你可能需要使用pip或conda手动安装这些工具。1. 读取文件方法一：使用ExcelFile时，通常将xls或xlsx的路径传入，生成一个实例：import pandas as pdxlsx = pd.ExcelFile(r'C:\Users\HUAWEI\Desktop
2020-12-18 23:34:50
989
1
原创 利用Python进行数据分析之pandas入门学习
利用Python进行数据分析之pandas文章目录利用Python进行数据分析之pandas前言一、pandas是什么？二、pandas基本介绍1. 引入库2. 创建pandas序列3. 创建DataFrame3. DataFrame的基本属性三、pandas数据选择总结前言本系列博文为利用 Python 进行数据分析相关工具包的学习，主要包含NumPy、pandas和matplotlib. 学习主要参考莫烦Python网站上面的教程。一、pandas是什么？NumPy 是将矩阵序列化，使
2020-12-16 12:31:47
522
1
原创 利用Python进行数据分析之NumPy入门学习
利用Python进行数据分析学习日志之Numpy文章目录利用Python进行数据分析学习日志之Numpy前言一、Numpy是什么？二、NumPy库的引入三、基础知识3.1 Numpy属性3.2 Numpy创建array总结前言本系列博文为利用 Python 进行数据分析相关工具包的学习，主要包含Numpy、pandas和matplotlib. 学习主要参考莫烦Python网站上面的教程。一、Numpy是什么？NumPy是使用Python进行科学计算的基础软件包。除其他外，它包括：功能强
2020-12-10 16:00:25
215
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人