- 博客(33)
- 收藏
- 关注
RSS订阅原创 Price-aware Recommendation with Graph Convolutional Networks阅读笔记
本笔记只记关键点，不能当做中文版论文详解来读摘要用户价格因果推断难点：用户对品的价格偏好和敏感度是未知的，仅隐式存在于用户已购买的商品中用户对商品价格的感知和承受能力在不同类别之间可能会有很大差异解法：借助GCN对用户-品、品-价格之间的传递关系进行建模把商品类目加入到图网络传播过程中引言推荐系统常用获取用户兴趣品的方法：协同过滤 collaborative filtering，把任务转换为完成user-item消费矩阵，并将变信息合并到CF中，例如文本属性、分类人口统计学资料
2021-06-23 11:51:19
303
1
原创 FM与SVM、LR、FFM区别
写在前面的话关于FM的理解，重点参考论文原文《Factorization Machines》和张俊林老师的知乎专栏推荐系统召回四模型之：全能的FM模型FM vs SVM首先说明，FM和SVM最大的不同，在于特征组合时权重的计算方法SVM的二元特征交叉参数是独立的，而FM的二元特征交叉参数是两个k维的向量viv_ivi、vjv_jvj，交叉参数不是独立的，而是互相影响的FM可以在原始形式下进行优化学习，而基于kernel的非线性SVM通常需要在对偶形式下进行FM的模型预测与训练样本独立，而S
2021-05-18 16:25:55
1133
原创 FAISS 原理 使用方法 记录
目录原理PCA降维PQ编码相似搜索Faiss使用Faiss是Facebook的AI团队开源的一套用于做聚类或者相似性搜索的软件库，底层是用C++实现。Faiss几乎可以在10ms内完成百万*百万以上的向量距离计算，它是怎么实现的呢？原理向量计算是一个最经典的时空优化问题，在查询过程中建立更多地索引固然可以提升查询速度，但是却有占据了存储空间，我们希望系统可以即减少索引又能提升查询性能。为了得到时间和空间的最优，Faiss使用了PCA和PQ两个手段进行向量压缩和编码，当然还有其它的一些优化手段，但是
2021-05-18 16:08:20
669
1
原创 用PolynomialFeatures进行特征交叉
#!/usr/bin/python # -*- coding: utf-8 -*-'''https://blog.csdn.net/weixin_42211626/article/details/103989659手动进行特征交叉'''import pandas as pdimport numpy as npfrom sklearn.preprocessing import PolynomialFeaturesprint("begin read")data0 = pd.read_cs
2021-05-12 20:02:55
548
原创 推荐排序——召回 笔记
推荐排序——召回 笔记模型召回具备自己独有的好处和优势，比如多路召回每路截断条数的超参个性化问题等会自然被消解掉。当然，它也会带来自己的问题，比较典型的是召回内容头部问题，因为之前多路，每路召回个数靠硬性截断，可以根据需要，保证你想要召回的，总能通过某一路拉回来；而由于换成了模型召回，面向海量物料库，排在前列得分高的可能聚集在几个物料分布比较多的头部领域。解决这个问题的方法包括比如训练数据对头部领域的降采样，减少某些领域主导，以及在模型角度鼓励多样性等不同的方法。如果在召回阶段使用模型召回，理论上也应该
2021-04-19 19:32:22
301
原创 以非线性回归为例使用tensorboard
tensorboard可视化网络及训练过程具体的，首先要求环境中装有tensorboard执行环境后，在logs根目录下执行tensorboard --logdir logs，然后谷歌浏览器打开http//:localhost:6006代码中非tensorboard相关的代码注释见https://blog.csdn.net/Su_Mo/article/details/107568699import tensorflow as tfimport numpy as np# 在 add_layer(
2020-07-27 20:51:12
143
转载 拉格朗日乘数法与KKT条件
目录Stochastic Gradient Descent (SGD)Momentum 更新方法AdaGrad 更新方法RMSProp 更新方法Adam 更新方法越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不能避免的, 所以我们需要寻找一些方法, 让神经网络聪明起来, 快起来.Stochastic Gradient Descent (SGD)最基础的方法就是
2020-07-27 15:33:28
510
原创 自定义tensorflow神经网络的网络层
我们可以在Tensorflow 里自己定义一个神经网络层，用于之后的调用神经层里常见的参数通常有weights、biases和激励函数。# 首先，我们需要导入tensorflow模块。import tensorflow as tf# 然后定义添加神经层的函数def add_layer(),它有四个参数：输入值、输入的大小、输出的大小和激励函数，我们设定默认的激励函数是None。def add_layer(inputs, in_size, out_size, activation_function
2020-07-24 22:12:56
400
原创 TensorFlow中的激励函数
目录什么是激励函数选择激励函数TensorFlow中的激励函数以下文字引用自莫烦PYTHON什么是激励函数激励函数是一个非线性函数. 比如说relu, sigmoid, tanh. 将这些激励函数嵌套在原有的结果之上, 强行把原有的线性结果给扭曲了. 使得输出结果 y 也有了非线性的特征.你甚至可以创造自己的激励函数来处理自己的问题, 不过要确保的是这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.选择激励函数
2020-07-24 21:56:30
190
原创 TensorFlow中的placeholder
placeholder 是 TensorFlow 中的占位符，暂时储存变量.Tensorflow 如果想要从外部传入data, 就需要用到 tf.placeholder(), 然后以这种形式传输数据：sess.run(***, feed_dict={input: **}).示例：import tensorflow as tfinput1 = tf.placeholder(tf.float32) # 需要定义placeholder的数据类型，一般为float32input2 = tf.plac
2020-07-24 21:10:40
241
原创 TensorFlow中的变量Variables
在tensorflow中，只有定义为变量的字符串才是变量，也就是说变量需要显示定义import tensorflow as tf# 定义变量state = tf.Variable(0, name='counter')# 定义常量one = tf.constant(1)# 定义加法步骤sumation = tf.add(state, one)# 定义update步骤update = tf.assign(state, sumation) # 第一个参数必须是tf.Variable()创
2020-07-24 21:01:38
163
原创 TensorFlow 实现简单线性回归
import tensorflow as tfimport numpy as npimport random#create datax_data = np.random.rand(100).astype(np.float32) # 使用numpy生成100个随机点noise = np.random.normal(loc=0, scale=0.005, size=x_data.shape) # 生成标准正态分布y_data = x_data*0.1+0.3 + noise# 搭建模型wei
2020-07-24 20:35:00
135
原创 手把手搭建TensorFlow神经网络简单例子——非线性回归
以非线性回归为例，使用TensorFlow构建一个完整的神经网络，包括添加自定义网络层、计算误差、训练步骤等
2020-07-24 20:12:12
318
原创 latex多个公式显示一个编号 对齐
在LATEX中使用自动编号时， 会自动对每一行公式编号。但有时，对于多行公式，它们之间紧密相连，我们希望它们是一个整体，因而在编号时，我们希望对这个整体进行编号。\begin{equation} \begin{split} n&=\left[\frac{b-a}{0.01}\right]+1, \\ S&=\frac{1}{n}\sum\limits_{j=1}...
2020-03-17 17:48:59
13238
3
原创 odps MapReduce概要介绍
目录应用场景处理流程扩展MapReduceODPS提供了MapReduce编程接口。用户可以使用MapReduce提供的接口(Java API)编写MapReduce程序处理ODPS的中的数据。本章节只对MapReduce SDK的使用方法作简单的介绍，关于MapReduce SDK的详细说明请参考官方提供的Java Doc。https://help.aliyun.com/product/277...
2020-02-11 16:40:10
717
原创 .whl文件安装cuda10.0版本的pytorch1.1.0+torchvision0.3.0
先激活虚拟环境$ cd env/share/python-wheels在此找到对应的版本：https://download.pytorch.org/whl/cu100/torch_stable.html找到对应版本的torch链接(36对应python版本3.6)：$ wget https://download.pytorch.org/whl/cu100/torch-1.1.0-cp36...
2019-11-28 17:56:35
3080
3
原创 virtualenv 创建python3 虚拟环境
方案一：virtualenv -p python3.5 py1109方案二：virtualenv -p /usr/local/bin/python3.4 ENV3.4方案三：virtualenv 虚拟环境文件目录名 python=python3.6试试哪个有用吧。反正我用第一个有用。。。。。。。...
2018-11-09 12:29:02
846
原创 Sourcetree由于git配置先后顺序带来的access denied问题的解决和使用步骤
一、安装好sourcetree，想要跳过安装时的登录可以参考网上教程，主要是在某文件夹下新建一个什么文件那样的。二、打开运行之后是需要配置git的，跟常规的git配置内容一样。但是，如果是已经先在电脑上安装配好了git之后才安装的sorcetree而且不想再配置一遍新搞出来一个rsa文件呢？没错我踩得就是这个坑。请选择工具-选项-Mercurial，将sourcetree使用的gitbash从so...
2018-07-16 09:05:47
3182
转载 机器学习-----核函数
前言：当我跟你说起核的时候，你的脑海里一定是这样的：想到的一定是BOOMBOOM。谈核色变，但是今天我们说的核却温和可爱的多了。我记得我前面说到了SVM的核武器是核函数，这篇文章可以作为http://blog.csdn.net/su_mo/article/details/79310719这篇文章的下篇。但是我这里首先强调一下，核函数不是仅仅在SVM里使用，他只是一个工具，把低维数据映射到高维数据的...
2018-02-13 12:08:44
1587
转载 机器学习笔记—svm算法（上）
机器学习笔记—svm算法（上）一：初识svm问题：用一条直线把下图的圆球和五角星分离开来。解答：有N种分法，如下图：附加题：找出最佳分类？解答：如图：Exe me?鬼知道哪一条是最佳？？等等这个最佳分类是不是等价于，地主让管家给两个儿子分地，是不是只要让两家之间一样多就可以了？那是不是就是那根红线让两家距离之和离分界线最远就可以了？恭喜你，猜对了。现...
2018-02-11 14:53:16
439
转载 [Math & Algorithm] 拉格朗日乘数法
[Math & Algorithm] 拉格朗日乘数法原文来自博客园用户【Poll的笔记 】，仅作部分表达修改。原文地址：http://www.cnblogs.com/maybe2030/p/4946256.html 拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理...
2018-02-10 14:47:42
357
转载 朴素贝叶斯分类--多项式模型
本文来自于百度文库https://wenku.baidu.com/view/70c98707abea998fcc22bcd126fff705cc175c6b.html文中公式多有问题，还需要重新编辑，但整体而言不影响理解。朴素贝叶斯分类--多项式模型 1. 多项式模型简介 朴素贝叶斯分类器是一种有监督学习，针对文本分类常见有两种模型，多项式模型（词频型）和伯努利模型（文档型）。多项式模型以...
2018-02-09 10:25:33
3191
转载 Logistic回归原理及公式推导
Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logistic回归理论之前，我们先从LR分类器说起。LR分类器，即Logistic Regression Classifier。在分类情形下，经过学习后的LR分类器是一组权值，当测...
2018-02-08 11:46:01
898
转载 Sigmoid函数解析
Sigmoid函数，即f(x)=1/(1+e-x)。是神经元的非线性作用函数。广泛应用在神经网络中。神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。给定以下的总输
2018-02-07 16:40:09
83614
3
原创 朴素贝叶斯分类算法简单理解
朴素贝叶斯分类算法简单理解贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。1 分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是...
2018-02-07 16:22:26
865
原创 HIVE安装和基本操作
一、安装HIVE1、在本地文件系统中找到hadoop所在目录，打开命令终端，如图：2、通过命令终端进入到hadoop所在文件夹，并通过命令ls 查看bin文件下所有命令，如图：3、运行启动命令start-all.sh启动hadoop，并用jps命令查看所有进程是否成功启动，如图：4、解压HIVE安装文件到/software目录，如图：5、修改环境变量，如图：6、修改配置文件，将 hive-env....
2017-12-10 13:47:13
539
原创 Java操作HBase简单操作学生成绩信息表
云计算实验，记录备忘创建以下内容的表格并实现要求的操作（1）将表中的内容添加到表中，并显示出来。（2）显示姓名为 zhang 的同学的所有相关记录。（3）删除姓名为 zhang 的同学在 english 课程中的成绩，并显示删除之后 zhang同学的相关记录。{CSDN:CODE:2600342}注意，其中put1.add("course".getBytes(), Bytes.toBytes("c...
2017-12-10 13:46:53
4148
原创 中文分词Java简单实现
中文分词Java简单实现 存备忘package helloJavaWorld;//用栈存取词语class StackTest { private Object[] stack; //元素个数; private int size; //默认长度为10; public StackTest(){ this(10); } //也可以
2017-11-09 10:36:18
1465
2
原创 HBase基础操作过程记录
这里是云计算学习实验过程中关于HBase部分的操作记录，免得自己忘记了安装 HBase1、解压并配置环境变量解压安装文件到/software 目录： tar –xvzfhbase-0.92.0.tar.gz修改环境变量：export HBASE_HOME=/software/hbase-0.92.0 exportPATH=$HBASE_HOME/bin:$PATH修改配置文件：cd /softwa...
2017-10-30 16:47:45
533
转载 EJB知识点
（转存，原文传送门：http://blog.csdn.net/ft305977550/article/details/7750181）Chapter01 企业级开发背景知识一、什么是企业级程序（Enterprise Application）？ 具有以下特点的程序： (1) 围绕商业目的； (2) 分布分层的程序架构。二、企业级应用的架构发展历史Host/Terminal（主机/终端，终端不具...
2017-05-15 22:34:08
342
转载 EJB学习笔记（转存）
转需，原文链接：http://blog.itpub.net/818/viewspace-787096/2004-10-13 星期三 晴服务器端计算(使用WSAD开发、调试以及测试EJB、JSP和Servlet(EJB第一天))1. 单层(桌面系统)答： 1) GUI客户端、应用程序以及资源全都在同一台机器(同一层);2. 二层(服务器/客户端)答: 1) 胖客户端; 2...
2017-05-15 22:29:48
603
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人