- 博客(213)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 faiss探索
https://www.jianshu.com/p/43db601b8af1https://www.jianshu.com/p/d35198c5bc23https://www.cnblogs.com/houkai/p/9316155.html晚上再整理
2018-10-24 14:31:03
1815
转载 Word2Vec
版权声明：本文为博主原创文章，可随意转载，但请注明作者和出处。 https://blog.csdn.net/LeYOUNGER/article/details/78206832 摘要关键词： Glove，word2vec，NNLM，余弦相似度参考：一个非常好...
2018-10-16 22:41:13
2097
转载 主动学习——active learning
本文转载自：https://www.cnblogs.com/hust-yingjie/p/8522165.html阅读目录写在前面什么是active learning？active learning的基本思想active learning与半监督学习的不同参考文献1. 写在前面 在机器学习(Machine learning)领域，监督学习(Supervised learning...
2018-10-16 10:14:06
875
转载 部分监督学习
部分监督学习（Partially Supervised Learning）：（1）已标注和无标注数据中进行学习（Learning from Labeled and Unlabeled Examples） 【LU学习（LU Learning）】 【每个类别的数据包含少量的已标注数据和大量的无标注数据】（2）正例和无标注数据中学习（Learning from Positive and Unlab...
2018-09-26 14:17:40
941
转载 Learning to Rank for IR的评价指标—MAP,NDCG,MRR
MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关...
2018-09-13 00:39:43
1020
转载 基于矩阵分解的推荐算法
摘自：https://www.cnblogs.com/bonelee/p/7126144.html一，基于矩阵分解的推荐算法相关理论介绍 我们知道，要做推荐系统，最基本的一个数据就是，用户-物品的评分矩阵，如下图1所示 图1 矩阵中，描述了5个用户(U1,U2,U3,U4 ,U5)对4个物品(D1,D2,D3,D4)的评分(1-5分)，- 表示没有评分，...
2018-09-12 23:54:09
2551
转载 4篇YouTube推荐系统论文, 一起来看看别人家的孩子
一篇去年的文章，但是写的很好。因此转载记录。 —————————————————————————————————— 最近一直在花时间研究和实现一些推荐算法，并且搭建系统在产品中进行测试。我读了一些关于Netflix等网站“如何使用Collaborative Filtering来预测用户对其他影片的打分”的文章，之前也曾在Pinterest目睹了Related Pin从传统的计算co-occ...
2018-09-10 16:17:31
661
转载 awk求和、平均值、最大最小值
1、求和cat data|awk '{sum+=$1} END {print "Sum = ", sum}'2、求平均cat data|awk '{sum+=$1} END {print "Average = ", sum/NR}'3、求最大值cat data|awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=...
2018-07-31 10:42:28
712
转载 谷歌机器学习43条规则：机器学习工程的最佳实践经验
机器学习目前已经有非常多的应用，它相比于传统的软件工程，最大的特点即我们编写的是学习过程，因此系统能根据数据改善性能。正因为这种特性，从嵌入循环神经网络的输入法到嵌入卷积神经网络的摄像头，机器学习应用已经无处不在。但在真正做产品时，我们需要的不是机器学习专家或顶尖的深度学习技术，而是大量的模型压缩调优、部署测试和模型交互等。因此，在实践中成为一名出色的工程师极为重要。这篇文章选自谷歌开发者中文博客...
2018-07-05 23:08:44
359
转载 python os.system重定向stdout到变量 ,同时获取返回值(os.popen,commands.getstatusoutput)
一个很实用的小技巧。记录一下。Python执行系统命令的方法 os.system()，os.popen()，commands最近在做那个测试框架的时候发现 Python 的另一个获得系统执行命令的返回值和输出的类。最开始的时候用 Python 学会了 os.system() 这个方法是很多比如 C，Perl 相似的。os.system('cat /proc/cpuinfo')但是这样是无法获得到输...
2018-05-19 23:39:36
7105
转载 TransE算法（Translating Embedding）
http://blog.csdn.net/u011274209/article/details/50991385一、引言 网络上已经存在了大量知识库（KBs），比如OpenCyc，WordNet，Freebase，Dbpedia等等。这些知识库是为了各种各样的目的建立的，因此很难用到其他系统上面。为了发挥知识库的图（graph）性，也为了得到统计学习（包括机器学习和深度学习）的优势，我...
2018-04-23 10:32:36
35037
7
转载 论文笔记：Deep neural networks for YouTube recommendations
论文提要YouTube如今是工业界最大和最复杂的推荐系统之一，本文作者提出了一种高效的基于深度学习的推荐系统。该系统和工业界经典的推荐流程一样，系统分为候选集生成（也称为搜索或召回），排序两个阶段，这两个阶段分别使用了一个深度神经网络，本文从实践的角度对特征处理，模型训练和调优都有详细介绍。解决的问题YouTube是世界上最大的视频创作及分享平台，其视频推荐的面临的主要问题有： 1. 海量数据：现...
2018-04-10 23:07:15
448
转载 Python中如何使用*args和**kwargs
原文英文地址：https://www.saltycrane.com/blog/2008/01/how-to-use-args-and-kwargs-in-python/原文翻译地址：http://python.jobbole.com/83476/Python中如何使用*args和**kwargs，或者说，在Python中如何使用可变长参数列表。函数定义这是一种特殊的
2018-01-29 13:26:59
632
原创 python在linux下代码调试pdb
python -m pdb myscript.pyor import pdb; pdb.set_trace()命令解释break 或 b 设置断点设置断点continue 或 c继续执行程序list 或 l查看当前行的代码段step 或 s进入函数
2017-12-12 10:01:57
618
转载 Spark中存在的各种2G限制
motivation 动机The various 2G limit in Spark. Spark中存在的各种2G限制问题. 1. When reading the data block is stored in the hard disk, the following code fragment is called. 获取缓存在本地硬盘的数据块时,会调用以下代码片段
2017-12-10 19:33:45
2018
转载 如何轻松愉快地理解条件随机场（CRF）？
理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的，可能写文章的人都是大牛，不屑于举例子吧。于是乎，我翻译了这篇文章。希望对其他伙伴有所帮助。原文在这里[http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/]想直接看英文的朋友可以直接点进去了。我在
2017-08-28 11:34:37
944
转载 awk
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程: 依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 va
2017-08-08 23:10:55
1508
转载 数据库索引的实现原理
强烈建议参阅链接：http://www.linezing.com/blog/?p=798#nav-1说白了，索引问题就是一个查找问题。。。数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向
2017-08-01 17:06:14
512
转载 MySQL两种引擎的区别
Innodb引擎Innodb引擎提供了对数据库ACID事务的支持，并且实现了SQL标准的四种隔离级别。该引擎还提供了行级锁和外键约束，它的设计目标是处理大容量数据库系统，它本身其实就是基于MySQL后台的完整数据库系统，mysql运行时Innodb会在内存中建立缓冲池，用于缓冲数据和索引。但是该引擎不支持FULLTEXT类型的索引，而且它没有保存表的行数，当SELECT COUNT(*
2017-07-28 11:11:26
358
转载 LSTM与GRU结构
一、RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个，他们就变得非常有用。但是真的可以么？答案是，还有很多依赖因素。有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后
2017-07-23 12:57:36
1971
转载 Linux内存管理机制
经常遇到一些刚接触Linux的新手会问内存占用怎么那么多？在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方 面，区别于Windows的内存管理。主要特点是，无论物理内存有多大，Linux 都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。而
2017-07-23 09:45:06
370
转载 Weights Update
Weights Update 与 DropoutWeights Update参数更新Weights Update学习率是怎么来的随机梯度下降-Stochastic Gradient DescentBatch与SGD的合体Mini-Batch Gradient Descent再给力点Momentum来了考虑得再多一些-Nesterov Momentum Upd
2017-07-15 15:46:11
965
转载 Batch Normalization导读
author: 张俊林Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB，因为这个技术确实很NB，虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-
2017-07-15 14:46:11
300
转载 神经网络中的权重初始化：Why and How
神经网络中的权重（weight）初始化是个常常被忽略的问题。最近在手写一个Python的神经网络库，刚开始为了测试代码是否写对，搭建了一个2->4->2的单隐层神经网络来拟合异或运算，拟合结果十分完美。但是在做MNIST手写数字识别，将网络扩展到了784->100->10时，发现损失函数一直不下降，训练准确率一直停留在10%左右（和随机猜的命中概率一样嘛）。一直以为是bac
2017-07-12 09:55:15
2183
转载 降维三部曲(一)
在我们解决机器学习的问题时 , 常常要从维度上做文章。有时候我们需要增维 , 比如 kernel methods 就可以在高纬度上重构样本从而解决样本在低维上不的线性不可分问题 ( 高斯 kernel 甚至可以把样本在无穷维上展开 ) 。有时候我们又需要降维 , 因为我们是三维生物 , 我们最多只能理解三维世界 , 所以想要看看手头的数据 , 就必须把它们降到三维以内 ; 另外 , 往往很多特征没
2017-07-07 18:37:14
611
转载 降维三部曲(三)
Hello 大家好,这篇文章是它们的续作。在本篇文章里, 让我们重点来讨论讨论一下 kernel PCA。kernel PCA: 讲它又不得不夹私货,kernel tricks。 相信大家对 kernel tricks 都不陌生,最直观的印象是它能把线性算法变成非线性, 深刻一点的理解是它自带样本空间映射功能, 可以把低维 feature 映射到高维:从 kernel meth
2017-07-07 18:35:27
406
转载 降维三部曲(二)
接着写数据降维算法。上一篇文章介绍了 PCA, Factor Analysis, LLE 等三个算法, 按照顺序这篇文章就该讲到 Laplacian Eigenmaps 了,但是作者认为直接讲 Laplican Eigenmaps 好像有点太干了, 不太容易理解, 请允许我夹带点私货, 先从 Graph Laplacian 开始讲起 (graph Laplacian 是 graph theor
2017-07-07 18:34:18
329
转载 用GDB调试程序
本文用于记录GDB学习地址:有时间的时候再做学习和整理。http://blog.csdn.net/haoel/article/details/2879
2017-07-07 10:27:41
283
转载 尾递归消除
以求4!为例基本递归：int fact(int n) { if(n return 0; else if(n==0) return 1; else if(n==1) return 1; else return n*fa
2017-07-06 18:33:59
1490
3
转载 Spark排错与优化
原本想记录一下自己在使用Spark过程中遇到的常用问题，但是发现已经有人整理过了，而且内容大多数都相同，所以转载了这篇。转载地址：http://blog.csdn.net/lsshlsw/article/details/49155087一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是
2017-06-30 21:22:06
867
1
原创 Eratosthenes筛选法与欧拉筛选法(整理)
一、算法原理一个合数总是可以分解成若干个质数的乘积，那么如果把质数（最初只知道2是质数）的倍数都去掉，那么剩下的就是质数了。二、步骤（1）先把1删除（1既不是质数也不是合数）（2）读取队列中当前最小的数2，然后把2的倍数删去（3）读取队列中当前最小的数3，然后把3的倍数删去（4）读取队列中当前最小的数5，然后把5的倍数删去.......（n）读取队列中当前最小的状态...
2017-05-08 15:43:19
6469
5
转载 使用深度学习打造智能聊天机器人
聊天机器人（也可以称为语音助手、聊天助手、对话机器人等）是目前非常热的一个人工智能研发与产品方向。很多大型互联网公司投入重金研发相关技术，并陆续推出了相关产品，比如苹果Siri、微软Cortana与小冰、Google Now、百度的“度秘”、亚马逊的蓝牙音箱Echo内置的语音助手Alexa、Facebook推出的语音助手M、Siri创始人新推出的Viv……
2017-02-26 17:51:28
1356
2
原创 编辑距离
编辑距离是计算字符串相似度的常用算法先给出编辑距离的定义：设A和B是2个字符串，要用最少的字符操作将字符串A转换为字符串B。这里所说的字符操作包括：(1)删除一个字符(delete)；(2)插入一个字符(insert)；(3)将一个字符改为另一个字符(substitute)
2017-02-21 21:49:05
437
1
原创 Breeze库API总结(Spark线性代数库)
之前一直用python的numpy处理线代方面的内容很开心，当最初用spark中不能再用numpy库还是有点悲伤的 ...但是当彻底的接触了Breeze库之后 发现两者根本完全能互相替代啊 真是开心不用定义那么多麻烦的函数和结构了 导入import breeze.linalg._import breeze.numerics._Breeze创建函数:
2016-12-05 11:55:46
8957
1
转载 Redis和Memcache对比及选择
转载自：”http://www.cnblogs.com/EE-NovRain/p/3268476.html我这段时间在用redis，感觉挺方便的，但比较疑惑在选择内存数据库的时候到底什么时候选择redis，什么时候选择memcache，然后就查到下面对应的资料，是来自redis作者的说法（stackoverflow上面）。 You should not care to
2016-11-16 16:19:30
409
1
转载 最长公共子序列与最长公共子串(DP)
1. 问题描述子串应该比较好理解，至于什么是子序列，这里给出一个例子：有两个母串cnblogsbelong比如序列bo, bg, lg在母串cnblogs与belong中都出现过并且出现顺序与母串保持一致，我们将其称为公共子序列。最长公共子序列（Longest Common Subsequence,LCS），顾名思义，是指在所有的子序列中最长的那一个。子串是要求更严格的一种
2016-11-16 11:14:08
26954
2
转载 softmax回归
在网上看到一篇讲softmax很好的文章记录一下，softmax是sigmoid的拓展版，主要解决多分类问题在上一篇文章中，讲述了广义线性模型。通过详细的讲解，针对某类指数分布族建立对应的广义线性模型。在本篇文章中，将继续来探讨广义线性模型的一个重要例子，它可以看成是Logistic回归的扩展，即softmax回归。 我们知道Logistic回归只能进行
2016-11-12 15:15:18
467
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人