- 博客(42)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 tensorflow 特征预处理总结
本文总结几种出现在tensorflow 的 feature_column api 的处理函数1. feature_column 主要是连接数据和tf.estimator 之间的桥梁，将原始数据中的一些离散型、类别型特征转化成tensorflow 可使用的类型。并且神经网络只能处理数值型数据，而且在某些就算是数值类型的特征也需要做归一化，离散化等操作，这些都需要依赖feature_column 来做转化。一般流程是：定义input_fn 来过滤、填补数据，然后输出到tf.feature_column
2020-06-16 15:47:09
1084
原创 对损失函数的总结（持续更新）
面试中被boss问到我了解的损失函数有哪些？？？瞬间懵逼。。现在总结几种常见的损失函数：（1）0-1损失：L = L(Y, f(x)) = 1 if ( Y != f(x)) else 001损失感觉实际使用的地方很少，只是判断函数值是否为GT，而且这个损失函数是非凸的，可以统计有多少样本预测出错。勘误：01损失在SVM中出现，只是由于01误差非凸，不连续的数学性质不好，导致目标函数不易求解，所以...
2018-04-27 10:45:42
2246
原创 总结各种物体检测算法
第一，覆盖所有基于区域的目标检测算法，包括：Fast RCNN, Faster-RCNN, Mask RCNN, R-FCN, FPN.第二， 介绍SSD算法（single shoot detectors）第三，介绍所有算法的表现和实现细节。Part1 我们从基于区域的物体检测器中学到了什么？Part2 我们从SSD中学习到什么？Part3如何选择设计思路以及目标检测趋势首先介绍滑动窗口检测器 s...
2018-04-19 20:59:43
19061
翻译 MapReduce论文
摘要：用户确定一个map映射函数来处理一个键值对来生成一系列中间的键值对，然后一个reduce规约函数来合并所有相同中间key（group）的中间value。 实时系统关系划分输入数据的细节，不同机器上调度程序执行，处理机器宕机问题，和管理要求的机器之间的交流。 我们意识到我们大多数的计算包含应用一个map操作到每个逻辑档案（record），是为了计算一系列的中间的键值对，然后应用所有数据（具有
2018-04-13 20:10:48
834
翻译 Google AI面试题
1/x 的导数花log(x+10)的曲线如何设计一个用户满意的问卷投掷一硬币十次，得到8次正面，2次反面，如何分析这个硬币是公平的，p值是多少有10个硬币，每个硬币投十次（总共100次）观察结果，如何修正方法来测试硬币的公平性阐述不符合正态的概率分布，并如何应用为什么使用特征选择，若两个预测器高度相关，对逻辑回归中的系数有什么影响，系数的置信度区间是什么介绍K-means和高斯混合模型
2018-04-10 09:08:08
608
原创 学习l1图做图像分析
1简介：图构造过程决定了哪些基于图导向算法，本文使用有向l1图，其中顶点包含所有样本并分配边权到各个顶点，来描述它l1范数驱动的重构系数。 l1图的优点：对数据噪音更鲁棒，自动稀疏，适应性近邻。 在流形学习上先前工作例如ISOMAP等距映射，局部线性嵌入，和拉普拉斯特征映射，都依赖于图的构造。在子空间学习算法中，主成分分析，线性判别分析和局部保留映射也可以使用图嵌入框架来解释。并且大多数半监督学
2018-02-26 15:22:55
858
原创 词嵌入和网络在NLP中贡献
本文解释如何应用神经网络并整合词嵌入到基于文本的应用中，还有一些主要暗含的好处。 首先词嵌入是词的密集向量表示，其中相似的词在向量空间中尽可能相似。例如在下图中，所有大型猫科动物在向量空间中都很相近。词嵌入表示一种很成功的非监督学习的应用，主要由于他们的泛化能力。构造词嵌入的方式多种多样，但大致上一个神经语言模型是在大型语料库中训练并且网络的输出被用来学习词向量。 接下来，我们何才能应用神经
2018-01-31 21:01:47
350
原创 NLP2017总结
注意力机制的思想是我们需要关注在编码器中的一些相关输入去更好的完成解码任务。在最简单例子中相关性被定义为特定输入和当前输出的相似度。这个相似度可以被定义为一些带权的输入之和，其中权重之和为1， 并且最大的权重对应最相关的输入。 在图中，我们可以看到经典的Dzmitry Bahdanau’s方法：我们有一个输入–编码器的隐藏状态和一些系数来求和这个带(a’s)的隐藏状态。这些系数不是预制的，它们由一
2018-01-21 21:43:19
358
原创 8种神经网络架构
机器学习方法：不去手动编写程序对每个特定任务，我们首席大量样本，对给定输入确定正确的输出就行。机器学习算法利用这些样本得到一个程序就可以完成特定任务。1-Feed Forward Neural Networks 这是在实际应用中最常见的类型的网络。第一层是输入最后一层是输出。若超过多于一层的隐藏层，我们称为深度神经网络。计算一系列转换。在每一层的神经元的活动是上一层活动的非线性函数。2-循环网络
2018-01-09 21:23:46
2823
原创 协同过滤和嵌入
本文将介绍协同过滤，一种广泛使用在自动推荐系统中的技术（但不局限于推荐系统）。本文还讨论如何理解一种嵌入的更为广泛的概念。 第一部分介绍协同过滤基本观点 在推荐系统中，协同过滤是一种通过分析用户品味类似于其他用户做出的分析，从而推荐用户其他感兴趣的物品。通过协同多视角的过滤模式的思想称为协同过滤。 协同过滤的潜在假设是当A和B在一个问题上有相同的观点时，A很可能在其他问题上跟B也有相同的观点。
2018-01-02 21:35:42
599
原创 基于图的模型
这种半监督学习假设存在一个图G={V,E}，其中V节点是有标价和无标记训练实例，无向边E连接实例i,j ，其中权重Wij。图有时被假设为一个潜在流形结构的随机实例，概率为p(x). wij 反映了xi 和xj的相似度。例如高斯边权函数定义wij=exp(−||xi−xj||2/σ2)w_{ij}=exp(-||x_i - x_j || ^2 /\sigma ^2).另一个例子KNN边权定义当两点是近
2017-12-22 21:57:56
343
原创 使用Keras做猫狗分类
本文介绍一个图像分类问题，目标是得到输入图像的类别。使用的方法是训练卷积神经网络，数据集包括上千张猫和狗的图像。 使用的框架是Keras库，数据集下载：这里写链接内容 1下载test_set 和training_set，其中有10000张图片。在training_set中包含两个子文件夹cats 和dogs, 每个都有8000张图片关于对应类别。在test_set文件夹中包含两个子文件夹cats
2017-12-20 14:13:43
5678
4
原创 DropoutNet: 解决推荐系统中冷启动问题
摘要：隐藏模型称为推荐系统的默认选择，因为他们的好表现以及可拓展性。然而，在此领域的调查主要关注在建模user-item之间的交互，很少隐藏模型为冷启动专门设计。受深度学习启发，提出了基于隐藏模型的神经网络称为DropoutNet来解决推荐系统中冷启动问题。不像现存方法其嵌入额外的基于内容的目标项，我们关注在优化上并展示神经网络模型可以为冷启动有效训练通过dropout. 1 简介 一个通常方法
2017-12-19 21:42:47
4091
原创 Convolutional Sequence to Sequence Learning笔记
摘要：序列到序列学习的流形方法映射输入序列到一个变长输出序列通过循环神经网络。我们引入一个完全依赖于卷积神经网络的架构。和循环模型相比，所有元素计算可以并行化更好利用GPU并且当非线性的两固定并不依赖于输入长度时更容易优化。 简介： 和循环层相比，卷积层对固定大小内容产生表达，网络可以用过用堆积层来扩大有效的内容大小。这允许去更精确地控制依赖的最大长度。卷积网络不依赖于之前时间步的计算因此允许在
2017-12-18 21:10:24
1430
原创 Attention Is All You Need
摘要：以复杂循环或卷积神经网络为基础的显性序列转化模型，包括编码和解码。最好表现的模型也连接编码和解码通过注意力机制。我们提出一种新的简单网络架构，Transformer， 只基于注意力机制，丢弃循环和卷积网络。在两个机器翻译任务上的实验显示这些模型在质量上更好，并能更好并行化，要求更少时间训练。 1 简介 循环网络，LSTM和门循环网络是在序列建模和转化问题例如语言建模和机器翻译任务中最好的方
2017-12-10 21:34:59
6179
原创 使用交叉存取得到更快推荐算法
我们拓展大量新算法可以通过引入一个在线实验的初始剪枝阶段来进行测试，其满足两个属性：1对排序函数质量高度敏感，也就是确定最好算法只用很小的样本集。 2 在第二阶段预测的成果在于：在第一阶段衡量的度量对齐于核心的A/B评估度量。通过使用交叉存取技术，动态加速试验过程。第一阶段筛选最有希望的排序函数，第二阶段只使用这些筛选的函数，允许我们分配更少的成员到整体试验并减少整体试验持续时间。 使用一个重复的
2017-12-09 21:57:07
1264
原创 通过影响函数理解黑箱预测
摘要： 我们如何解释黑箱预测的结果？在本文中使用影响函数-一个经典的技术来追踪模型预测在学习算法中并返回到训练数据， 隐藏确定训练点对给定预测最相关的点。按比例夸大影响函数到现代机器学习设定，我们开发一个简单有效的实现只要求得到梯度和Hessian-vector乘积，我们展示甚至在非凸和非可导模型，对影响函数的近似仍然提供有价值的信息。我们显示影响函数对多种意图有用：理解模型行为，debug模型，
2017-12-08 21:30:20
1180
原创 词嵌入：探索解释和利用
词嵌入定义：对于一系列语言建模和特征学习技术的集合名称，在自然语言处理领域中文本库中词或短语被映射到一个实值向量。 这个向量反映了就形态学/ 词-内容表达/ 全局语料统计/ 词层次结构/文本建的关系和他们包含的项之间的词结构。 所有词嵌入的思想是去捕获其语义/形态/内容/层次信息等等。在实践中特定任务中可能某一个方法会比其他的都好，例如LSA在处理低维空间来自相同领域的文本，其已经被处理成ter
2017-12-05 21:25:17
1403
原创 理解CapsuleNetwork2
what is a Capsule? 第一篇论文引入capsule的观点- “Transforming AutoEncoders”,其中一部分对于capsule的理解很重要： “不去在神经元的活动中力求视角不变性，使用单个标量输出来概括一个局部合伙的复制特征检测器，人造神经网络应该使用局部“capsule”来完成复杂的内部计算，并封装这些计算的结果到一个小的高度信息化的输出向量中。每个胶囊学习识
2017-12-01 21:43:27
462
原创 理解Hinton的Capsule Networks1
Capsule Networks架构1 卷积网络的缺点 对于CNN中当检测人脸时，通常检测出脸的轮廓，2个眼镜，一个鼻子和一个嘴巴就可以了。方向性和相关性空间关系对于CNN来说不重要。 那么CNN是如何工作的呢，CNN主要组成部分是卷积层，在图像像素中检测重要特征，最初几层学习检测简单特征例如边界盒颜色梯度，高层将结合简单特征到更复杂特征。最后密集层（全连接层）将结合高层特征输出分类预测。 一
2017-12-01 16:29:07
944
原创 手机端开发深度学习应用
第一步模型压缩 将深度学习模型应用到手机、嵌入式设备，我们应该减少模型内存封装，减少推断时间和减少能源使用。有许多方式解决这些问题，例如量子化，权重简直或者distilling 大模型到小模型. 本文使用在Tensorflow中的量子化工具压缩模型。缩减到8bit权重，没有提供额外的好处例如减少推断时间。时间甚至需要2倍，因为量子化工作对CPU没有优化。 量化模型参数： 1 将模型写入pro
2017-12-01 13:56:08
1553
原创 记录下kaggle比赛经验
比赛 Porto Seguro 保险预测 第一名使用表达学习，有6个模型集成，1 lightgbm, 5 nn. 移除了无用特征，对Binary特征使用One-hot编码。所有NN在降噪自编码隐藏激活中训练，完成一个很好学习数值数据的表达。 1 特征工程 首先移除*calc 特征，增加*cat特征的one-hot编码。没有缺失值的替代。最终使用221个密集特征。 2 局部验证 使用5-fo
2017-12-01 13:35:56
914
原创 理解深度卷积网络
1 如何分类猫和狗？ 在Kaggle的Cat & Dogs比赛中，提供一系列有猫和狗标记的图像。训练集包含25000张关于狗和猫的图片，测试集包含12500图片。 图像有不同的分辨率，猫和狗有不同的形状，位置，颜色。可能坐着，可能开心或者伤心。猫可能睡觉狗可能在吠。 神经网络在分类图片时高效是其自动学习抽象的多层，其简化每个类别的特征。它们能识别具有极其丰富的模型，并对扭曲和地理转变具有鲁棒性
2017-11-30 20:39:30
454
原创 基于C4.5神经网络集成
最近Hinton提出使用决策树来解释神经网络。看到周志华老师04年论文，遂做点笔记 原文：NeC4.5: Neural Ensemble Based C4.5 决策树具有很好的理解能力，神经网络集成具有很好的泛化能力。本文将两者融合到一个新的决策树算法Nec4.5。该算法首先训练一个神经网络集成。然后训练的集成被用来生成新的训练集，通过用由训练的集成的输出替代原始训练样本的期望标签，一些额外训练
2017-11-30 13:10:14
689
原创 推荐系统表现在前N推荐任务
摘要：前N推荐任务，目标是找到一些特定Item其被认为对用户最有吸引力。普通的方法基于错误矩阵（例如RMSE）不是很自然的适应对于苹果钱N推荐任务。前N抱歉可以直接由基于进度指标的可选择方法度量。 一个广泛的评估显示算法对于最小RMSE优化不必要作为就前N推荐任务的期待项。结果显示在RMSE的提升经常不能转化到精度提升。事实上，一个朴素的非个性化算法可以比一些普通方法表现好并能匹配复杂算法的精度。
2017-11-27 21:05:36
427
原创 分析高阶问题
摘要：当前方法经常使用单阶设定当处理序列标签任务。在本工作中，order意味着标签的个数，包含在每个时间步中的预测。高阶模型试图去捕获更多依赖信息在这些标签之间。我们首先提出一个简单方法就是低阶模型可以简单的拓展到高阶模型。惊奇的是，高阶模型被认为捕获更多依赖信息当增加阶数时表现更差。我们认为强迫网络去学习复杂结构会导致过拟合。为了处理这个问题，我们提出一种方法能够结合低阶和高级信息一起去解码。提出
2017-11-27 20:52:54
1272
原创 理解SSD多盒-实时目标检测
这幅图片解释了构成直观的解释关于SSD多盒目标检测技术。 自从AlexNet在2012年ILSVRC比赛中对于图像识别任务打败传统计算机视觉方法后给研究界带来风暴。在计算机视觉领域，传统神经网络在图像分类表现出色，包含分类图片，给定类别集合（例如猫，狗）使用网络来决定图像中呈现的最可信的类别。现在，深度学习网络比人类在图像分类表现更好。然而我们作为人类在观察和交互世界时可以比分类图像任务做的更多。
2017-11-26 21:04:45
907
原创 元数据嵌入对于用户和项目冷启动推荐系统
摘要：本文呈现一个混合矩阵分解模型表达用户和item使用它们当前特征的隐藏因子的线性结合。模型优于协同过滤和基于内容的模型在冷启动或者稀疏交互数据场景（使用用户和item元数据），和纯推荐系统其中交互数据是充足的表现相当。额外，由模型编码的语义信息得到的特征嵌入是一种词嵌入方法，使得他们对于大量相关任务都有效，例如标签推荐系统。 1 简介 建立推荐系统在冷启动场景中（少量数据可用在新的用户和it
2017-11-25 20:59:07
771
1
原创 TSVM学习
1主动学习 针对训练样本的处理方式的不同，可分成主动学习和被动学习。主动学习是指使用机器学习方法迭代地从候选集中以某种策略动态选择样本进行训练的过程。分类器主动向分类器之外的groundtruth进行查询来得到训练样本的标签 明天继续
2017-11-24 15:02:43
6609
原创 乘法更新规则对于并发的非负矩阵分解和最大间隔分类
摘要：使用非负矩阵分解的分类方法，使用两个连贯的独立步骤，第一个是完成数据转变（降维），第二个使用分类方法分类转变后的数据，例如最近邻/中心 或者支持向量机。接下来我们关注在使用NMF接着SVM分类。这两步骤的参数，也就是NMF基/相关系数和支持向量都是独立优化的，这样导致一个自由化分类表现。在本文汇总，合并两个步骤到一个通过合并最大间隔分类约束到标准的NMF优化中。在提出的框架后面的概念是去完成非
2017-11-24 13:58:16
2970
原创 论文<Algorithms for non-negative matrix Factorization>
摘要：非负矩阵分解对于多元数据是有用的降维方法。分析两种不同的多元算法对于NMF。他们只是在在更新规则中乘法因子的有轻微的不同。一个算法显示去最小传统最小二乘损失，另一种是最小泛化的KL散度。这两算法的收敛可以使用一个辅助函数来证明收敛，类似于证明EM算法收敛时的辅助函数。算法也可被认为重新调节的梯度下降，其中重新调节因子选择最优来保证收敛。 1 简介： 非监督学习算法例如主成分分析和向量量子化
2017-11-22 16:46:59
1719
1
原创 标签传播笔记
4.2 图拉普拉斯 我们引入一个重要指标：组合拉普拉斯△\bigtriangleup。 D表示对角度矩阵，其中Dii=∑jWijD_{ii} = \sum_j W_{ij}为节点i的度。拉普拉斯定义为△=D−W\bigtriangleup = D - W.对于能量函数满足： E(f)=12∑ijwij(f(i)−f(j))2=fT△fE(f) = \frac{1}{2} \sum_{ij}w_{
2017-11-21 21:41:31
983
原创 实践线性模型对于大规模一类别协同过滤
摘要：协同过滤是对于个性化推荐问题的方法。然而，一个困难的场景是在时间中对于one-class协同过滤（OC-CF）,一个用户更偏爱有Item的例子。在这种例子中，个性化的推荐算法高度可以缩放。现存的OC-CF线性推荐系统在标准任务完成很好的表现，但他们包含解一个大量的回归子问题，限制了他们的能力到大规模问题。我们显示这可能缩放线性推荐系统到大数据通过学习一个OC-CF模型关于user-item相互
2017-11-20 21:03:00
329
原创 标签传播（阅读笔记）
本主题的结构： 第2章：以一个简单的标签传播算法为例，在图中传播标签。之后会讨论多种变形 第三章：讨论如何建立图。 第四章：在概率框架下构建标签传播使用高斯随机域。引入图拉普拉斯和谐波函数。也会介绍和electric networks, random walk, spectral clustering之间的联系。如类别不平衡问题，和包含额外分类器的问题也会讨论 第五章假设选择一个点并找到其真
2017-11-19 21:38:50
1277
1
原创 多视角半监督学习：从文本数据中得到不同视角
摘要： 监督机器学习方法通常要求大量有标记数据已获得高的准确性。本文是讲述对于文本分类人任务包含在线数据源，例如网页页面，email和科学文章。半监督学习代表了监督和无监督学习的折中。多视角半监督学习要求一个每个样本的描述被划分到至少两个不同的视角。本文，我们提出一种简单的方法杜宇文本预处理为了简单构造两种不同视角由多视角学习算法。 1 简介 多视角学习共同训练方法在本文中应用到数据集，具有一
2017-11-17 21:58:47
1575
1
原创 结合图拉普拉斯的半监督学习
摘要：在半监督学习中一个基本的问题是对于潜在数据如何建造图。我们提出使用结合一系列不同的构造图方法。我们计算最优的结合核函数。这个核解决了一个拓展的regularization问题，其要求一个共同最小包括数据和图核集合。我们呈现很好的结果在不同的OCK任务上，最优结合核实从由不同的距离函数和不同的k近邻得到的图。 1 简介 半监督学习的观点是未标记数据可能可以被用来提高学习器的表现在一个监督任务
2017-11-15 21:11:39
2113
原创 姿态识别
摘要：利用深度卷积网络的成功，当下效果最好的方法对于人体姿态估计来说主要关注在深度端对端系统上，给定原始图像像素来预测3d关节定位。这方法不容易理解系统遗留的错误是来自受限的2d姿势（可视）理解，或者是从2d映射到3d的误差。 带着理解对这些错误来源的目标，我们简历一个系统，其给定2d关节定位来预测3d位置。我们发现，利用当前的技术，将真实的2d关节定位上升到3d空间是可以有一个较小的错误率的方法
2017-11-14 21:46:07
4552
1
原创 强化学习笔记
强化学习是关于序列决策的一种工具。 基础：监督学习和强化学习之间的区别在于，监督学习是提供指导性的反馈（loss）来解决问题，而强化学习是提供评估性反馈（该决策好不好，目标的达成程度）解决问题。 应用场景中：一个控制温度的系统，指导性反馈没卵用，那么基于不同场地、时间来告诉系统该如何温度？采用评估性反馈，我们可以获得特定时间特定地点在历史中的电量，温度，或者过热过冷的机器数等反馈数据强化学习的前
2017-11-13 21:35:12
383
原创 文章标题
11/11 当天，一直在测试在更新时的阈值数，也就是 if (labelcount >= l_thread && sum(F(fi, fj) >= label_thread) >= 1)这个的阈值label_thread。 发现阈值越小 更新数就越多，然而更新的太多，但是程序效果就很差。所以在数据集TDT2上阈值设置为0.7-0.9 就会变好，但是还是没其他算法效果好，所以总体效果还是不行。
2017-11-12 09:49:44
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人