qq_20095389的博客

原创 知识图谱 - TransE算法

这里写自定义目录标题论文TransE算法概览核心思想Tips参考代码问题论文Translating Embeddings for Modeling Multi-relational DataTransE算法概览核心思想实体向量 + 关系向量 = 实体向量 （h+l = t）Tips关系向量 （l）需要归一化，避免训练时带来实体向量的尺度变化正样本 - 即原有样本，公式中的d(h+l, t)负样本 - 随机替换h或者l, 不同时替换，即为负样本, 公式中的d(h’+l, t’)距离采

原创 PyTorch系列（一） 60mins - Autograd

目录AutogradPyTorch: Tensors and autogradPyTorch: Defining new autograd functionsAutogradPyTorch: Tensors and autograd# -*- coding: utf-8 -*-import torchdtype = torch.floatdevice = torch.device("cpu")# device = torch.device("cuda:0") # Uncomment this

转载 知识体系 - 机器学习梳理

下面是我收藏的一些不错的学习资料1、逻辑回归（Logistic Regression）逻辑回归计算过程的推导、并行化的实现：https://blog.csdn.net/ligang_csdn/article/details/53838743逻辑回归的常见面试点：https://www.cnblogs.com/ModifyRong/p/7739955.html达观数据对逻辑回归的一些总结：h...

原创 Word Embedding系列

原创 PU-Learning

速读论文：Learning From Positive and Unlabeled Data: A Survey从方法上讲，主要有两种。two step: 先对数据用聚类或者任一相关算法分类（选出可信度高的neg案例），然后再放到任一分类网络里训练，然后再根据训练的结果分类未标记，再次训练，直到模型稳定或者loss较小。 基于可分性和连续性假设biased learning: 全部将未标...

原创 2048（1）

Anaconda 相关知识anaconda 创建虚拟环境conda create -n my_env python=3.7查看当前python的虚拟环境有哪些conda info --envs激活某一个虚拟环境，默认环境在base下# windowsactivate my_env# mac & linuxsource activate my_env解激活环境# ...

转载 网址（url），域名，ip地址，dns，hosts之间的关系

什么是ip？我们知道，在Internet上有千百万台主机，为了区分这些主机，人们给每台主机都分配了一个专门的地址，称为IP地址。通过IP地址就可以访问到每一台主机。IP地址由4部分数字组成，每部分都不大于256，各部分之间用小数点分开。例如“百度搜索”主机的IP地址就是：“119.75.217.109，”在浏览器上输入这个IP地址，就可以访问到百度的主页。我们的每个虚拟主机用户，都分配一个永...

转载 【转】[Deep Learning] GELU (Gaussian Error Linerar Units)

转自https://www.cnblogs.com/shiyublog/p/11121839.html目录TL; NR正态分布1.1 定义1.2 概率密度函数1.3 累积分布函数1.4 标准正态分布误差函数2.1 定义2.2 误差函数与正态分布2.3 性质(部分)GELU3.1 Abstract3.2 Introduction3.3 GELU Formulatio...

原创 文案生成论文速读

欢迎交流指正CTRL - A Conditional Transformer Language Model for Controllable Generationhttps://arxiv.org/pdf/1909.05858.pdf模型应该没变， 变得是训练数据的格式，会将数据分类，每一个分类变成 比如， book x,y 或者wiki x, y。...

原创 ICCV 2019 论文速读

知识蒸馏（Teacher & Student）Learning Lightweight Lane Detection CNNs by Self Attention Distillation利用层与层之间的促进关系，相当于逼着前面的层与后面层的输出结果相似，加上distillation到loss目标函数中，有点teacher vs student 的思想，将冗余的大网络精简为小网络。...

原创 Attention机制

几篇比较好的链接机器不学习：一文看懂Attention机制斯坦福ppt本文主要以问自己问题的方式去理解什么是attention，理解可能会有偏差，欢迎指正。Attention 机制为什么用Attention机制？这个是由于传统的encoder-decoder模型，如何从source学习东西呢？那就是从encoder的输出决定，对于LSTM模型来讲，很大程度上依赖于最后一个hidden ...

原创 Shell 相关

waitwait和waitpid出现的原因SIGCHLD–当子进程退出的时候，内核会向父进程SIGCHLD信号，子进程的退出是个异步事件（子进程可以在父进程运行的任何时刻终止）–子进程退出时，内核将子进程置为僵尸状态，这个进程成为僵尸进程，它只保留最小的一些内核数据结构，以便父进程查询子进程的退出状态–父进程查询子进程的退出状态可以用wait/waitpid函数...

原创 大数据平台相关链接

Flink 相关社区（https://flink-china.org/index.html）美团Flink 实时数仓（https://www.jianshu.com/p/1f66be648b02）严选Flink 实时数仓（https://www.codercto.com/a/47662.html）一些专业缩写和解释https://www.cnblogs.com/yangsy0915...

原创 Loss合集

Contrastive Loss(Siamese Network)https://blog.csdn.net/qq_37053885/article/details/79325892

原创 【深度学习基础】Gated CNN 门控CNN原理篇

论文：Language Modeling with Gated Convolutional Networks思想：模拟lstm的是否遗忘门，或者说判断权重的思想。再做一个和CNN卷积一样参数的filter， 取值0-1，判断这个序列的特征哪些应该被关注，哪些应该被忽略。疑问：总感觉一个应该也可以学好，因为归根结底，就是两个filter相乘而已。所以效果好是因为好训练吗？Input sent...

转载 【深度学习基础】Gated CNN 门控CNN 代码篇

转载自 https://blog.csdn.net/liuchonge/article/details/70254660import numpy as npimport tensorflow as tfclass GatedCNN(object): def __init__(self, conf): tf.reset_default_graph() ...

原创 NLP 评价标准 - BLEU

BLEU论文：https://aclweb.org/anthology/P02-1040.pdf思想：数词是否在ground truth里举例原文：猫坐在垫子上机器翻译：The cat sat on the mat人工翻译：The cat is on the mat1-gram可以看到机器翻译6个词，有5个词命中参考译文，那么它的匹配度为 5/6.2-gram2元词组的匹配度则...

转载 NLP GLUE任务

CoLA:单句的二分类问题, 判断一个英文句子在语法上是不是可接受的.SST-2单句的二分类问题, 句子的来源于人们对一部电影的评价, 判断这个句子的情感.MRPC句子对来源于对同一条新闻的评论. 判断这一对句子在语义上是否相同.STS-B这是一个类似回归的问题. 给出一对句子, 使用1~5的评分评价两者在语义上的相似程度.QQP这是一个二分类数据集. 目的...

转载 NLP beamsearch 理解

BeamSearch的理解转自知乎问题“谁能解释下seq2seq中的beam search算法过程?”高分回答https://www.zhihu.com/question/54356960

转载 MobileNet V2论文笔记

https://www.jianshu.com/p/4c9404d4998c

原创 Tensorflow object detection api 使用和数据增强旋转

前面的部分参考TensorFlow 训练自己的数据集（包括修改文件等等）https://blog.csdn.net/int93/article/details/79064428项目结构my_train    — dataset    — models    — obj...

原创 HSV 颜色空间研究及映射

因工作需要，研究一下HSV空间对应颜色取值范围原理介绍HSV空间Hue,Saturation,ValueH：色调，取值0-180，主要调节颜色S：饱和度，取值0-255，调节颜色饱和度，255饱和度好，0饱和度差V：亮度，取值0-255，调节颜色亮度，255亮度好，0->黑色网上的映射表测试代码import numpy as npimport cv2image =...

原创 TensorFlow通用模板（0）项目简介

参考斯坦福CS230https://cs230-stanford.github.io/tensorflow-getting-started.html佩服一下斯坦福教程的简洁易懂和规范化~越是大神越可以从细节入手，把事情讲清楚，而不是扔一大推你听不懂的专业术语。偷下懒，先上斯坦福的项目架构，后期会根据自己的需求对模板稍作调整...

原创 TensorFlow通用模板（1） 数据导入

一直想写这个系列很久了。由于工作上遇到的一些事情，让我觉得做算法，最重要的是要方便实验，尽快的出结果，与其做一个大而全的框架，不如做一个简洁通用的模板，毕竟，算法阶段最重要的是结果。我的工作也是给一个模型出去。这个系列以CS230为参考，这里感谢无限的网络资源~吐槽一下现在的人工智能培训，大部分从网络资源抄过去，成年人了，要有点自学能力~算法千变万化，百万都不够花的。

原创 大数据 — 存储相关技术

文件系统HDFS https://blog.csdn.net/skisqibao/article/details/82990636将一个超级大的文件，分布式存储到不同的服务器上。数据库Hbase https://blog.csdn.net/volitationlong/article/details/82385361消息中间件概念介绍 https://blog.csdn.net/...

原创 启发式算法Python实现（一） 模拟退火

文章目录语言感知描述伪代码python实现不懂为什么网上各种把很简单的模拟退火讲的那么复杂，感觉好像英文版的讲的总比中文的简单。之后的启发式算法全以英文维基百科 + Python实例代码为基础作为讲解和总结。语言感知描述选初始点选邻居点，计算初始点和邻居点谁离我最终目标更近，更近的话就更新，否则以一定的概率取邻居点。类似贪心算法，我又感觉像DQN了，maxQ的以为了，强化学习荼毒太深。...

原创 大数据平台相关链接

Flink 相关社区（https://flink-china.org/index.html）美团Flink 实时数仓（https://www.jianshu.com/p/1f66be648b02）严选Flink 实时数仓（https://www.codercto.com/a/47662.html）一些专业缩写和解释https://www.cnblogs.com/yangsy0915...

原创 NLP —— 中文分词

中文分词目前主流方案基于BiLSTM-CNN-CRF的中文分词参考1（整个流程讲的比较好）https://www.jianshu.com/p/5fea8f42caa9参考2（CRF理解那块讲的好）https://www.jianshu.com/p/97cb3b6db573个人理解Bilstm利用词与词之间的关系BiLSTM在学习较长句子时，可能因为模型容量问题丢弃一些重要信息，CNN...

原创 数据挖掘 — Learn To Rank(LTR)

1、文本特征向量提取方式TF - IDF：单词在当前文档出现的频率 * log(总文档/单词在总文档中出现的文档数 ) 统计单词的TF-IDF，作为文本特征向量CountVectorizer：只统计单词的词频，作为文本特征向量上面两种方式参考这篇 https://blog.csdn.net/The_lastest/article/details/79093407Word2Vec隐藏...

原创 数据挖掘 — boosting算法

回归树https://blog.csdn.net/weixin_36586536/article/details/804684261、adaboost弱分类器训练过程https://www.cnblogs.com/chenpi/p/5128235.htmladaboost原理https://www.cnblogs.com/pinard/p/6133937.html?utm_source=...

原创 李航机器学习第七章 — SVM

1、思想最大化最小间隔拉格朗日乘子法求解2、推导过程3、拓展知识点软间隔，原来是最小间隔必须大于1，软了就是相对宽松些，可以有个ϵ\epsilonϵ.核函数，橘黄色的部分，是特征向量内积，相当于把向量映射到一个上面去，增加分类的准确性。SVM多分类问题 https://www.cnblogs.com/CheeseZH/p/5265959.html一对一一对多层次分类...

原创 李航统计学习第六章-逻辑回归

文章目录1、逻辑回归2、交叉熵损失函数3、为什么用logistic函数？这里不以李航的为准了，个人觉得西瓜书讲的更好一点。1、逻辑回归g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}g(z)=1+e−z1​2、交叉熵损失函数交叉熵定义 https://blog.csdn.net/tsyccnh/article/details/79163834交叉熵loss计算参考...

原创 【社招面试】虎扑旗下毒app面试

不想说什么丧气的话，互联网寒冬只会把没有能力的水军淘汰下去。工作了大半年，渐渐觉得深度学习像是漂浮在空中，理论支撑的薄弱，和戏称为调参侠的我们，让我渐渐失去了方向，不知道当初毕业一门心思找算法工程师的坚持是不是正确。寒冬日子不好过，半年，经手两个交接，变动，打的我这个应届生措手不及。不想说什么了，只想说好好找好方向，夯实自己的能力。不知道未来会走向何方，想要在这个人工智能大潮流中转行的我，不...

原创 大数据平台学习（一）实时计算框架和存储

一、计算框架Storm，Spark，Flink简介和区别参考：https://www.jianshu.com/p/16323566f3c60、框架流程从各种来源取消息 -> 流式系统（分布式流通，计算任务，业务等）-> 输出（后面具体业务UI等）1、StormStorm 实时计算框架为了容错性，每个节点都要返回ack，可以理解为消息是否正确处理，因此导致吞吐量不高。特...

原创 推荐系统实践（三）推荐系统冷启动问题

一、思维导图二、用户冷启动1、利用用户注册信息算法流程获取用户的注册信息根据用户的注册信息对用户分类给用户推荐他所属分类中用户喜欢的物品重点 - 计算每种特征用户喜欢的物品方式一:p(f,i)：有f特征的用户中喜欢物品i的人数方式二：惩罚热门物品一般来说，分类粒度越细，精度和覆盖率也会越高2、选择合适的物品启动用户的兴趣什么是合适的物品？比较...

原创 推荐系统实践（二）利用用户行为数据

文章目录一、思维导图二、基于邻域的算法1、基于用户的协同过滤算法算法步骤相似性计算算法评测2、基于物品的协同过滤算法算法步骤相似度计算计算用户对一个物品的兴趣算法评测3、UserCF和ItemCF比较三、隐语义模型1、数据准备2、兴趣分类3、如何给每个用户生成负样本4、模型5、loss 函数6、优化求解一、思维导图二、基于邻域的算法基于邻域的算法重点在于如何计算相似性，无论是用户相似性还...

原创 推荐系统实践（一）好的推荐系统

一、思维导图二、评测指标解释1、用户满意度通过用户调查，用户停留时间或者转化率等指标衡量，没有具体公式。2、预测准确度评分预测均方根误差RMSE平均绝对误差MSERMSE加大了对预测不准的用户物品评分的惩罚。TopN推荐R(u)是根据用户在训练集上的行为给用户做出的推荐列表，T(u)是用户在测试集上的行为列表。？？？不太理解。召回率Recall...

原创 推荐系统 — 初识

科班计算机视觉出身，工作大半年，个人体会视觉和业务的结合并不是特别紧密，无法直接产生现金反馈，可能大部分是作为工具和锦上添花使用，工业界除外，奈何笔者所在城市工业界选择有限。反观推荐，和业务结合的相对紧密，理论也相对成熟，就业面相对较宽。个人感想，欢迎指正探讨。此篇作为只是个人理解和笔记。参考两篇特别喜欢的博文https://zhuanlan.zhihu.com/p/23036112htt...

原创 李航统计学习第五章-决策树

1、一些信息论概念参考 https://blog.csdn.net/ranghanqiao5058/article/details/78458815熵如果本来一件事情发生的概率是50%，那么如果我知道了这件事情，那么这个信息就是有价值的。条件熵互信息、条件熵、联合熵区别2、特征选择信息增益相当于信息论中的互信息，知道一个信息不确定性减少的程度的大小，信息增益越大，代表这...

原创 李航统计学习第四章-朴素贝叶斯法

文章目录1、先导知识2、朴素贝叶斯算法3、拉普拉斯平滑估计4、极大似然估计理解1、先导知识为什么朴素朴素贝叶斯法对条件概率分布作了条件独立性假设。参数估计和推导过程2、朴素贝叶斯算法朴素贝叶斯其实很简单，之前看了好几遍，但总是会忘记，感觉被深度学习荼毒太深。这样想，朴素贝叶斯算的也是有监督的东西，那么无非就是输入x，输出y。如果需要得到参数，那么就是根据输入x和对应的标签y，...