xiaoqianlizhen的博客

原创 买标注数据太贵！自己标太麻烦了！ 自监督对比学习帮帮你

​大数据时代数据多，然而有标注的数据非常有限，并且对于一些专业性强的领域，标注数据也是非常困难。因此如何去学习数据自身的特性，比较数据间的差异，通过表示每个数据的独特特征来省去标注的过程。对比学习就是一次比较好的尝试。对比学习介绍对比学习是通过学习对两个事物的相似或不相似进行编码来构建表征。最简单的方法是正样本是通过作为给定样本的数据增强生成的，负样本是batch中随机采样的，目标是判别否来源于同一样本。对比学习的优势1. 无需标签信息，在大规模无监督数据中自动构造监督...

原创 文本太长，Transformer用不了怎么办

长文档预训练模型基于Transformer的模型已经引领NLP领域，然而基于Transformer的方法随着输入文本长度的增加，计算量剧增，并且Transformer能处理的句子长度受限，已有的方法大多使用截断的方式，这会导致信息损失，因此如何实现长文本的预训练是目前的一大难题。长文档的预训练模型 Longformer: The Long-Document Transformer，2020论文主要采用局部注意力和全局注意力结合的机制避免以往直接对长文本进行切分导致的信息损失，Longf.

原创 域适应方法：解决目标任务数据不足

域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段，目前对于很多任务只要有大量标注数据都能达到比较好的效果，然而标注数据的成本是高昂的，尤其是对某些专业性强的术语多的领域，标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。​01 域适应情感分类论文：Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning，AAAI2020以往.

转载 2019年Philip S. Yu团队的图神经网络综述

使用graph来表示对象之间的复杂关系和依赖关系，然而graph数据的复杂已有的机器学习算法很难处理，所以使用深度学习方法来处理。A Comprehensive Survey on Graph Neural Networks论文回顾图神经网络（GNN）在文本挖掘和机器学习领域的发展，将GNN划分为递归图神经网络、卷积图神经网络、图自编码和时空图神经网络四类。此外还讨论图神经网络跨各种领域的应用、总结开源代码、数据集和图神经网络评价指标。最后给出可能的研究方向。作者提到基于欧氏距离计算的数...

原创 知识图谱推理综述

原创 知识图谱学习思维导图

入门知识图谱时构建的思维导图，欢迎大家指正。

原创 我认为硕士期间应该做的10件事

1、对于单身狗，刚开学一定要多参加活动，这是脱单的最佳时期，后面再想脱单就难了；2、至少实习过一次，实习不一定会给我们带来很多技术上的收获，但可以丰富我们的简历，我觉得更重要的是对上班工作有一定的认知。3、培养至少一个兴趣爱好，乏味的实验室生活可能会拉低你的幸福感，在科研不下去或空闲时间，做一些感兴趣的事。4、掌握至少一项专业技能，以我做IT的为例，开发至少要熟练掌握一门编程语言，算法...

原创 多轮对话系统（预定电影票的多轮对话系统）

前两天有人专门加微信咨询我关于我详细介绍的针对预定电影票的多轮对话系统（End-to-End Task-Completion Neural Dialogue Systems），见github：https://github.com/xiaoqian19940510/TC-Bot我写的思维导图见下图：...

原创 星际争霸ai

星际争霸游戏的微操：https://github.com/xiaoqian19940510/sparcraft，后面上传我设计的算法下面这些是星际争霸游戏ai里效果较好的算法，需要的可以私信我

原创 将围棋三算法用于五子棋

目前只有alphazero的python版本：https://github.com/xiaoqian19940510/Gomoku，后面会写alphago版和alphago zero版，并做对比。

原创 入门强化学习

1、基础理论知识书籍：《Reinforcement Learning：An Introduction》、《深入浅出强化学习》视频课程：https://edu.csdn.net/course/detail/49162、小实验http://gym.openai.com/envs/#algorithmichttps://github.com/xiaoqian19940510?tab=...

原创 实时检测模型yolo-最简单的检测模型

You Only Look Once: Unified, Real-Time Object Detection论文链接：https://arxiv.org/pdf/1506.02640.pdfyolo官网：https://pjreddie.com/darknet/yolo/ ...

原创 GAN系列

GAN及其改进算法GAN：G生成器生成数据，G判别器判别生成器生成的数据是否是真实的数据。也就是生成器拟合真实数据的分布。所以对于不同数据集，分布会不同，也就需要重新训练，非常麻烦。SRGAN：有一个生成器和一个判别器，判别器的主体使用 VGG19，生成器是一连串的 Residual block 连接，同时在模型后部也加入了 subpixel 模块，让图片在最后面的网络层才增加分辨率，...

原创 attention机制

attention机制类似是一个划重点的过程encoder后的内容可能会比较多，由于时间序列输出长度固定的局限性，加入attention，根据任务的不同重点关注特定的slot，然后在decoder这个attention可以是一个匹配机制（矩阵变换、余弦相似度），也可以是一个简单的神经网络（根据隐层输出作为输入，输出是action）。空间注意力时间注意力Soft Attentio...

原创 CNN卷积算法的改进

改进有：空洞卷积、可变形卷积（1）空洞卷积：对于像素要求不严格的任务，感受野相当于普通3*3卷积的两层的效果。代码实现：def DilatedCNN(x):        length=len(x,filter)        sum=0        if length<5:               return 0        if (lengt...

原创 Alpha系列总结

主要介绍：AlphaGo、AlphaZero Go和AlphaZero（1）AlphaGo：DoubleDQN的思想用在围棋上，分为两个网络，一个是策略网络输出下一步落子位置的概率，另一个是价值网络对每个可能落子位置评估胜率。（2）AlphaGo Zero：不再需要人工棋盘，只用一个神经网络，类似DuelingDQN，输出概率、价值和action。（3）AlphaZero ：相比Alp...

原创 RL算法介绍及比较

主要介绍的算法有：Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT（1）Q Learning：建立Q值表，根据当前state预测Q值，用查表的方式选择action。是value-based方法。（2）Sarsa：与QL不同的是先根据当前state选ac...

原创 python2和python3版本更换踩过的坑

1、print python2中可以加括号也可以不加，但在python3中必须加括号print()2、cPickle python2中为cPickle，在python3中改为pickle                model_params = pickle.load(open(model_path, 'rb')) 改为model_params = pickle.load(open(mode...

原创 深度学习模型

主要介绍：ANN CNN AlexNet ResNet GoogleNet VGG RNN  LSTM  GRU（先占个坑 后续有时间会补充）（0）ANN：包括输入层、若干个隐藏层和输出层。层与层直连，如下图是一个三个输入一个输出，三层隐藏层，共四层的神经网络。（1）CNN：包括输入层、卷积层、池化层、全连接层、输出层。卷积层和池化层需要借助与滤波器的卷积求得输出，全连接层转换成神...

原创 多轮对话系统

主要包含的模块有：wake up、ASR 、NLU、 DM 、NLG 、TTS关键技术：（1）wake up：匹配到唤醒词后进入工作状态。（2）ASR：语音转文本。先建立存储语音特征的语音参数模板，对于新输入的语音经过语音特征提取后与模板比较，输出匹配度最高的。有基于模式匹配的动态时间规整法和基于统计模型的隐马尔可夫模型法。（3）NLU：文本转语义表示。有不需要训练数据的基于规...

原创 推荐系统

1、协同过滤算法（统计学习的计算方式）基于统计的方法。判断相似性，相似性推荐选择。   1）数据收集：如用户偏好数据来源：（用户和物品关联方式）评分、投票、转发、保存、书签、标记、标签和评论（需要文本分析偏好）。   2）相似推荐：找到相似物品或用户相似度计算：欧氏距离作为判断相似度。皮尔逊距离（协方差[-1,1]判断正负相关，相似度=协方差/标准差）也可以     a）基...

原创 聊天机器人

主要讲两类聊天机器人1、闲聊机器人（1）基于seq2seq模型的对话系统：根据前一句来生成后一句的回复，对话的回答局限性大，缺少对整个对话的评估，且容易陷入死循环。（2）基于DRL的对话系统：利用强化学习对当前生成的各种回复评估，选择reward值最高的句子。评估方式根据应用场景不同，可以设计不同的评估函数。（3）GAN和RL结合的对话系统：生成器生成对话，判别器评估每种结果的re...