- 博客(56)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 NLP系列文章（五）——发展历程中的GPT、BERT
接文章《NLP系列文章（一）——按照学习思路整理发展史》《NLP系列文章（二）——NLP领域任务分类、NNLM语言模型》《NLP系列文章（三）——word embedding》继续讲述NLP预训练的那些事ELMO是“Embedding from Language Models”的简称，论文《Deep contextualized word representation》。在此之前的Word Embedding本质上是个静态的方式，也就是训练好后单词的表达固定不变，在新任务使用的时候，不论新句子上.
2020-08-12 11:42:34
2097
原创 NLP系列文章（四）——ELMO
接文章《NLP系列文章（一）——按照学习思路整理发展史》《NLP系列文章（二）——NLP领域任务分类、NNLM语言模型》《NLP系列文章（三）——word embedding》继续讲述NLP预训练的那些事ELMO是“Embedding from Language Models”的简称，论文《Deep contextualized word representation》。在此之前的Word Embedding本质上是个静态的方式，也就是训练好后单词的表达固定不变，在新任务使用的时候，不论新句子上.
2020-08-11 21:10:16
836
原创 NLP系列文章（三）——word embedding
word embedding在互联网中，每天都海量的文本信息。而NLP就是使用计算机处理自然语言的过程。众所周知，computer只能处理数值，因此自然语言需要以一定的形式转化为数值，以供computer处理。word embedding就是将词语（word）映射为数值的方式。使用单个实数表示所能包含的信息太少，所以一般将word映射为一个数值向量或者tensor。那么问题来了，①如何才能把word转换为数值向量？②如何在转换过程中保留自然语言本身所蕴含的语义和句法等抽象的特征？这很重要！！如果
2020-08-10 15:12:58
953
原创 NLP系列文章（二）——NLP领域任务分类、NNLM语言模型
接上篇文章《NLP系列文章（一）——按照学习思路整理发展史》继续讲述NLP预训练的那些事1、NLP领域任务分类通常，NLP问题可以划分为四类任务：序列标注、分类任务、句子关系判断、生成式任务。序列标注：典型的NLP任务，比如分词、词性标注、命名体识别、语义角色标注……，序列标注任务的特点是句子中每个单词都要求模型根据上下文给出一个分类类别。分类任务：比如文本分类、情感计算……，分类任务的特点是不管文章长度，总体上能给出一个分类类别。句子关系判断：比如蕴含（entailment）、QA、语义.
2020-08-10 14:45:33
1999
原创 NLP系列文章（一）——按照学习思路整理发展史
来源：知乎 LITD《bert发展史……》系列、知乎paperweekly 《NLP的巨人肩膀》、知乎 张俊林《bert时代的创新（应用篇）》 0. 缘由个人还是比较喜欢语言方面的研究，但是研究生期间存在在诸多意外，研究课题一直难以确定，在人工智能的大流中摸爬打滚，秉承实验室前辈的理念，一年来找文献、看文献、翻译文献……总之，一直徘徊在 换研究方向→学新领域入门→看某个模型或算法的文献【英文】→翻译文献→看配套源码→尝试跑通→然后 ...
2020-08-10 14:35:56
343
原创 tensorflow里的stop_if_no_decrease_hook报错
AttributeError: module 'tensorflow.contrib.estimator' has no attribute 'stop_if_no_decrease_hook'tf1.14中，stop_if_no_decrease_hook不在这个tensorflow.contrib.estimator里面在1.14版本中 应该是tf.estimator.experimental.stop_if_no_decrease_hook...
2020-06-09 02:32:48
1364
转载 条件随机场（conditional random field，CRF）模型初探
转载原链接：https://www.cnblogs.com/LittleHann/p/8655354.html阅读目录(Content)1. 条件随机场，一种特殊的概率图模型结构 0x1：概率无向图模型 1. 概率无向图模型定义 2. 概率无向图模型的因子分解 2. 条件随机场的发展脉络 0x1：条件随机场的学术发展脉络 0x2：3种不同算法在标注问题中的计算要素 0x3：CRF算法对HMM和HEMM的主要改进点 1. CRF避免了HMM中的严格的独立.
2020-05-13 23:23:39
1194
转载 最通俗易懂的BiLSTM-CRF模型中的CRF层介绍
本文翻译自GitHub博客上的原创文章，结尾有原文链接。文章没有晦涩的数学公式，而是通过实例一步一步讲解CRF的实现过程，是入门CRF非常非常合适的资料。概述该文章系列包括以下内容：概念介绍 — 基于 BiLSTM-CRF模型中的命名实体识别任务中的CRF层解释 例子详解 — 用一个玩具的例子详细解释CRF是如何工作的 Chainer实现 — 用基于Chainer包的代码实现CRF层背景知识你唯一需要了解的是什么叫命名实体识别。如果你不了解神经网络，CRF以及其他相关知识也没有关.
2020-05-11 09:53:33
466
原创 Python 深度学习中的激活函数实现及其公式推导
sigmoid函数公式： 梯度： tanh函数公式： 梯度： relu函数公式： 梯度： ...
2019-08-15 12:07:02
843
原创 Python 解决使用TensorFlow使用出问题时出现的问题 FutureWarning: Passing (type, 1) or '1type' as a synonym of type …
爆出的错误情况：E:\pythonTool\python3.7.3\lib\site-packages\tensorflow\python\framework\dtypes.py:516: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of...
2019-08-11 15:25:06
2131
原创 Internet download manager下载及安装配置
Internet download manager 安装包链接见文章后面的资源链接。下载好后，无需解压，打开直接执行安装，最后安装后会提示绑定浏览器，第123步按图所示，进入拓展页面后，打开开关按钮就好，这时浏览器地址栏就出现了IDM图标，即可。...
2019-08-06 16:38:59
6134
原创 Python 安装了cuDNN后执行TensorFlow仍旧报错
ImportError: Could not find 'cudnn64_7.dll'. TensorFlow requires that this DLL be installed in a directory that is named in your %PATH% environment variable. Note that installing cuDNN is a separate s...
2019-07-29 11:21:04
580
原创 Python 基础（四）基本数据类型
五、 基本数据类型数字、字符串、列表、元祖、字典、集合【python 中 所有东西都是对象】5.1 变量变量计算机内存的一段空间，在空间进行操作。Python的不同点： 动态变量类型 A = 变量值【没有定义类型，类型是通过变量值的类型随机决定的】 变量被引用时是地址引用类型 比如定义 a = 10 b...
2019-07-28 14:05:54
207
原创 Python 基础（三）print输出语句
四、print输出语句输出语句的语法格式：Print() #在python3中print换成函数，必须加括号。#4.1 字符串输出：##########################################print输出字符串的时候必须用引号引起来，否则会报出“invaild syntax”的错误#################################...
2019-07-28 14:04:55
24869
原创 Python 基础（二）交互式工具简单介绍+安装
二、交互式工具介绍交互式是适合初学者快速上手、简单测试代码可用性。2.1 python自带的解释器使用python进入交互式界面使用exit（）退出交互式界面2.2 Ipython有高亮，好检查错误。2.3 集成开发工具IDE ——Pycharm提供两个版本专业版和社区版，学生可以申请专业版，专业版本和社区版本只是有些功能比较少，不影响开发。三、工具的安装3...
2019-07-28 13:56:51
537
原创 Python pycharm创建项目不能共用全局包
3.3 pycharm创建项目不能共用全局包【##########################################Python在终端通过pip安装好包以后，在Pycharm中依然无法使用的解决办法：在pycharm中再次为项目安装打开file---setting---project---右侧选择interpreter后在下面的package中点击“+”搜需要的包ins...
2019-07-28 13:56:00
7363
原创 Python 基础（一）环境搭建
一、安装python在官网上安装最新稳定版本，现在是python3.7.3自定义安装路径的时候前两项全部选中，安装完成后如果cmd命令行不可以进入python环境，那么进行环境配置，path中加入python的安装目录之后，在cmd下执行python就能进入交互式界面了。...
2019-07-28 13:51:24
126
原创 Python scrapy环境搭建
一、Scrapy安装Scrapy有很多依赖包，在windows 下安装很复杂。直接pip安装scrapy会报出很多错误。具体依赖问题使用下面安装的例子1.1 传统方法先安装框架需要的依赖包，然后再安装scrapy框架。1.1.1安装wheel直接使用pip命令 pip install wheel1.1.2 安装lxml在http://www.lfd.uci.edu/~g...
2019-07-28 13:42:46
198
原创 Python 深度学习之numpy
个人手记注意：在pycharm中不能将文件名命名为已有模块名一、导入numpy作为np，并查看版本和安装位置import numpy as npprint(np.__version__,'/n',np.__file__)二、在NumPy中，数组这一类又被称为ndarray。1、ndarray.ndim指数组的维度，即数组轴（axes）的个数，其数量等于秩（rank...
2019-07-28 13:39:13
489
原创 Python 解决Graphviz's executables are not found
1、pip install pydotplus2、pip install graphviz3、http://www.graphviz.org/download/ 下载对应的msi4、安装这个文件将安装完的bin目录添加到path路径中5、重新启动pycharm，run项目即可！！！...
2019-07-28 13:37:00
836
原创 Python 解决warining的方法FutureWarning: warnings.warn(CV_WARNING, FutureWarning)
错误情况错误出在 1978行E:\python3.7.3\lib\site-packages\sklearn\model_selection\_split.py:1978: FutureWarning: The default value of cv will change from 3 to 5 in version 0.22. Specify it explicitly to si...
2019-07-28 13:30:17
8785
4
原创 Python 使用pandas输出字典dict到excel出现的问题ModuleNotFoundError: No module named 'xlwt'
安装依赖包xlwt就好使用pip install xlwt
2019-07-27 20:34:24
762
原创 python 神经网络激活函数sigmoid函数
一、sigmoid函数sigmoid函数 由于其单增及反函数单增等性，sigmoid函数常被用做神经网络的激活函数，将变量映射到0，1之间。所以主要用来做二分类神经网络。由于其平滑、易于求导的特性，处理特征相差不是很大或者复杂的数据效果比较好。当然对于反向传播，sigmoid涉及求导除法，特别容易出现梯度消失，那么就无法完成深度数网络。sigmoid函数的公式： ...
2019-07-18 20:17:42
16628
原创 Python 介绍pylab和绘图设置显示中文的方法
一、介绍所需要使用到的python第三方库——pylabpylab包括了许多numpy和pyplot模块中常用的函数在pylab的源码注释中简介： pylab结合了numpy和matplotlib.pyplot，对交互式是用来说比较方便，既可以画图又可以进行简单计算。 但是对于一个项目来说，最好分开使用numpy和pylot，即：...
2019-07-18 18:14:26
9682
3
原创 关于考取内蒙古农业大学计算机与信息工程学院研究生复习指导建议
关于考内蒙古农业大学计算机与信息工程学院 学硕研究生事项：1、数学只考《高等数学》，复习教材无需新购，大学期间修的同济版课本就好，个人感觉 目前考试难度和期末的难度差不多，期末考试自己复习考取95分以上的同学目前可以不用过于复习数学，将重心放在英语和政治上。95分以下的同学即可开始复习高数，需要的复习材料包括如下【课本，习题册，历年真题（四年的真题可以在本校官网中找到）】。2...
2019-07-18 18:00:37
394
1
原创 python 使用pycharm创项目的时候出现找不到E:\\pythonTool\\python\\lib\\venv\\scripts\\nt\\python_d.exe类似问题的解决方案
问题描述：pycharm使用虚拟环境venv 创建new一个新的项目的时候，在加载一些项目初始化文件的时候，爆出找不到venv虚拟环境相关文件的问题。出现问题的详细情况如图：解决方案：从 E:\pythonTool\python 复制以下文件到 E:\pythonTool\python\Lib\venv\scripts\nt中即可。...
2019-06-28 12:40:55
19192
1
原创 python pip成功后from pyecharts import Bar仍报错问题
pip install pyecharts安装的pyecharts是最新版本的，其__init__.py没有Bar我们需要降版本使用 pip install pyecharts=0.1.9.4 安装即可。在该文发表时pyechart最新版本为1.2.0，下图是1.2.0版本的文件图：__init__.py内容如下，包含的东西已经很少了0.1.9.4 该版本的文件情况如...
2019-06-09 23:01:18
9487
3
原创 python 报错 couldn‘d find a tree builder with the features you request：html5lib.
爬虫中使用了适合页面结构比较混乱的html5liblxml解析器问题：解决：
2019-06-09 22:30:57
2442
原创 Python 在源码函数中的*args和**kwargs
一、两个参数的含义*args：任意个无名参数，类型为tuple或list（()元组和[]列表）**kwargs：任意个关键字参数（key-word args，键值对），类型为dict（{}字典）*arg和**kwargs在函数定义优先级方面最低，其中*args参数优先于**kwargs参数。发扬了参数传递的灵活性。*参数和**参数在源码中的存在方式如下图matplotlib.p...
2019-05-29 06:13:58
382
原创 软件设计：理解 DIP、IoC、DI、IoC容器是何物？
OOD面向对象设计是我们开发出高性能、易扩展以及易复用程序的有力工具。 软件设计原则 何为正确的，何为错误的，规则是什么，泛泛而谈 软件设计模式 开发经验总结出来的解决方案 OOD的一个重要思想就是DIP依赖倒置原则。 DIP 依赖倒置原则 IoC ...
2019-04-20 13:36:12
346
原创 spingboot handlerinterceptor实现用户认证和页面拦截跳转之一 实现HandleInterceptor
1、自定义类interceptor是实现拦截进行认证验证，功能：用户认证和页面拦截跳转实现：验证是否有session和cookie信息方法：实现spring的HandlerInterceptor接口，handle接口中定义了三个方法方法一：prehandle()是在处理请求之前进行调用，执行controller的任务之前调用，返回true继续执行，返回false放弃执行。...
2019-04-20 13:24:23
3348
原创 spingboot handlerinterceptor实现用户认证和页面拦截跳转之二 spring配置
1、@autowired自动装配：对类成员变量、方法、构造函数进行标注，完成自动装配。消除set、get方法，在IoC容器中查找对应类型的bean装配2、使用装配好的authorizationIntercetoraddPathPatterns("/pro/**")是/pro目录下的任何链接都要进入authorizationIntercetor执行。excludePath...
2019-04-20 13:19:38
801
原创 java namedParameterJdbcTemplate和JdbcTemplate两者的关系和区别是什么？
Jdbctemplate是java最先出现的最底层的封装。namedParameterJdbcTemplate是对Jdbctemplat的在封装。jdbcTemplate提供的主要方法:execute：用于执行任何Sql语句，一般用于DDL；Update：用于执行增、改、删等语句；batchUpdate：用于执行批处理相关语句；Query、queryForXXX：用于执行...
2019-04-10 18:43:28
1863
原创 java set去重、序列化、关于equals、hashCode、tostring的重写
前提：这个实体类必须实现java.io.Serializable这个接口类。实体类最下面有三个重写的方法toString 、equals、 hashCode，如何理解为什么都要重写这三个方法？这些就涉及到业务上的操作。首先，toString是将一个对象输出为字符串，更适合人们阅读理解。其次，Equals和hashcode一起实现去重。比如，有一个列表，存在相同的数据（学号，姓...
2019-04-10 10:54:28
819
原创 C++利用一个二进制文件保存10个100以内的整数，数据用键盘输入
#include<iostream>#include<fstream>using namespace std;void main (){ ofstream file1;//文件输出流 file1.open("e:\\write1.dat",ios::out|ios::binary); if(!file1){ cerr<...
2019-03-27 20:57:17
712
原创 C++有一个正方体形环，其中小正方形连长为5， 大正方形连长10，编程定义一个square类， 求正方体形环面积
有一个正方体形环，其中小正方形连长为5， 大正方形连长10，编程定义一个square类， 求正方体形环面积。#include<iostream>using namespace std;class square{private: float r,s;public: square(float r1=0){r=r1;} float area(){ s=3*r*r...
2019-03-27 19:33:00
683
原创 C++定义一个point类，有数据成员x和y，重载++和--，同时重载前缀和后缀
/*定义一个point类，有数据成员x和y，重载++和--，同时重载前缀和后缀*/#include<iostream>using namespace std;class Point {private: int x,y;public: Point(){x=y=0;} Point& operator ++(); Point operator ++(int);...
2019-03-27 18:44:42
11879
1
原创 C++类实现求n的阶乘
/*使用类实现n的阶乘*/#include<iostream>using namespace std;class fac{private: int p;//结果public: fac(){p=1;} fac(int j){ p=1; if(j>=0){ for(int i=1;i<=j;i++)p=p*i; }else{ cout&...
2019-03-27 16:30:40
4249
原创 C++ 定义盒子的Box类，具有以下要求： 可设置盒子的形状； 可计算盒子的体积； 可计算盒子的表面积
定义盒子的Box类，具有以下要求：可设置盒子的形状；可计算盒子的体积；可计算盒子的表面积；#include<iostream>using namespace std;class Box{private: float len,wid,hei;public: Box(float l,float w,float h){len=l;wid=w;hei=h;}...
2019-03-27 16:11:05
8381
1
原创 C++使用类计算两点间的距离
使用类计算两点间的距离还是使用友元比较好，在类中声明友元后无需特意定义一个引用的对象。/*方法一：不可取，但是也能满足效果*/#include <iostream>#include <cmath>using namespace std;class Point{private: float x,y;public: Point(){} Point(fl...
2019-03-27 15:09:48
11027
ionic3开发指南
2019-03-27
【MricoPython】 温湿度传感器数据收集上传到openNET 源码
2019-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人