- 博客(267)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 python3去除UTF-8的BOM前缀（\xef\xbb\xbf）
做实验的时候，出现了莫名其妙的错误，打印出来一看，同样的字符，判断的却不想等，因为二者的编码不同，通过查资料，发现是bom编码的问题，即前面多了\xef\xbb\xbf网上相关的方法很多，另存为无bom格式的，是最直接了当的方法但是，我另存了之后，也还是出错，貌似没效果于是，还是决定从代码中qu去除掉\xef\xbb\xbf网上的方法很多，大多数是针对zhen整个文件的头部有\xe...
2018-12-03 16:33:51
5731
转载 深度学习与NLP
深度学习目前已经在NLP领域站稳脚跟 ，但是还没有成熟到像语音和图像那样可以和人类PK的程度，所以目前还是上升期，有三个点非常值得关注：1. 深度学习最初进入NLP走的是端到端的路线，靠无需人工特征知识即可达到state-of-art的卖点在NLP站稳脚跟。但是后面的发展过程中大家逐渐发现，只靠端到端是不行的。这个不仅仅是因为很多NLP任务监督数据匮乏的问题，因为在机器翻译这种语料充足的任...
2018-10-26 11:21:33
3224
转载 手把手教您解决90%的自然语言处理问题
手把手教您解决90%的自然语言处理问题NLP是一个非常大的领域，NLP有几个最常使用的关键应用：识别不同的用户/客户群。准确的检测和提取不同类别的反馈。根据意图对文本进行分类。本文将讲解如何从头开始有效地处理这些问题的指南和技巧：首先解释如何构建机器学习解决方案来解决上面提到的问题。然后转向更细致的解决方案，比如特性工程、单词向量和深度学习。第一步：收集你的数据每个机器学习问题...
2018-10-26 10:50:29
500
转载 半监督学习总结
半监督学习是监督学习和非监督学习的混合体，训练数据包括标注数据和非标注数据。根据学习目标分为两类：一类是监督学习任务，得到输入—输出的映射函数，利用未标注数据进行函数的优化；另一类是非监督学习任务，得到聚类的结果，利用标注数据提高效果。一、监督学习任务首先利用标注数据获得一个函数，然后利用未标注数据进行优化。包括自学习方法、互学习方法、基于图的方法、基于生成模型的方法、转导支持向量机等。...
2018-10-25 08:21:24
4333
转载 数据集大全：25个深度学习的开放数据集
https://segmentfault.com/a/1190000014230303摘要： 还在发愁找不到数据集训练你的模型？快来收藏一下史上最全的深度学习数据集汇总吧，有它在，一切都ok~介绍深度学习的关键是训练。无论是从图像处理到语音识别，每个问题都有其独特的细微差别和方法。但是，你可以从哪里获得这些数据？现在你看到的很多研究论文都使用专有数据集，而这些数据集通常不会向公众发布...
2018-10-12 16:06:52
4102
转载 如何产生好的词向量？
词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具供大家使用。在使用这些工具产生词向量时，不同的训练数据，参数，模型等都会对产生的词向量有所影响，那么如何产生好的词向量对于...
2018-09-13 16:51:04
1805
转载 MongoDB学习之路 (五)：更新操作符(Update Operators)
MongoDB学习之路 (五)：更新操作符(Update Operators).2ndwww.cnblogs.com 2013-05-15 00:18本文地址:http://www.cnblogs.com/egger/archive/2013/05/01/3053617.html 欢迎转载 ，请保留此链接๑•́ ₃•̀๑！通常文档只会有一部分要更新。利用原子的更新修改器，可以使得这...
2018-09-01 09:59:50
10813
转载 Windows上使用“LogView”打开大文件
最近因为工作需要要打开一个300+MB的文件，试过了N个编辑器不是打不开就是软件直接挂掉或是占用内存太大,已经严重影响了我的工作还好在网络上找到老外写的一个免费软件，官网上说是可以打开4G+的文件(没有测试过这么大的)，官网介绍：LogViewer Pro is a viewer for text log files.Features include:Fast scrolling, eats lo...
2018-05-31 16:15:47
8362
4
转载 [Algorithm & NLP] 文本深度表示模型——word2vec&doc2vec词向量模型
阅读目录1. 词向量2.Distributed representation词向量表示3.词向量模型4.word2vec算法思想5.doc2vec算法思想6.参考内容 深度学习掀开了机器学习的新篇章，目前深度学习应用于图像和语音已经产生了突破性的研究进展。深度学习一直被人们推崇为一种类似于人脑结构的人工智能算法，那为什么深度学习在语义分析领域仍然没有实质性的进展呢？ 引用三年前一位网友的话来讲...
2018-05-21 10:39:04
1004
转载 【不可思议的Word2Vec】 2.训练好的模型
由于后面几篇要讲解Word2Vec怎么用，因此笔者先训练好了一个Word2Vec模型。为了节约读者的时间，并且保证读者可以复现后面的结果，笔者决定把这个训练好的模型分享出来，用Gensim训练的。单纯的词向量并不大，但第一篇已经说了，我们要用到完整的Word2Vec模型，因此我将完整的模型分享出来了，包含四个文件，所以文件相对大一些。提醒读者的是，如果你想获取完整的Word2Vec模型，又不想改源...
2018-05-15 22:11:21
8711
12
转载 情感分析
由 Editor 于 2015 年 10 月 08 日 发布在 数据科学 栏目情感分析的新方法1 评论 情感分析是一种常见的自然语言处理（NLP）方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或...
2018-05-15 17:43:13
5791
转载 信息论中的熵（信息熵，联合熵，交叉熵，互信息）和最大熵模型
摘要： 1.信息的度量 2.信息不确定性的度量 内容：1.信息的度量 直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： （1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率取了负对数（保证非负） （2）一个时间发生的概率越大，其信息量越小，因此对概率取了负对数（保证非负）举两个例子便于理解： 一...
2018-05-15 11:52:55
3435
转载 基于情感词典的情感打分
原理我就不讲了，请移步下面这篇论文，包括情感词典的构建（各位读者可以根据自己的需求稍作简化），以及打分策略（程序对原论文稍有改动）。论文在这里下载：基于情感词典的中文微博情感倾向性研究 (大家可以上知网自行下载)本文采用的方法如下： 首先对单条微博进行文本预处理，并以标点符号为分割标志，将单条微博分割为n个句子，提取每个句子中的情感词 。以下两步的处理均以分句为处理单位。第二步在情感词表中寻找情...
2018-05-11 10:22:29
7502
6
转载 电影文本情感分类
电影文本情感分类Github地址Kaggle地址这个任务主要是对电影评论文本进行情感分类，主要分为正面评论和负面评论，所以是一个二分类问题，二分类模型我们可以选取一些常见的模型比如贝叶斯、逻辑回归等，这里挑战之一是文本内容的向量化，因此，我们首先尝试基于TF-IDF的向量化方法，然后尝试word2vec。# -*- coding: UTF-8 -*-import pandas as pdimp...
2018-05-11 10:17:23
2089
转载 情感分析资源 （转）
中文的 http://wenku.baidu.com/view/819b90d676eeaeaad1f3306e.html情感词典1.知网的情感词典- http://www.keenage.com/html/c_bulletin_2007.htm由知网发布的词典，包括中文情感词典和英文情感词典（以下需要论坛积分）2.台湾大学的情感极性词典- http://www.datatang.com/data...
2018-05-11 10:14:43
495
转载 Python做文本情感分析之情感极性分析
导语「NLP」最为目前及其火热的一个领域，已经逐渐渗透进越来越多产业的各项业务中，不知死活的胖子决定对常用的应用功能挨个进行尝试，死活不论……0. 介绍「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的...
2018-05-11 10:12:30
10436
2
转载 在 Python 应用中使用 MongoDB的方法
在这篇文章中，将向您展示如何使用Python链接目前主流的MongoDB(V3.4.0)数据库，主要使用PyMongo(v3.4.0)和MongoEngine(V0.10.7)。同时比较SQL和NoSQL。英文原文:https://realpython.com/blog/python/introduction-to-mongodb-and-python1、SQL vs NoSQL 如果你不是很熟...
2018-04-24 09:13:18
663
转载 Python做文本情感分析之情感极性分析
导语「NLP」最为目前及其火热的一个领域，已经逐渐渗透进越来越多产业的各项业务中，不知死活的胖子决定对常用的应用功能挨个进行尝试，死活不论……0. 介绍「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的...
2018-04-15 21:22:53
50149
8
转载 在深度学习时代用 HowNet 搞事情 刘知远 01-09
在深度学习时代用 HowNet 搞事情刘知远 01-092017 年 12 月底，清华大学张钹院士做了一场题为《AI 科学突破的前夜，教授们应当看到什么？》的精彩特邀报告。他认为，处理知识是人类所擅长的，而处理数据是计算机所擅长的，如果能够将二者结合起来，一定能够构建出比人类更加智能的系统。因此他提出，AI 未来的科学突破是建立一种同时基于知识和数据的 AI 系统。我完全赞同张钹老师的学术观点。最...
2018-04-15 20:38:23
815
转载 使用@property
在绑定属性时，如果我们直接把属性暴露出去，虽然写起来很简单，但是，没办法检查参数，导致可以把成绩随便改：s = Student()s.score = 9999这显然不合逻辑。为了限制score的范围，可以通过一个set_score()方法来设置成绩，再通过一个get_score()来获取成绩，这样，在set_score()方法里，就可以检查参数：class Student(object):...
2018-04-14 14:33:29
189
转载 机器学习中的数学(1)：回归、梯度下降
回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的open source的软件中看到，比如说weka。大概
2017-10-17 14:50:13
240
转载 矩阵的线性变换
线性空间：可以进行线性运算（加法和乘法）的一个大容器。基：看做线性空间里面的一个坐标系就可以；比如：二维平面空间的基就是二维坐标系。点与向量之间的关系：点的坐标就是一个向量，该向量代表的是从原点到该点的方向和大小。线性变换：就是从一个线性空间 V 的某一个点跃迁到另一个线性空间 V 的另一个点的运动。蕴含的深层含义是一个点不仅可以变换到同一个线性空间中的另一个点
2017-09-14 12:20:44
10966
转载 三层架构(我的理解及详细分析)
三层架构已经学了一段时间,一直想做一个比较完整、比较完美的总结。但是左思右想，不知道如何下笔。都说万事开头难嘛，今天整理了一下凌乱的思路，哎，还是没整理好，想到哪就说到哪吧。 初学者很不理解：1，什么是三层？2，为什么使用三层？3，三层与以往使用的两层相比有什么不同？它的优势在哪里？4，如何学好三层？如何应用三层？……这篇博客里我会给
2014-08-06 16:30:02
474
转载 C#中的this
一、C# 中的this C#中的保留字this仅限于在构造函数，类的方法和类的实例中使用。 * 在类的构造函数中出现的this作为一个值类型，它表示对正在构造的对象本身的引用 * 在类的方法中出现的this作为一个值类型，表示对调用该方法的对象的引用 * 在结构的构造函数中出现的this作为一个变量类型，表示对正在构造的结构的引用
2014-07-26 19:14:06
2007
转载 PPT使用技巧，无论老师还是职员都需要
一大群与会人员正襟危坐，你豪情满怀地进行着某个新产品的演示或介绍，却不小心由于鼠标左键的误操作导致幻灯片跳到了本不应该出现的位置，或者本应按下鼠 标左键切换到下一张，却由于按下了右键而出现一个快捷菜单。不用担心，只要进行小小的设置，就可以将这些烦人的问题统统搞定。 从任务窗格 中打开“幻灯片切换”，将换片方式小节中的“单击鼠标时”和“每隔”两个复选项全部去除，然后将这个设置应用于所有幻灯
2014-07-25 16:55:57
861
转载 多态、虚函数和动态关联
C++编译有一个或几个虚函数的类时，对该类建立虚函数表(virtualfunctiontable，vtableL vtable让执行程序选择每次执行类的虚函数时正确的实现方法。图10．3演示了Shape、Point、Circle和Cylinder类的虚函数表。Shape类的vtable中，第一个指针指向该类area函数的实现方法，即返回面积0.0的函数。第二个指针指向该类volume函数的实现方法
2014-07-25 16:54:18
499
转载 纯虚函数的作用
虚函数必须是基类的非静态成员函数，其访问权限可以是protected或public，在基类的类定义中定义虚函数的一般形式： virtual 函数返回值类型 虚函数名（形参表） { 函数体 } 虚函数的作用是实现动态联编，也就是在程序的运行阶段动态地选择合适的成员函数，在定义了虚函 数后，可以在基类的派生类中对虚函数重新定义，在派生类中重新定义的函数应与虚函数具有相同的形参个数和形
2014-07-25 16:53:10
8412
9
转载 重载与覆盖的区别 多态
重载与覆盖的区别1、方法的覆盖是子类和父类之间的关系，是垂直关系；方法的重载是同一个类中方法之间的关系，是水平关系。2、覆盖只能由一个方法，或只能由一对方法产生关系；方法的重载是多个方法之间的关系。3、覆盖要求参数列表相同；重载要求参数列表不同。4、覆盖关系中，调用那个方法体，是根据对象的类型（对象对应存储空间类型）来决定；重载关系，是根据调用时的实参表与形参表来选择方法体的。
2014-07-25 16:25:10
950
转载 构造函数为什么不能是虚函数
构造函数为什么不能是虚函数1. 从存储空间角度，虚函数对应一个指向vtable虚函数表的指针，这大家都知道，可是这个指向vtable的指针其实是存储在对象的内存空间的。问题出来了，如果构造函数是虚的，就需要通过 vtable来调用，可是对象还没有实例化，也就是内存空间还没有，怎么找vtable呢？所以构造函数不能是虚函数。2. 从使用角度，虚函数主要用于在信息不全的情况下，能使
2014-07-25 16:16:01
425
转载 为什么构造函数不能声明为虚函数，析构函数可以
构造函数不能声明为虚函数，析构函数可以声明为虚函数，而且有时是必须声明为虚函数。不建议在构造函数和析构函数里面调用虚函数。构造函数不能声明为虚函数的原因是:1 构造一个对象的时候，必须知道对象的实际类型，而虚函数行为是在运行期间确定实际类型的。而在构造一个对象时，由于对象还未构造成功。编译器无法知道对象 的实际类型，是该类本身，还是该类的一个派生类，或是更深层次的派生类。无法确定。
2014-07-25 16:05:02
365
转载 C++中虚析构函数的作用
我们知道，用C++开发的时候，用来做基类的类的析构函数一般都是虚函数。可是，为什么要这样做呢？下面用一个小例子来说明： 有下面的两个类：class ClxBase{public: ClxBase() {}; virtual ~ClxBase() {}; virtual void DoSomething() { cout "Do
2014-07-25 14:44:28
452
转载 浅谈Java的输入输出流
Java语言的输入输出功能是十分强大而灵活的，美中不足的是看上去输入输出的代码并不是很简洁，因为你往往需要包装许多不同的对象。在Java类库中，IO部分的内容是很庞大的，因为它涉及的领域很广泛:标准输入输出，文件的操作，网络上的数据流，字符串流，对象流，zip文件流....本文的目的是为大家做一个简要的介绍。 流是一个很形象的概念，当程序需要读取数据的时候，就会开启一个通向数据源的流，这个数
2014-07-23 17:46:43
389
转载 Java流
一、 流的分类? 按数据流动方向– 输入流：只能从中读取字节数据，而不能向其写出数据– 输出流：只能向其写入字节数据，而不能从中读取数据? 按照流所处理的数据类型– 字节流：用于处理字节数据。– 字符流：用于处理Unicode字符数据。? 按照流所处理的源– 节点流:从/向一个特定的IO设备读/写数据的流。（低级流）– 处理流
2014-07-23 17:42:32
511
转载 Java IO流分析整理
Java中的流，可以从不同的角度进行分类。按照数据流的方向不同可以分为：输入流和输出流。按照处理数据单位不同可以分为：字节流和字符流。按照实现功能不同可以分为：节点流和处理流。 输出流： 输入流：因此输入和输出都是从程序的角度来说的。字节流：一次读入或读出是8位二进制。字符流：一次读入或读出是1
2014-07-23 17:27:07
433
转载 static的三个作用
static的三个作用： 这个简单的问题很少有人能回答完全。在C语言中，关键字static有三个明显的作用： 1 在函数体，一个被声明为静态的变量在这一函数被调用过程中维持其值不变。 2 在文件内（但在函数体外），一个被声明为静态的变量可以被文件内所用函数访问，但不能被文件外其它函数访问。它是一个本地的全局变量。 3在模块内，一个被声明为静态的
2014-07-22 17:17:11
1157
转载 extern用法 C和C++混编
1、 声明外部变量 现代编译器一般采用按文件编译的方式，因此在编译时，各个文件中定义的全局变量是 互相透明的，也就是说，在编译时，全局变量的可见域限制在文件内部。下面举一个简单的例子。创建一个工程，里面含有A.cpp和B.cpp两个简单的C++源文件： //A.cpp int i; void main()
2014-07-22 17:15:22
424
转载 extern和static释析
extern和static释析注意：下文中提到的“变量”或“函数”均指的是“全局”的，同时也请大家务必注意声明和定义的措辞（实际上，我这么说是有错误的，因为函数就没有全局和局部之分，其实函数都是全局的，例如我们在A文件中定义了一个函数void fun(){}，在B文件中直接就可以利用，[extern] void fun(); void main(){fun();}）extern g_A
2014-07-22 17:15:02
310
转载 关于static和extern
static 是c++中很常用的修饰符，它被用来控制变量的存储方式和可见性，下面我将从 static 修饰符的产生原因、作用谈起，全面分析static 修饰符的实质。 static 的两大作用: 一、控制存储方式： static被引入以告知编译器，将变量存储在程序的静态存储区而非栈上空间。
2014-07-22 17:13:47
326
转载 抽象类（abstract）
抽象类（abstract）abstract修饰符可以和类、方法、属性、索引器及事件一起使用。在类声明中使用abstract修饰符以指示某个类只能是其它类的基类。标记为抽象或包含在抽象类中的成员必须通过从抽象类派生的类来实现。è 抽象类不能实例化è 抽象类可以包含抽象方法和抽象访问器è 不能用sealed修饰符修改抽象类，这意味着抽象类不能被继
2014-07-22 16:05:11
851
转载 文件过滤器
有时候需要在程序中查找某一目录下的某一类文件，例如需要在E:datafile_selector_test 目录下面查找所有已.java为后缀名的文件。其实这个功能自己也可以实现，很简单，只需要遍历一下目录下的所有文件，判断一下文件名称的结尾字符串是否为".java"即可。虽然这么做可以实现，但是没有必要，java api中已经有相关的方法来实现这一功能。File类有一个listFiles(
2014-07-22 14:09:42
611
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人