萝卜虫-CSDN博客

原创 spyder不能引入tensorflow

Anaconda3\envs\tensorflow\Lib\site-packages的文件复制到Anaconda3\Lib\site-packages中

2018-08-23 10:55:32 2216 1

转载 python 的日志logging模块学习

1.简单的将日志打印到屏幕 import logginglogging.debug('This is debug message')logging.info('This is info message')logging.warning('This is warning message') 屏幕上打印:WARNING:r

2017-05-12 16:17:42 472

知识库的建立，在NLP领域是常见的工作内容。我目前也在做一个HR的系统，需要建立技能的知识库，查了一些资料，做一些总结。　　正如动物依靠对环境和食物的认知来维持生存、人类依靠知识和技能来扮演社会角色一样，计算机应用程序和系统也依赖特定的“知识”来完成特定的功能。近些年，包括互联网搜索系统、自动导航系统、自动问答系统、机器翻译系统、语音识别系统等在内的智能系统取得了巨大进展，其背后是更深、更广、更新

2017-05-11 21:17:45 1777

翻译 CNN情感分析（文本分类）

这篇文章翻译至denny britz的博客，本来想自己用TensorFlow实现CNN情感分析，看过denny的github后，就决定不浪费时间了。当然，会在他的基础上做一些改进。一、数据预处理　　这个情感分析的数据集来自Rotten Tomatoes的电影评论，总共10662个样本，一半正例，一半负例，词汇的数目大概2万个。　　任何机器学习能够得到很好的执行，数据预处理都很重要。首先，简单介

2017-05-10 22:58:09 22877 10

原创 LDA小结及在gensim中的应用

首先，感谢Rickjin的《LDA数学八卦》，能兼具如此数学功底和写作功底的人，着实不多。这是我的个人的思路小结，没有数学推导，如果想仔细研究，推荐大家去阅读那篇八卦，写的很精彩。　　LDA是NLP领域一个非常重要的非监督算法。一直想仔细研究一番。　　看完Rickjin的《LDA数学八卦》，不说理解透彻，这个算法前前后后的思考过程还是比较清晰的。　　　　首先，why？LDA出现的

2017-05-06 23:43:31 2057

原创 Django中引入vue没反应

在Django中引入了vue，但是demo中不能读取message：<!DOCTYPE html><html><head><meta charset="utf-8"><title>Vue</title><script src="https://unpkg.com/vue/dist/vue.js"></script></head><body><div id="app"> <p>{{

2017-05-05 12:36:35 2399 1

原创条件随机场（CRF）及CRF++安装使用

这个，终于到了要解决命名实体识别的问题，搞自然语言处理，貌似这个绕不开的。CRF，传统的干这活的利器，听名字就是高大上。既然绕不开，那就整整吧。　　CRF是用来标注和划分序列结构数据的概率化结构模型。言下之意，就是对于给定的输出，标识序列Y和观测序列X，条件随机场通过定义条件概率P(Y | X)，而不是联合概率分布P(X, Y)来描述模型。　　很清楚了，这是个判别模型。　　CRF也可以看做

2017-05-03 16:47:14 3025

原创隐马尔可夫模型

隐马尔可夫模型属于概率图模型，细分的话，属于有向图模型。在自然语言处理中，可以用于序列标注、特征选择、机器翻译等任务。　　先说一下随机过程和马尔可夫模型。　　随机过程又称随机函数，是随时间而随机变化的过程。马尔可夫模型描述了一类重要的随机过程。这些随机变量之间并不是相互独立的，每个随机变量的值依赖于这个序列前面的状态。如果在特定条件下，系统在时间t的状态只与其在时间t-1的状态相关，则该系统

2017-05-03 16:22:29 510

原创概率图模型

首先，介绍一下概率图的概念。　　概率图模型是一种通用化的不确定知识表示和处理方法。它是在概率模型的基础上，使用基于图的方法来表示概率分布。　　概率图模型，是一个图，结点表示变量，结点之间的边表示概率关系。根据图模型的边是否有向，概率图模型通常被划分成有向概率图模型和无向概率图模型。　　有向图模型分为静态贝叶斯网络、动态贝叶斯网络（隐马尔可夫模型、卡尔曼滤波器等）；无向图模型主要

2017-05-03 10:10:52 1170

原创 TensorFlow笔记之变量管理

TenssorFlow中通过变量名称获取变量，主要通过两个函数：tf.get_variable和tf.variable_scopetf.get_variable TensorFlow在创建变量时，它和tf.Variable的功能基本等价的。例如：v = tf.get_variable("v", shape = [1], initializer = tf.constant_initialize

2017-05-01 22:19:21 631

原创 TensorFlow笔记之常见七个参数

对TensorFlow深度学习中常见参数的总结分析　　神经网络中常见的参数有：初始学习率、学习率衰减率、隐藏层节点数量、迭代轮数、正则化系数、滑动平均衰减率、批训练数量七个参数。　　对这七个参数，大部分情况下，神经网络的参数选优是通过实验来调整的。　　一个想法是，通过测试数据来评判参数的效果，但是这种方法会导致过拟合测试数据，失去评判未知数据的意义。而我们训练神经网络的目的，恰恰是为了预测

2017-05-01 14:58:53 2410

原创 TensoFlow解决过拟合问题：正则化、滑动平均模型、衰减率

对多层神经网络的总结激活函数　　神经网络解决非线性问题的方法是使用激活函数，TensorFlow中常用的激活函数有：tf.nn.relu、tf.sigmoid、tf.tanh。　　使用激活函数的前向传播算法：a = tf.nn.relu(tf.matmul(x, w1) + biases1。　　反向传播算法　　反向传播算法是训练神经网络的核心算法。它可以根据定义好的损失函数优化神经网

2017-04-29 00:21:09 4191

原创 TensorFlow笔记之基础总结

本文主要对TensorFlow的基础知识做一下总结回顾计算图：计算模型计算图概念　　TensorFlow的所有计算都会被转化为计算图上的节点。 Tensor就是张量。可以简单理解为多维数组，表明了它的数据结构，Flow就是“流”，它直观地表达了张量之间通过计算相互转化的过程。　　TensorFlow是一个通过计算图的形式来表述计算的编程系统。TensorFlow的每一个计算都是计算图上的一个节

2017-04-27 00:02:54 1771

原创 numpy.transpose解析

transponse是numpy重塑数组的方法。首先，数组有一个特殊的T属性：arr = np.arange(15).reshape((3, 5))arr''array([[ 0, 1, 2, 3, 4], [ 5, 6, 7, 8, 9], [10, 11, 12, 13, 14]])''arr.T''array([[ 0, 5, 10

2017-04-26 14:12:12 4484 26

原创谈谈深度学习和机器学习

严格意义上讲，深度学习属于机器学习，所以这里的机器学习严格意义上说，应该叫传统意义的机器学习：基于概率统计的机器学习。　　在我读研的时候，已经判断机器学习会在后几年火热起来，但是，由于AlphaGo的“搅局”，这一时间点提前了，着实让我有些狼狈的追赶，但是好歹也算是找到了机器学习的工作，虽然其中有一些弯路，还算如愿吧。　　这一轮人工智能的热潮呢，如果不是深度学习，机器学习不会如此火热。青

2017-04-24 21:59:51 1528

原创 tf.argmax()以及axis解析

用tensorflow做CNN_TEXT文本分类时，看到这个API，然后去官网查了一下，再看了一下别的资料，算是明白它的处理方式了。首先，明确一点，tf.argmax可以认为就是np.argmax。　　简单的说，tf.argmax就是返回最大的那个数值所在的下标。这个很好理解，只是tf.argmax()的参数让人有些迷惑，比如，tf.argmax(array, 1)和tf.argmax(arr

2017-04-23 18:40:13 64112 41

原创 Scrapy全局变量

作为一名NLPer，爬虫技能越来越显得不可缺少，没有枪，没有语料，我们只好自己造。在我觉得需要掌握一个爬虫技能时，就去知乎看现在哪个爬虫工具风评比较好，在参考了众多回答后，选择了Scrapy。而在用Scrapy实现了几个爬虫项目后，我对这个爬虫工具非常满意，完全可以用爬虫界的神器来比喻！Scrapy简单易用，完全可以去Scrapy官网对教程撸一下。但我当时写爬虫的时候，对怎么实现不同页面间的传值

2017-04-23 17:49:31 5126 1

原创一个非知识库的中文分词算法实现

目前，公司正在做一个简历系统，简单的讲，就是方便HR MM们筛选简历。　　刚开始听到这个需求的时候，感觉挺简单，没啥东西。但是开会后，发现麻雀虽小，五脏俱全，自然语言处理需要的东西一个都少不了。　　其中有一个关键点，涉及到一个信息抽取和命名实体识别的问题。我算是发现了，这个命名实体识别，只要是个NLP项目，差不多就躲不过去了。这个值得花点功夫好好研究下，后面会写一个命名实体识别的算法总结报告，

2017-04-23 17:08:33 533

原创在Win10 Anaconda中安装Tensorflow

Anaconda,TensorFlow

2016-12-29 21:08:51 14017 3

萝卜虫的博客