libbyandhelen-CSDN博客

原创 gensim Word2vec实战

我在pmc上爬取了一部分以“diabetes”（糖尿病）为关键词的论文，作为语料用gensim中的模型word2vec进行训练数据预处理Word2vec模型的输入数据应该是一个列表的列表。大列表中的子列表代表一个句子，每个子列表中的元素代表句子中的一个单词。以下面这段话为例 I like eating apples. I also like eating bananas...

2018-02-22 05:08:28 2053 1

原创 Word2vec skip-gram模型

Skip-gram使用了一个机器学习的trick。我们训练一个简单的只有一个隐藏层的模型来完成某个任务，但我们的最终目的并不是完成这个任务，而是学习隐藏层中的参数。后面你会看到这些参数就是我们要找的word vectors我们先来说说用这个网络要完成的“假任务”，然后再说这如何间接的使我们得到想要的word vector基本模型训练数据与模型输出对于原文本中的每...

2018-02-17 07:43:57 502

原创搭建hadoop 3.0.0单机模式与伪分布模式

安装环境 ubuntu 16.04所需软件 java sdk Hadoop ssh rsync单机模式1. 安装javahttp://www.oracle.com/technetwork/java/javase/downloads/index.html新建目录`/usr/lib/java把下载的sdk文件移到其中mv /root/Downloads/jdk-file-

2018-02-13 06:17:29 776

原创 virtualbox 设置共享剪切板

1. 设置->高级->共享剪切板双向，拖拽双向 2. 虚拟机设置-存储-控制器SATA-勾选”使用主机输入输出(I/O)缓存” 3. 存储-控制器SATA-点击*.vdi-勾选”固态驱动器” 4. 启动虚拟机->左上角divices->insert additional … 5. 重启虚拟机

2018-02-12 14:49:20 5705 3

原创开启root用户，以root用户身份登录使用ubuntu系统

环境 ubuntu 16.041. 进入root用户权限模式sudo -s2. 修改 /etc/lightdm/lightdm.conf[SeatDefaults]greeter-session=unity-greeteruser-session=ubuntugreeter-show-manual-login=trueallow-guest=false...

2018-02-12 14:45:32 2132

原创搭建hadoop 1.2.1单机版本

安装环境 ubuntu 16.04所需软件 java sdk Hadoop ssh rsync1. 安装javahttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html把下载的sdk文件移到新建的/usr/lib/java...

2018-02-11 15:38:34 467

原创 django-crontab实现Django定时任务

Django-crantab安装pip install Django-crontab将django-crontab加入到settings.py的INSTALLED_APPSINSTALLED_APPS = ( 'django_crontab',)django-crontab定时运行函数CRONJOBS = [ ('*/5 * * * *', 'myapp.cron.my_sched

2018-02-09 14:50:08 1156

原创 Django Sqlite 数据库复位

python manage.py dbshelldelete from your_table; delete from sqlite_sequence where name='your_table';

2018-01-30 15:35:08 895

原创 Scrapy-django将爬好的数据直接存入django模型中

项目整体结构：├── django+scrapy│ ├── example_bot│ │ ├── __init__.py│ │ ├── items.py│ │ ├── pipelines.py│ │ ├── settings.py│ │ └── spiders│ │ ├── __init__.py│ │ └─

2018-01-06 07:32:43 5166

原创 haystack-Django实现检索功能

搜索引擎：haystack支持Solr,Elasticsearch,Whoosh, Xapian搜索引擎，这里使用的是elasticsearch，因为电脑上正好有说明：假设model的代码如下：class Note(models.Model): user = models.ForeignKey(User) pub_date = models.DateTimeField()

2018-01-06 05:25:32 1475 2

原创理解python中的装饰器

装饰器可以改变目标函数的行为，而不用更改目标函数本身，可以扩展原来函数的行为。1. 在说明什么是装饰器之前，先要理解python中的函数Python中的函数是一等公民： - 函数可以赋给变量 - 在函数中定义其他函数 - 函数可以作为参数传递 - 函数可以作为其他函数的返回值 - 内层函数可以获取闭包（closure）中的数据2. 装饰器的组成函数装饰器就是将函数包起来的包装纸def ge

2018-01-04 07:39:58 168

转载理解python中yield关键字

本文转自stackoverflow中一个问题的译文原文：http://pyzh.readthedocs.io/en/latest/the-python-yield-keyword-explained.html可迭代对象mylist 是一个可迭代的对象。当你使用一个列表生成式来建立一个列表的时候，就建立了一个可迭代的对象:>>> mylist = [x*x for x in range(3)]>

2018-01-03 05:51:26 52056 4

原创将python包上传到PyPI

2017-12-15 06:38:10 2798 1

使用CNN的动机CNN 多用于图像处理，选择CNN而非传统神经网络的一个原因是可以大大降低存贮和计算时间，因为输入的图像可能会很大。假设有一个1000乘1000像素的rgb图片，它的大小就是1000*1000*3，这意味着输入层有300万个维，如果用传统的神经网络，假设第一个隐藏层有1000个节点，那么第一个隐藏层就会需要上亿个参数。参数很多的话就很难找到足够多的训练样本来防止过拟合，而且空间和计算

2017-12-08 09:11:34 1000

原创 Docker 入门

Docker 入门什么是docker简单的说它可以帮助用户将应用和所有的依赖打包成一个标准单元，但又不像虚拟机有很大的overhead，所以更加的高效什么是container虚拟机提供了很好的分离机制，host OS中的程序与guest OS中的程序不易相互影响。但硬件虚拟化的代价是很大的但container不同，它就用host OS的硬件，并且提供了较好的分离机制相关术语Image：就像一个

2017-12-07 05:54:20 238

libbyandhelen的博客