- 博客(22)
- 收藏
- 关注
RSS订阅转载 Spark与Pandas中DataFrame的详细对比
PandasSpark工作方式单机single machine tool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop，能处理大量数据延迟机制not lazy-evaluatedlazy...
2018-03-14 17:10:18
587
转载 NLP简介
自然语言处理简介自然语言处理，顾名思义，就是使用计算机对语言文字进行处理的相关技术以及应用。 Natural language processing (NLP) is a field of computer science, artificial intelligence and computational linguistics concerned with the interactions
2018-02-09 17:26:35
416
1
转载 pycharm永久激活
pycharm是很强大的开发工具，但是每次注册着实让人头疼。网络上很多注册码、注册服务器等等、但都只是一年或者不能用；为次有如下解决方案。亲测有效！！！如果想让pycharm永久被激活，比如截止日到2099-01-01;这应该算是永久激活了吧；哈哈哈step1:下载jar包： 此jar包的目的就是让截获截止时间并骗过pycharm;密码: 53k4点击下载 step2:下载完毕后， 将其放入pyc
2018-02-05 09:38:05
3188
1
转载 中文分词工具
THULAC四款python中中文分词的尝试。尝试的有：jieba、SnowNLP（MIT）、pynlpir（大数据搜索挖掘实验室（北京市海量语言信息处理与云计算应用工程技术研究中心））、thulac（清华大学自然语言处理与社会人文计算实验室） 四款都有分词功能，本博客只介绍作者比较感兴趣、每个模块的内容。jieba在这不做介绍，可见博客： python+gensim︱jieba分词、词袋doc
2018-02-02 12:01:35
1488
转载 Tmux使用
文本三巨头：zsh、tmux 和 vim 参考:Linux终端杀手、程序员利器-Tmux github .tmux 配置 快捷键总结比较详细 tmux 命令 配置步骤很详细 k-vim 作者的 原理 你可以随时退出或者进入任何一个Session。每个Session有若干个Window，每个Window又可以分成多个窗格（Pane） Session可以完全恢
2018-01-19 17:49:32
466
原创 ubuntu新建用户并赋权限
1、新建用户user1sudo useradd -r -m -s /bin/bash user12、设置user1的密码sudo passwd user13、给user1管理员权限sudo vi /etc/sudoersroot ALL=(ALL:ALL) ALLuser1 ALL=(ALL:ALL) ALL
2017-11-30 17:09:39
4172
转载 深度学习目标检测算法资料集合
https://handong1587.github.io/deep_learning/2015/10/09/nlp.htmlJump to...LeaderboardPapersR-CNNMultiBoxSPP-NetDeepID-NetNoCFast R-CNNDeepBoxMR-CNNFaster R-CNNYOLOAttentionNetDenseB
2017-10-24 16:08:50
1433
转载 Faster RCNN改进思路
一. 源起于Faster 深度学习于目标检测的里程碑成果，来自于这篇论文： Ren, Shaoqing, et al. “Faster R-CNN: Towards real-time object detection with region proposal networks.” Advances in Neural Information Processing
2017-10-16 08:54:32
17481
转载 ubuntu下解压缩文件
ubuntu解压命令全览.tar解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName注：tar是打包，不是压缩！~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.~.gz解压1：gunzip FileName.gz
2017-10-12 09:51:43
382
转载 R-FCN训练自己的模型
说明：本文假设你已经做好数据集，格式和VOC2007一致，并且Linux系统已经配置好caffe所需环境（博客里教程很多），下面是训练的一些修改。py-R-FCN源码下载地址：https://github.com/Orpine/py-R-FCN也有Matlab版本：https://github.com/daijifeng001/R-FCN本文用到的是pyth
2017-10-11 11:02:18
993
原创 windows下安装cv2模块
下载opencv的whl文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#opencv安装：pip install xxx.whl可能需要更新numpy：pip install --upgrade numpy
2017-09-12 16:46:55
3565
转载 python模块以及导入出现ImportError: No module named 'xxx'问题
python中，每个py文件被称之为模块，每个具有__init__.py文件的目录被称为包。只要模块或者包所在的目录在sys.path中，就可以使用import 模块或import 包来使用如果你要使用的模块（py文件）和当前模块在同一目录，只要import相应的文件名就好，比如在a.py中使用b.py： import b 但是如果要import一个不同目录的文件(例如b.
2017-09-12 16:10:14
3627
转载 linux解压缩文件
.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz 压缩：gzip FileName .tar.gz 解压：tar zxvf FileName.tar.gz 压缩：tar zcvf FileName.tar.gz DirName --------------------------------------------
2017-08-27 10:34:16
323
转载 python合并数据框
在默认的 axis=0 情况下，pd.concat([obj1,obj2]) 函数的效果与 obj1.append(obj2) 是相同的；而在 axis=1 的情况下，pd.concat([df1,df2],axis=1) 的效果与 pd.merge(df1,df2,left_index=True,right_index=True,how='outer') 是相同的。
2017-08-16 17:32:58
2279
2
转载 Python合并DataFrame
concat 与其说是连接，更准确的说是拼接。就是把两个表直接合在一起。于是有一个突出的问题，是横向拼接还是纵向拼接，所以concat 函数的关键参数是axis 。函数的具体参数是：concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verigy
2017-08-16 17:22:04
539
转载 CSDN转载博客
前言 对于喜欢逛CSDN的人来说，看别人的博客确实能够对自己有不小的提高，有时候看到特别好的博客想转载下载，但是不能一个字一个字的敲了，这时候我们就想快速转载别人的博客，把别人的博客移到自己的空间里面，当然有人会说我们可以收藏博客啊，就不需要转载，(⊙o⊙)… 也对。。实现 因为我自己当初想转载的时候却不知道该怎么转载，所以学会了之后就把方法写出来，帮助那些想转载却不知道该怎么转载
2017-08-16 17:19:15
347
转载 随机森林
1. 随机森林使用背景1.1 随机森林定义随机森林是一种比较新的机器学习模型。经典的机器学习模型是神经网络，有半个多世纪的历史了。神经网络预测精确，但是计算量很大。上世纪八十年代Breiman等人发明分类树的算法（Breiman et al. 1984），通过反复二分数据进行分类或回归，计算量大大降低。2001年Breiman把分类树组合成随机森林（Breiman 2001a），即在变量（列）的使用
2017-08-16 09:28:18
632
原创 利用python做简单的图像处理
1、裁剪from PIL import Imageim = Image.open('1.jpg')#图片im.show()box = (10,20,30,40)#(x1,y1,x2,y2)crop_img = im.crop(box)crop_img.save('C:\Users\Administrator\Desktop\1_crop.jpg')2、画框impor
2017-06-15 10:06:49
992
原创 xgboost进行GPU加速
官方链接https://github.com/dmlc/xgboost/tree/master/plugin/updater_gpu第一步：下载CUB https://nvlabs.github.io/cub/ 第二步：安装新版本cmake查看cmake版本：$ cmake --version卸载旧版本：$ sudo apt-get autoremove c
2017-05-27 21:55:57
7104
原创 用pscp实现服务器与本地的文件传输
第一步：下载pscp.exe,并将其放在C:\Users\Administrator目录下；第二步：在cmd到pscp.exe所在目录下；第三步： 上传文件：pscp [本地文件路径] [服务器用户名]@[服务器ip]:[上传路径] 下载文件：pscp [服务器用户名]@[服务器ip]:[上传文件路径] [本地存放路径]
2017-05-23 09:05:56
1140
原创 windows系统下的keras（Theano/Tensorflow后端）CPU以及GPU加速环境搭建
写在前面：博主电脑的操作系统是WIN7 64位操作系统，之前安装了Keras/Theano后端并配置了GPU加速。16年12月谷歌发布Tensorflow1.0，支持windows操作系统，于是想再配置下Keras/Tensorflow环境。Tensorflow在windows系统下对python版本有一定的要求Python3.5以上，博主之前安装Theano的时候用的是Python2.7，于是就
2017-02-28 17:05:55
4695
原创 收集的一些小命令~~~
1、更新python库：pip list outdatedpip install --upgrade XXX2、更新keras到最最新版：conda install gitpip install git+git://github.com/fchollet/keras.git --upgrade
2017-02-28 16:54:19
319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人