- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 URLLIB3 基本用法
基本用法Request您需要一个PoolManager实例来发出请求。 此对象处理连接池和线程安全的所有详细信息： 1. 创建一个poolManager 2. 使用poolManager的request()发送数据包 它的返回是是一个HTTPResponse对象，可以使用这个request发送各种格式的HTTP请求 PoolManager —- 允许任意请求，同时透明地跟踪您所...
2018-09-13 16:02:48
2082
原创 数据分析实例 USDA 数据
观察，检验基本的数据。并将USDA的数据整合到一张大表中，方便后面的切块，聚合，图形化等工作1. 观察并检验数据, 数据集一般都很多大，我们要先观察和检验一小部分数据，总结规律db[0].keys() // 查看输入的json的所有keysdb[0]['nutrients'][0] // 查看第一条数据的nutrients字段的第一个值pd.DataFrame(db[0][...
2018-09-11 15:29:48
881
原创 React 基础知识
React使用了响应式渲染，将状态从展现给用户的UI中分离出来。它超越了数据绑定，克服了其缺陷并且在使用上更加容易。它用一种声明的方式来定义组件的外观和行为，当数据发生变化时，React会在概念上重新渲染整个用户界面。（这里就引入了虚拟DOM的概念）在一个React应用中，一切都由组件组成。组件就是应用 程序中的自包含的，关注特定用途的基础构件。比使用模板有巨大的好处。一个React组件就...
2018-08-28 09:05:28
223
原创 Linux 上安装 python
Step to install python on Linux system下载python源码包并解压缩$ wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xztar xf Python-3.*进入到文件夹 build源码cd Python-3.*#Prepare compilati...
2018-08-01 23:48:39
177
原创 词向量 - 实际动手使用word2vec
在自然语言处理的任务中，无论哪种算法都需要将文本形态的词转换成为向量形式的词向量（word embedding）。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等算法提供良好的数据样本，本文将详细介绍如何使用word2vec构建中文词向量这里所需要用到的包，这些包需要首先使用pip或者conda安装jiabagensimsklearn...
2018-07-31 15:41:21
2365
1
原创 统计词频并可视化
最近参加一个NLP的竞赛，赛方提供了10万条数据。由于是脱敏数据，所以作NLP之前需要先作word2vec，这时就需要将标点符号和无意义的词（比如“的”）去掉，我们采用的方法就是去掉高频词，所以首先要找到高频词。 如何找到高频词呢， 这里当然可以使用dict了，但是有没有更高级一点的方法呢。当然有了，我们可以使用collections的Counter，并且使用Pandas来替代读取数据的解析...
2018-07-21 22:49:45
3417
1
原创 MxBorad的简单使用
最近在使用MxNet，但是MxNet原生并没有提供一个类似于TensorBoard的可视化工具，所以之前一直matplotlib来画学习图。最近看到了MxNet出了一个MxBorad的工具，可以让MxNet可视化，真神器。下面介绍一个如何使用安装安装很简单分两步 * 第一步需要首先安装mxboard pip install mxboard * 第二步需要安装 pip install...
2018-06-30 20:38:50
631
原创 Numpy 使用技巧
numpy的基本属性，基于矩阵的运算最简答的初始化：array=np.array([[1,2,3], [2,3,4]])array.ndim, 返回是一维数组还是二维数组array.shape 返回shape，是一个元组，第一个是行，第二个是列array.size 返回元素的数目创建arraynp.array([], dtype=np.int) 直接使用lis...
2018-06-29 14:46:28
242
原创 Pandas 使用技巧（二）
处理丢失数据由np.nan 填充丢失的数据df.dropna(axis=0, how='any')axis 根据行或者列丢弃，0 是行，1是列how，指定丢弃行为any，只要有一个nan就丢弃，，默认all，所有的都为nan才丢弃df.fillna(value=0), 为nan填上数据value, 指定需要填入的数据其他相关方法df.isnu...
2018-06-25 15:52:38
198
原创 npm安装程序提示npm ERR! code ECONNREFUSED
最近在整Recat，需要使用npm来安装必要的依赖包，但是运行npm的时候发现总是出现这个错误npm ERR! code ECONNREFUSED npm ERR! errno ECONNREFUSED npm ERR! FetchError: request to [https://registry.npm.taobao.org/typescript](https://regist...
2018-06-23 23:28:05
124788
原创 如何在Django admin中编辑ManyToManyField
如何定义多对多关系Django 本身自带了一个很强大的ORM，支持自定义model并将其映射到数据库的表中 model中可以定义各种类型的数据，比较直观的比如整形， 字符型，也可以定义外键 ForeignKey来指定一对多关系。 关系数据库中有一种多对多的关系，在Django的ORM中也支持它，使用ManyToManyField.下面使用EmailGroup和Email来展示如何使用...
2018-06-20 18:55:44
3699
原创 使用urllib爬取压缩过的网页
最近在使用urllib爬取网页的时候发现一个非常奇怪的问题，就是使用浏览器或者postman都可以正常访问的一个网页，但是使用urllib的话获取到的网页信息都是乱码，无论使用utf-8解码还是使用GBK解码都不行。 原始代码：cookies = http.cookiejar.LWPCookieJar()handlers = [urllib.request.HTTPHandler...
2018-06-19 16:29:30
428
原创 use os.walk to get all file under a path
直接上代码，如何看如何使用os.walkbase_path = "/nihao/records.inc/2018/"for parent, dir_names, file_names in os.walk(base_path): for file_name in file_names: file_path = os.path.join(parent, file_n...
2018-06-17 22:23:57
136
原创 ipfile 和gzip的区别，巧用gzip读取文本文件
最近需要处理linux下的gz问题，发现有两个各相似的包好像都可以处理gz，但是使用上又有一些区别 zipfile可以处理zip压缩包，将多个文件压缩到一个压缩包中，或者从压缩包中读取其中的各个文件使用的时候需要先创建zipfile对象，然后使用zip对象的open方法打开文件并进行读写使用open方法的时候需要传入file_path, 这个path可以使用file_obj.n...
2018-06-17 22:23:03
920
原创 Pandas 使用技巧（一）
Pandas 的列表pd.Series([1,2,3,4])它会为每一个数据设置一个序号 dtype，列表中数据的格式DataFrame：Pandas 的矩阵， 在Pandas中叫做DataFrame, 它是一个大的矩阵类似于二维的numpy， 数据为numpy的数据，但是为每行指定索引和每一列指定索引，结构类似于通常意义的表。dates = pd.date_ra...
2018-06-17 22:22:17
371
原创 使用logspout向Logstash发送log
logspout 收集docker宿主机上所有运行的容器的log，并将其路由到log收集系统 使用场景：在Docker宿主机上运行logspout容器，然后将log路由到ELK的Logstash，Logstash在整理log并将其发送给ES使用的命令：docker run -d --name=logspout --env DEBUG=1 --publish=127.0.0.1:80...
2018-04-02 14:18:34
1585
原创 Django 自定义管理台
第一步：在admin中注册在这一步里，对于那些想在admin界面进行管理的model需要在admin.py中进行注册，如果需要自定义的admin管理后台的话就要同时注册model和model_adminclass WorkSet(models.Model): name = models.CharField('work set name', max_length=255)c...
2018-04-02 14:17:01
222
原创 我对Kubernetes Service的认识
官方定义：A Kubernetes Service is an abstraction which defines a logical set of Pods and a policy by which to access them - sometimes called a micro-service我的理解：Service提供了基于pod的抽象，是一个大型集群系统中出现错误的自发...
2018-02-23 10:31:31
200
原创 从Kubernetes集群外部通过公网IP来访问一个应用程序
每个Pod都有一个私有的网络IP，要想从Kubernetes集群外部通过公网IP来访问一个应用程序，有三种方式第一种方式，在pod定义的时候指定HostPort， 这样可以通过 宿主机IP + host port来访问 缺点是，这种方式是通过pod所在的宿主机的IP调用，如果pod 改变了宿主机这种方式就没法使用了。不推荐使用HOSTPort第二种方式，pod定义的的时候不指定HostPo...
2018-02-08 14:03:43
3829
原创 使用kubeadm启动kubenetes集群
预制条件： CentOS7，2GB RAM，2 CPU，Unique Host name and MAC address and proeuct_uuit， swap disabled 需要能直接访问外网，或者通过proxy访问外网（通过proxy需要treak来处理相应的proxy） 参考网站： https://kubernetes.io/docs/setup/independent/in
2018-01-14 11:40:57
7083
原创 使用Minikube来在本地运行Kubernetes
只支持单节点的Kubernetes集群，并且需要运行虚拟机，所以只能运行在裸机上或者VMware虚拟机上。See the link on https://kubernetes.io/docs/getting-started-guides/minikube/Minikube is a tool that makes it easy to run Kubernetes locallyMin
2018-01-14 11:30:13
1801
原创 本地部署Bootstrap文档
学习Boostrap的时候，通常需要有一个帮助文档在手，以便随时查阅有一个在线的帮助，但是如果遇到网络不给力的情况，或者不能上网的情况下，就需要一个能运行在本地的帮助文档。在Bootstrap的源代码release包中就有一个可以运行在本地的文档系统，但是它是基于jekyll的网站。下面介绍一个如何启动这个host，（在CentOS 系统中）1. 下载Bootstrap源代
2017-06-29 15:19:03
731
原创 Python Robot Framework使用小结
最近项目需要研究了一下 Python Robot Framework，跳了一些坑。现在总结一下，以方便呢是加强记忆，另一方面呢是希望看到这个blog的同学能避免再次跳坑。
2017-04-18 10:54:21
7245
1
原创 如何使用Ztree ---- 一个使用ztree的简单例子
ZTree是一个开源的基于JQuery的库类，可以在网页上方便的显示树状结构。并且它也提供了了很多方法方便对树进行操作并响应操作的时间。并且它支持标准json的数据格式，方便后端编写代码方法的生成动态的树状结构。下面介绍一下具体如何使用ztree进行开发：在后端编写代码生成树所需要的Json数据，从而在前端展示ztree
2017-04-17 09:32:47
607
原创 Linux 下配置Git 服务器-使用SSH连接
最新需要和朋友作一个自己的私有项目。不想用github公开代码，所以就想到了自己加上git 服务器。网上查了一些资料，各个博主的资料还是很全的，但是自己架设的时候还是遇到了一些困难，我吧我是如何配置的方法写下来本人使用的是Ubuntu 14 的系统有密码1 安装OpenSSH过命令 sudo apt-get install openssh-server,安装SSH服
2016-09-09 13:50:43
3055
原创 SQL 使一个字段自加1
有一个表名为Example，它的其中的一个字段名为VersionStamp，其值为int类型。现在相应使其每一行都子自加1。表如下： id VersionStamp*** 12 . . . . . .*** 33改完以后变成 id VersionS
2016-03-29 15:34:45
5049
原创 IntelliTest初探
简单来说IntelliTest是VS2015在其企业版中加入的一个新功能，这项新功能能够自动为代码创建UT case并运行，能极大的方便创建我们进行UT测试并且提高测试覆盖率。IntelliTest是在IL 层面上（Microsoft Intermediate Language是将.NET代码转化为机器语言的一个中间语言的缩写），对代码的各种分支进行分析后，自动生成测试代码和边界值测试。
2016-03-04 11:32:04
4817
1
原创 如何让Window批处理文件可以支持带有空格的路径
平常工作中总是要运行一些SQL脚本，但是每次打开SQL Server Management Studio很麻烦，每次输SLQCMD命令也很麻烦，这种情况下如果能用一个批处理文件来自动执行就很方便了，见下面的例子新建一个.bat文件然后输入下面的code@echo offSQLCMD -S %computername%\MyTest -i %~dp0\CleanDB.sql -d mas
2016-03-02 18:11:05
6605
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人