王浩的专栏

原创 Python2 confluent_kafka安装

pip installconfluent_kafka==0.11.5版本不要太高，因为直接pip install的是最新的版本，是只支持Python3如果出现.so文件确实就把so放到动态链接库，或者直接放到执行的路径下。

原创 多个Python如何分别使用各自的pip安装库

1. curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py2. 使用目标Python来运行这个get-pip.py,则会将这个pip安装到对应的版本上查看一下对应的Python里面是否多了pip使用这个pip来进行install

原创 编译版ArangoDB的使用

最近折腾了一下arangoDB，由于自己是使用的编译版本，跟普通的有一些区别，查询起来非常麻烦，就记录一下。 下载安装不再陈述，直接下载二进制明显要方便的多一些。ArangoDB start启动有几种方式，我尝试使用了./etc/init.d/arangodb3 这个脚本。但是脚本的路径好像需要改一下。而且改完了以后也是有错误就先不用这种方法了使用usr/sbin/arangod这个直接启动。

原创 hadoop HDFS检测文件是否存在hadoop fs -test

使用Hadoop fs -test -e XXX然后再判断$?。如果为0则存在

原创 Fails to build with protobuf 2.6.0

t/test-full.proto: "foo.VALUE_B" uses the same enum value as "foo.VALUE_A". If this is intended, set 'option allow_alias = true;' to the enum definition.t/test-full.proto: "foo.VALUE_C" uses the same

原创 Graphx入门之简单pagerank

需求：有两份数据集，一份是边，一份是点。求点的PageRank 格式： 边：sourceID destID 点：name sourceIDspark-shellspark shell属于最简单入门的local版本。建图有很多的方式，如将边的集合转换为图，或者是直接将数据导出为图。我们使用最简单的导出为图 - 代码如下import org.apache.spark.graphx._#用绝对路径

原创 TypeError: 'module' object is not callable

无论如何创建虚拟环境都会报错TypeError: 'module' object is not callablevirtualenv testNew python executable in /home/work/share/myenv/feed/train/test/bin/pythonInstalling setuptools, pip, wheel...Complete

原创 修改post参数然后发送

修改POST参数的方法最近看DVWA里SQL注入，在medium阶段有一个需求就是，修改post的参数，然后再发送出去。篡改参数是注入里的一个比较重要的方法。讲一下有哪些方法可以做到。浏览器插件修改参数最初想到的就是浏览器插件，既然浏览器基本的功能可以显示包的内容，包括头部和参数，那应该会有插件可以修改参数吧。在chrome查找了很多，tamper chrome只能修改header，无法修改po

原创 hive transform shell脚本运行

hive transform shell脚本运行hive transform是将脚本嵌入到hive的sql搜索当中。由于在hive中，sql相当于mapreduce,因此相当于在mapreduce的过程中再加入一个处理。实例分析需求：在hive中搜索数据，搜索过程中看是否数据在某个集合中。描述：在hive的sql搜索过程中，对搜索成功的每一条数据，输入到脚本中，然后再输出。过程： 将需要的文

原创 not all arguments converted during string formatting

问题分析insert into links(a,b,c,d) values(%s,%s,%s,1) on duplicate key update c=c+1,d=%s 出现这个问题主要是参数没有很好的匹配，不是所有的%s都可以直接匹配的,后面这个%s就不能匹配解决办法insert into links(a,b,c,d) values(%s,%s,%s,1) on duplicate key u

原创 insert<type 'exceptions.Exception'>:(1406, "Data too long for column '' at row

SET @@global.sql_mode= 'NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';参考

原创 如何在mapreduce上使用第三方的Python库

如何在mapreduce上使用第三方的Python库streaming简单介绍streaming就是将一些非java例如Python的文件放到mapreduce上执行，虽然效率可能不如原生的Java好，但是可以放心的写python脚本处理文件，而mapreduce只是一个辅助的工具,具体的使用可以参照官方文档$HADOOP_HOME/bin/hadoop streaming -D mapred.j

原创 pyinstaller 遇到no module named ""

这几天需要把自己写的python文件打包成exe，碰到了很多的问题。我用的包可能有这么几个spicy,sklearn,bumpy,pyexcel_xlsx,xlrd pyinstaller的命令如下pyinstaller.py -F -p XX -p XX -p XX myscrip.py遇到了no module named typedefs这个问题解决的时候需要在刚才的命令后

原创 Python字符串处理出现错误：UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe6 in position 0: ordinal not

Python字符串处理出现错误：UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe6 in position 0: ordinal not in range(128) import sysdefault_encoding = 'utf-8'if sys.getdefaultencoding() != default_encoding:

原创 互联网公司笔试错题集锦

Linux：ctrl z 就是挂起一个进程，暂停的意思fg是将进程放到前台并唤醒 bg是将进程放到后台并唤醒ctrl+h,在shell就是向左删除的作用WatchVC支持查看变量、表达式和内存的值。所有这些观察都必须是在断点中断的情况下进行。 观看变量的值最简单，当断点到达时，把光标移动到这个变量上，停留一会就可以看到变量的值。 VC提供一种被成为Watch的机制来观看变量和表达式

原创 hmmlearn安装笔记(cannot open input file 'npymath.lib')

hmmlearn的安装安装Hmmlearn挺麻烦的，之前有几台电脑，有的可以有的不可以。官方的要求是： - Python >= 2.6 - NumPy (tested to work with >=1.9.3) - SciPy (tested to work with >=0.16.0) - scikit-learn >= 0.16出问题了，可以看一下是不是不符合要求，其实不符合的话有的版本

原创 pycharm 添加python path

pycharm 添加python path文件不在要添加的目录底下有时候需要添加一个包，但是那个包就是一个很随意的路径，并不在python27文件夹底下，如何做呢？ - 如果这个包是正规的包，有init.py这个文件，那就容易了。如果是自己写的一个包，这个文件要加上，可以为空 - 在pycharm中点击File->settings->project XXX->Project Interprete

翻译 pyAudio介绍

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

翻译 tesseract的一个c++版本demo

Tesseract ExampleBuildingBefore building take a look at cppan.yml file. Create a local copy of it in your project structure.务必按照cppan。其实就是下载下来放到环境变量里面。WindowsPrerequisites:Download g

原创 ios微信清理（已越狱）

16G的微信捉襟见肘，于是想彻底清理一下微信，微信大约750M。感觉有很多的空间可以释放。网上找了几个教程，清除缓存等。点击打开链接但是对于自己不是很贴合实际。因为那几个文件夹清理完了也不管用。打开itools,找到应用，然后文件共享就能跳到微信的app目录底下，发现/private/var/mobile/Containers/Data/Application/659D97F0-CEF

原创 C printf()详解---printf("%08x",number)

上题目:#includeusing namespace std;int main(){ unsigned int a = 0xFFFF12F7; unsigned char i = (unsigned char)a; char* b = (char*)&a; printf("%x\n", *b); printf("%08x, %x\n

原创 一个printf引发的问题

牛客网上的一个题目：intmain(){  inta;floatb,c;  scanf("%2d%3f%4f",&a,&b,&c);  printf("\na=%d,b=%d,c=%f\n",a,b,c);}看起来挺简单的，牵扯的东西比较多。这是我的思路：printf函数执行的时候，会先把这三个数字压入栈里

原创 线性回归与logistic回归的思路

原创 mysql_real_query()段错误(Segmentation fault)

最近服务器出问题，老是挂掉，linux系统上的一个socket服务器，mysql的数据库。下面是gdb的结果the resultlen is52.........2016 7 5 15 31 48..........the command number is : 0 a9e961c2688b3eabread database the select * from comsocket where

原创 python实现文本文件转二进制文件（二进制序列化）

python 将文本文件转换成二进制文件 C++进行读取

原创 机器学习实战源码KNN

按照《机器学习实战》这书的内容来，稍微总结一下。数据格式：数据中的格式应该是 特征1 特征2特征3 ...类别，中间是tab键分割1.读文件。将文件中的数据，特征读到numpy  array数组之中，类似于矩阵。特征读到list当中。先读，然后每一行进行处理，处理包括用\t进行分割，然后加到特征数组特征加到特征的list当中。#读文件，将文件读到array里。返回一个属

原创 error MS8020 Build tools v140 cannot be found解决办法

这个问题是和tbb_debug.dll not found一起出现的。build tool是vs的工具集，15版本对应着v140,13版本对应v120.如果用13版本的打开15版本的程序就有可能出现这种情况。说一下我的情况吧，我属于最复杂的一种。首先，引用了三个第三方库boost，opencv,tbb.并且，他们的库里只有v140平台的Lib.！！如果不是这个原因，其实就很简单，直接右击你

原创 python的图形界面库wxpython的快速简单使用

以wxpython库为基础的python图形界面的设计与实现

原创 半朴素贝叶斯分类器（周志华《机器学习》）

基于周志华《机器学习》，通俗讲解半朴素贝叶斯分类器

原创 error: Setup script exited with error: Unable to find vcvarsall.bat解决办法

简单来说1.把python 版本换到2.7.8以上。2.安装 Microsoft Visual C++ 9.0 下载链接

原创 pyinstaller打包python成exe

如何用pyinstaller打包python文件成exe文件

原创 error: file '/boot/grub/i386-pc/normal.mod' not found解决方案

真实讲述怎么一步步解决error: file '/boot/grub/i386-pc/normal.mod' not found问题的

转载 机器学习中方差与偏差的理解

机器学习中的偏差与方差

原创 我是如何给实验室的服务器上网的

一步步将实验室的电脑只有命令行的电脑连上网

原创 机器学习之岭回归

机器学习中的岭回归

原创 dell服务器poweredge T620装ubuntu很卡显卡驱动有问题（matrox g200er2显卡）

ubuntu在服务器poweredge中很卡，怀疑是驱动问题。

转载 python 将字符串转化成16进制进行UDP的发送

字符串和16进制转换来进行UDP的发包。

原创 python中numpy库matrix和array的融合使用

matrix使用的时候，需要转化一下才能和一些普通的进行运算

原创 python第三方库numpy,scipy在windows平台上的安装

安装的时候最好直接用.exe的，用pip install numpy容易出错 error: Unable to find vcvarsall.bathttp://sourceforge.net/projects/numpy/files/NumPyhttp://sourceforge.net/projects/scipy/files/Scipy下载和你Python版本相应对的ex

转载 pip的安装

转载自  http://www.cnblogs.com/yuanzm/p/4089856.html第一步，我们先来安装Python，博主选择的版本是最新的3.4.2版本。windows下面的Python安装一般是通过软件安装包安装而不是命令行，所以我们首先要在Python的官方主页上面下载最新的Python安装包。下载地址是：https://www.python.org/downloa