- 博客(37)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Linux下grep命令查找带有tab（退格）的字符（转载）
转自：http://www.linuxidc.com/Linux/2011-11/47000.htm 需要在日志文件统计删除的主帖，而日志文件是tab（退格）字符隔开的；假设日志文件名叫delete.log。保存格式和保存的数据如下，删除日期 帖子类型（11为主帖，12为回帖） 帖子id 操作人id2011-11-01 00:05 12 71
2017-02-24 15:16:18
5240
原创 等概率抽样
1、按比例抽样比如按照比例P=0.7抽样： 生成0，1间的随机浮点数，通过与P比较判断抽样，random>P,抽出样本，否则，不抽 如果P值是一个复杂的小数，比如P=0.932930100011123213，编程语言支持小数精度无法进行准确比较时，可以采用概率模拟。 随机0-100000000000000000的整数，与932930100011123213进行比较。2、按数量等概率抽样（1）已
2017-02-23 20:00:36
6277
原创 clion安装配置
pycharm用顺手之后，比较喜欢jetbrains家的IDE，索性就把编译器都换成了他家的，Java、Python和go的都很简单，C++的IDEClion配置麻烦些，所以记录一下，以备后用。1、安装配置cygwin参考http://blog.sina.com.cn/s/blog_143cf62360102wrgd.html 简单描述下，具体看参考的链接。 （1）官网https://cygwi
2017-02-08 00:16:45
58106
8
原创 Python列表乘法小记
说明一下Python中列表乘法生成列表与直接写出列表的不同。首先说一下需要列表乘法生成列表的情况：比如，我们初始化一个0列表，我们可以[0]*10，生成一个长度为10的全0列表，这样做没问题再比如，我们嵌套列表初始化一个矩阵，类似[[],[],[]]，我们可以用[[]]*3，但是这里就有问题了。[0]*10与[[]]*3不同之处在于0是不可变对象，[]是可变对象，列表乘法所生成的大列表
2016-10-27 13:42:27
14253
3
原创 极大似然估计
极大似然估计的思想就是：在一次观测中出现的事件理论上具有较高的发生频率。也就是说，进行一次（仅一次观测）时，较高概率发生的事件更可能出现，这与我们的认知是一致的。 比如有一事件A，发生的概率可能是0.6 0.2 0.1，我们进行一次观测，A就发生了，我们更有理由觉得A发生的概率是0.6。 极大似然估计也是如此。 对于离散型独立同分布X∼{X=x}=p(x;θ)X\sim \{X=x\}=p(x
2016-07-22 17:45:06
624
原创 集成学习——Bootstrap Bagging AdaBoost算法
集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。 简单地说，就是通过抽样等方式从原始数据集构造m个训练集，再选择一个弱分类器（比如决策树）对这些训练集进行训练得到m个分类器，在待分类数据进行分类时，同时使用这m个分类器去判断，使用多数表决或者权重联合的方式综合这m个分类器给出的分类结果，得到最终结果。 就好比是：原始数
2016-07-22 15:27:35
3084
1
原创 Python内置工具（tools）总结
Python提供了以下几个内置tools模块，简化开发operator collections itertools functools除此之外，还有一些其他工具，比如mimetools、unittest等，上述四个tools作用于内建类型和函数、类等，比较通用，也较为常用。 -operator ： 内置的操作符模块 -collections ： 简化容器类型的一些操作和使用 -itertool
2016-07-20 17:31:56
12459
原创 决策树算法
本文主要介绍ID3、C4.5和CART算法 决策树起源于概念学习系统（CLS） 概念学习模型： 是一个事先定义的范畴集合和一些有关例子是否落入给定范畴的判定 概念学习的主要任务： 是判断所给定事物的属性或特性, 并且正确地区分这些事物, 将其划分到某一个范畴 对于如下决策树模型： 我们首先考虑他的属性outlook，有三个分裂属性sunny、overcast、rain，如果overca
2016-07-19 17:35:21
1435
原创 python机器学习环境部署笔记
开这篇博客主要为了记录在机器学习环境部署的时候遇到的一些小问题，积少成多，也欢迎博友一起探讨补充。问题一：scipy和tensorflow冲突部署环境：CentOS7 python2.7 scipy 0.12.0 tensorflow0.8.0问题描述：在上述环境中部署tensorflow0.8.0的时候，安装没有问题，import tensorflow时报错：Segmentati
2016-07-07 16:56:33
3845
原创 CentOS6.5编译python2.7.x PyPy 和numpy（PyPy）
Python2.7.X的编译请参考：http://blog.csdn.net/jcjc918/article/details/11022345PyPy安装：下载PyPyhttps://bitbucket.org/squeaky/portable-pypy/downloads/我下载的是：pypy-5.1.1-linux64.tar.bz2解压 tar -jxvf pyp
2016-06-20 22:08:03
2698
1
原创 Tensorflow和sklearn/scipy 安装冲突问题及解决 ——CentOS
问题描述：在安装了sklearn/scipy的前提下安装Tensorflow，import tensorflow时会引发linux的Segmentation fault (core dumped)原因分析：卸载了scipy后tensorflowflow就能用了，说明是scipy跟tensorflow的冲突，但是卸载了scipy sklearn就不能用了解决办法：安装scipy 0.12.1
2016-06-13 13:12:16
7498
原创 Python多版本管理——pyenv CentOS7
1、安装依赖：yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel2、git安装，需提前安装gitcd /root #切换到/rootgit cl
2016-06-07 16:04:37
4156
1
原创 CentOS7 安装使用pypy5
1 安装系统环境及及pypy rpm -ivh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-6.noarch.rpm rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7yum -y install nginx mysql-libs mysql-devel python-s
2016-06-07 11:37:13
3462
2
原创 服务器U盘安装安装centos
因为安装效果跟工具和版本都有关系，我这里用到的都会写清楚 1、用ultraiso 版本：9.6.5.3237 制作U盘启动盘 镜像 CentOS-7-x86_64-DVD-1511.iso 这里我先说一下思路：我们要从优盘安装系统的话，是需要先通过一条指令指定一个包含安装包设备（即我们的优盘），然后接下来install，这条指令是： vmlinuz initrd=initrd.img i
2016-06-03 18:03:57
16082
1
转载 linux TOP命令各参数详解【转载】
实时监控或查看系统资源使用情况的工具——TOPtop命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于Windows的任务管理器. 下面详细介绍它的使用方法: （实时监控系统资源使用情况图）统计信息区前五行是系统整体的统计信息： 第一行是任务队列信息,同 uptime 命令的执行结果.其内容如下：01:06:48 当前时间
2016-05-26 13:47:02
516
原创 自定义线程类
这是项目中遇到的一个小需求，简单记一下。 python中的线程类模块Thread为伪多线程类，无法提高计算密集型任务的效率（加上PIL的调度时间，甚至会降低效率），而对于IO密集的任务，由于缩短了IO等待时间，的确能够提高效率，所以对于爬虫，可以使用Thread（/Threading）模块。而对于计算密集型的任务，我们可以考虑使用multiprocess模块，使用多进程实现多线程。 本文主要是将
2016-05-23 13:43:04
1080
原创 python内置模块string源码浅析之maketrans
下面是源码：l = map(chr, xrange(256))#生成一个ascii字符列表_idmap = str('').join(l)#转化成字符串del l_idmapL = Nonedef maketrans(fromstr, tostr): """maketrans(frm, to) -> string Return a translation table (a stri
2016-05-09 15:53:19
1346
原创 python乱码浅析-乱码解码及数据库编码配置
在代码中需要打印中文的时候容易出现乱码，下面简单提供几个思路去解决打印乱码的问题。（环境python2.7）乱码解码方法：（1）使用chardet的detect函数去检测：import timeimport chardetmystr=time.strftime('%Z')print chardet.detect(mystr)print mystr.decode('gbk
2016-05-07 10:15:02
2207
原创 Python 多线程 多进程 全局解释器锁GIL join
Python 代码的执行由Python 虚拟机(也叫解释器主循环)来控制。Python 在设计之初就考虑到要在主循环中，同时只有一个线程在执行，就像单CPU 的系统中运行多个进程那样，内存中可以存放多个程序，但任意时刻，只有一个程序在CPU 中运行。同样地，虽然Python 解释器中可以“运行”多个线程，但在任意时刻，只有一个线程在解释器中运行。上面是官方的说法，通俗一点讲就是，python程
2016-04-26 16:45:59
1932
原创 python iterator generator yield
个人理解，欢迎指正1、iteratorcontainer.__iter__() Return an iterator object. The object is required to support the iterator protocol described below. If a container supports different types of iteration, ad
2016-04-23 22:28:53
550
原创 python中的实例方法、静态方法、类方法、类变量和实例变量
个人理解，若有误，望指正，多谢！实例方法（obj_func）和实例变量（var）需要绑定到实例，实例方法可以调用实例变量、类变量和实例方法、静态方法、类方法静态方法：静态方法是一种普通函数，就位于类定义的命名空间中，它不会对任何实例类型进行操作。使用装饰器@staticmethod定义静态方法。类对象和实例对象都可以调用静态方法。但是静态方法不能调用任何对象。类方法是将类本身作为对象进
2016-04-22 23:35:46
1371
原创 Python笔记01：sort min/max map/filter/reduce 列表解析 详解
1、sorted(iterable[, cmp[, key[, reverse]]])cmp:用于对比函数用于比较迭代对象中的元素的大小。我们在这里暂且不讨论sort函数用的是哪种排序（其实sort还是挺智能的，会根据不同的数据选择合适的排序算法），在排序过程中都需要对元素进行大小比较，这时便会调用cmp这个参数所提供的函数，如果不提供比较函数的话，python默认使用的是内建函数cmp()，
2016-04-22 16:46:06
1038
原创 python的数据可视化 graphviz pydot安装配置（win10）
1、下载安装graphviz-2.38.msi url：http://www.graphviz.org/pub/graphviz/stable/windows/graphviz-2.38.msi2、pip install pydot我这里安装完直接就可以import，没有错误。据说有的报错：不能导入dot_parser，这个可以直接安装：pip install -U pydot pypar
2016-04-15 18:06:26
30223
3
原创 python爬取动态生成的网页——以百度手机助手为例
在爬取js动态生成的页面时，直接打开页面是获取不到内容的，比如，我在爬取百度手机助手的应用时，就遇到了这样一个问题。在搜索旅游类应用时，返回数据有几页的内容，但是不管你翻到第几页，查看源代码发现都一样，都是第一页内容的源代码。分析原因我觉得可能是这样的：假设百度应用一页内容有八个应用，你把查询提交后他把内容的前8个生成一个html，然后再你翻页时，通过js，ajax等方式替换原来的8个应用，比如你
2016-04-15 01:07:20
5346
原创 Hadoop 2.x搭建详解 centos
本教程适合 虚拟机/实体机 的 centos6/7 hadoop 2.X 分布式搭建，以虚拟机centos6 为例搭建。#虚拟机和实体机的系统安装就略过了，不过不过实体机还是虚拟机，内存要>2GB#最好设置一个统一的用户用相相同的密码，这样配置起来方便，我这里创建了hadoop用户1、网络配置（1）要配置系统的ip为静态ip：如果是实体机，通过路由器分配static ip 然后
2016-04-03 16:53:37
604
原创 scrapy安装问题及解决（win10 x64）
安装的话直接pip install scrapy就可以，下面说说可能出现的问题及解决1、no module named win32api安装pywin32：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32, 我是64位python2.7，所以下载pywin32-220-cp27-none-win_amd64.whl2、
2016-03-22 23:19:03
1987
原创 centos下的pcapy安装
之前为了工作需要，在自己的win上安装了pcapy，觉得配置好麻烦，后来试了一下centos下的安装，觉得清爽好多，觉得pcapy还是在centos下用比较好。安装过程：注意：我用的是centos7，centos6可能有些不同1、依赖安装：A Python interpreter. Versions 2.1.3 and higher.A C++ compiler
2016-03-09 13:28:01
2131
原创 使用pycharm进行win下多个版本python编程&>K，py2exe安装
出于编程和兼容性方面的考虑，我们可能需要多个版本的python（win X64），首先我先说多个版本python的系统并存解决办法。1、安装多个版本的python（不同版本，不同位数）我主要用2.7_32 2.7_64 3.5_64到Python官方下载不同的python安装包https://www.python.org/downloads/windows/正常下载安装2.7_32 2
2016-03-06 17:03:04
3105
原创 python GUI编程 glade+GTK+py2exe 生成exe文件
我在64位编译总是遇到问题，所以采用32位python编译的方式，生成的exe可以在64位和32位电脑上顺利执行。但是现在多数电脑都是64位的，可以参考《使用pycharm进行多个版本python编程&>K，py2exe安装》在64位电脑上进行32位程序编译而不影响原来的python程序。1、使用glade生成界面的XML文件关于gtk+glade使用你可以参考http://www
2016-03-06 16:34:59
2502
1
转载 VMware虚拟机三种模式配置
转自http://www.iyunv.com/thread-54435-1-1.html具体步骤参考上文，总结一下大致思路：1、首先检查与网络服务有关的5个服务是否开启2、配置三个VMnet分别用于桥接、仅主机和NAT3、在编辑-》虚拟网络编辑器中选择相应的VMnet后在虚拟机用相应的网卡模式，比如选了VMnet8之后，虚拟机里使用NAT模式
2015-12-23 17:05:32
750
原创 python小记--lambda 装饰器 max（min）的key回调函数 sorted
lambdamap(lambda x:return_expression,list)filter(lambda x:judge_expression,list)reduce(lambda a,b:f(a,b),list[,list b])装饰器decoration @1无参数装饰器定义装饰器函数：def decorationfunc(func):...retur
2015-12-11 16:40:53
9485
原创 snort本地pcap包检测
环境需求：snort和barnyard2（呈现）本机Linux系统，直接启用snort本地包指令（可用snort --help查询）：snort -r 路径开启barnyard2呈现虚拟机模式（感谢森哥提供的虚拟机）：配置好snort和barnyard2的虚拟机（这里是用的centos）1、更改网卡设置，新建一个仅主机模式的虚拟机网卡（注意ip配置）2、启动ssh服务：进去后
2015-12-04 23:29:27
3553
原创 一路艰辛的pcapy模块安装--64位-win10
一路遇到了很多问题，问题的具体提示我记不清了，大体描述下并说说解决办法吧1、缺少一个vcvars或者**make批处理或者可执行文件，反正这两个问题的原因和解决办法是一样的：原因是没有安装VS组件，解决办法是安装vs2008，据说2008不容易出错。64位不要安装快速版，否则缺少组件，可以按个专业，网上有带密钥的，安装时自定义，在VC++选项下勾选64位编译支持（好像是叫这个名字，默认不选，自
2015-11-24 18:05:09
3149
1
原创 utorrent磁盘负担过重解决办法
一般在学校用ut下载东西，在有人做种且种子状态良好的情况下，下载速度能稳定在10-11M之间，但是有的时候就算种子状态良好，下载速度也很慢，这时你的ut最下面一行状态栏会显示磁盘负担过重，打开任务管理器查看磁盘状态时也会显示磁盘使用100%，一开始以为是磁盘的问题，后来发现是设置的问题。ut默认写入缓存是500M，但是有时下载时500M写入缓存不够用了，他就会提示磁盘负担过重，那时你查看速度->写
2015-11-22 14:45:08
8294
1
原创 django1.9.1+apache24+mod_wsgi详解（win）
Windows+django1.9.1+apache24+mod_wsgi详解
2015-11-21 22:52:53
2195
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人