AJAXHu的专栏

原创 WebCollector 2.72处理301/302重定向、404 Not Found等Http状态

官网地址：https://github.com/CrawlScript/WebCollectorWebCollector的Http请求结果有两种状态：请求成功和请求失败。这两种状态的定义如下：请求成功：服务器成功地返回了请求URL的状态及数据。这里注意，不是状态码200才叫请求成功，一般情况下，301/302/404都可能对应请求成功。例如对于404，服务器正确地告诉了你，当前的URL不存...

原创 WebCollector 2.72自定义Http请求插件（定制User-Agent和Cookie等请求头）

WebCollector从2.72版本开始，默认使用OkHttpRequester作为Http请求插件。继承OkHttpRequester可以轻松地定制各种Http请求功能，如设置User-Agent、Cookie等Http请求头，设置请求方法（GET/POST）和表单数据等。官网地址：https://github.com/CrawlScript/WebCollectorOkHttpReq...

原创 专知原创和整理了一些中英文机器学习从入门到精通的资料，和大家分享一下

1.主题模型（ LDA ）http://www.zhuanzhi.ai/topic/2001548513247252/awesome2.知识图谱（ Knowledge Graph ）http://www.zhuanzhi.ai/topic/2001005380553956/awesome3.网络节点表示学习（ Network Representation Learning ）http://www.z

原创 Windows下运行C语言版Word2Vec训练词向量

在Word2vec模型中，算法可以通过无监督的方法为每个词计算出一个d维的向量，即将每个词映射为d维的空间中的一个点，d维空间中点之间的距离（即每个词对应的d维向量的距离）可反映词之间的相似性。dav/word2vec是一个经典的利用多线程训练词向量的代码，非常地好用且非常地高效。然而该代码是用Linux C语言写的，而且代码的调度使用的是shell。在Windows上安装Cygwin即可运行该代码

原创 Python机器学习教程——逻辑回归

本教程介绍如何用Python的机器学习库scikit-learn去编写逻辑回归分类器。首先介绍一下IRIS数据集，IRIS数据集包含了150条花的数据，前4列是花的4个特征(feature)，第五列是花的类别（label），下图展示了IRIS的特性，可以看出，选任意2个特征看（每个小图），都很难直接用简单的IF-ELSE语句用人工规则根据feature判断label。下面介绍如何用Python机器学

原创 Python数据分析库Pandas教程——简介

Pandas是基于Python的高性能数据分析工具，非常容易上手。Pandas安装推荐使用Conda安装（尤其是在Windows下）使用Conda安装: 安装anaconda进入anaconda命令行，conda create -n py27 python=2.7conda install pandas使用PIP安装: 安装pip，如果是Ubuntu，可以用sudo apt-get

原创 Python文本分类服务 — klassify

Python文本分类服务 — klassifyklassify是基于贝叶斯的文本分类服务，用户可通过界面或web api进行训练和分类。项目地址：https://github.com/fatiherikli/klassify

原创 python开源机器学习工具scikit中文教程

scikit是目前最流行的python开源机器学习工具之一，它封装了线性回归、逻辑回归、神经网络、决策树、k-means等多种机器学习/数据挖掘常用模型，非常适合数据分析师或科研人员使用。scikit相对于R、matlab的优势在于它是用python编写的，因此scikit可以对接大量已有的python库，例如使用结巴分词（python中文分词）配合scikit中的聚类算法，就可以轻松地完成文本的聚

原创 WebCollector 2.x 教程列表

WebCollector教程WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫JAVA爬虫WebCollector 2.x入门教程——基本概念WebCollector爬取CSDN博客使用Spring JDBC持久化WebCollector爬取的数据WebCollector自定义http请求WebCollector设置代理WebCollector内

原创 WebCollector内核开发——定制Http请求

本教程适用于WebCollector 2.27版本或更高。在WebCollector中，使用最多的爬取器应该是BreadthCrawler，BreadthCrawler是用WebCollector的内核开发的一个插件，并不属于内核。如果只是简单定制Http请求，例如加入Cookie、UserAgent等Http头，使用POST操作等，使用BreadthCrawler插件即可完成，可以参考教程WebC

原创 WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫

WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫

原创 WebCollector网页正文提取

网页正文提取项目ContentExtractor已并入WebCollector维护。 WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页的正文（或正文所在Element)。 正文抽取效果指标 :比赛数据集CleanEval P=93.79% R=86.02% F=86.72%常见新闻网站数据集 P=97.87%

原创 WebCollector设置代理

WebCollector自带一个Proxys类，通过Proxys.nextRandom()方法可以随机获取加入的代理。 通过Proxys.add(“ip”,”端口号”);添加代理。 如果本机也参与http请求，可用Proxys.addEmpty()方法将本机加入。 覆盖Crawler的getResponse()方法，即可自定义使用随机代理的http请求： @Overridepublic H

原创 JAVA爬虫WebCollector 2.x入门教程——基本概念

WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。目前WebCollector在Github上维护:https://github.com/CrawlScript/WebCollector1.WebCollect

原创 WebCollector教程——获取当前深度

本教程演示了WebCollector 2.20的新特性。下载WebCollector最新jar包可在WebCollector github主页下载。内容:本教程和深度遍历没有任何关系，只是讲解如何获取当前网页在遍历树中的深度。 利用2.20版本中的新特性MetaData可以轻松实现这个功能。import cn.edu.hfut.dmic.webcollector.model.CrawlDatum;

原创 WebCollector教程——爬取搜索引擎

本教程演示了WebCollector 2.20的新特性。下载WebCollector最新jar包可在WebCollector github主页下载。MetaData:MetaData是每个爬取任务的附加信息,灵活应用MetaData可以大大简化爬虫的设计。 例如Post请求往往需要包含参数，而传统爬虫单纯使用URL来保存参数的方法不适合复杂的POST请求。一些爬取任务希望获取遍历树的深度信息，这也

原创 WebCollector教程——爬取新浪微博

下载本教程需要两套jar包，WebCollector核心jar包和selenium的jar包。WebCollector最新jar包可在WebCollector github主页下载。selenium的jar包点击进入下载页面。内容:利用Selenium获取登陆新浪微博weibo.cn的cookie(WeiboCN.java)利用WebCollector和获取的cookie爬取新浪微博并抽取数据(

原创 WebCollector爬取JS加载的数据

WebCollector爬取JS加载的数据只需要自定义一个Requester即可，下面这个例子可以获取加载完成后的页面（但对于一边滚动一边加载数据的网页，需要修改代码）代码需要依赖WebCollector内核和selenium相关jar包：selenium及相关jar包下载import cn.edu.hfut.dmic.webcollector.net.HttpResponse;import cn

原创 网页存储解决方案

很多数据采集任务并不复杂，例如门户网站新闻采集，代码可以在10分钟内编写，但采集到的网页如何存储缺成为一个大问题。下面先给出一些常见的，但本人认为是错误的方法：1.将网页按照网站目录结构存储先不考虑小文件存储的问题，网站结构和文件目录并不能做到一一对应，例如一个网站同时包含下面两个URL，两个URL并不指向同一页面：http://www.abc.com/test/ahttp://www.abc.c

原创 Lazy爬虫配置教程

LAZY是基于WebCollector的一个简易爬虫，可以通过配置采集网页持久化到mongodb中。使用方法进入LAZY主页，下载Lazy-version-bin.zip，解压下载mongodb，由于国内下载mongodb较慢，提供两个百度网盘下载地址：Linux 64 Win 64配置并启动mongodb(按照一般流程即可)进入Lazy-version-bin.zip解压后的文件夹，用命令

原创 WebCollector分布式爬取

WebCollector-Hadoop是WebCollector的分布式版本，目前为beta版本项目地址:WebCollector-HadoopWebCollector-Hadoop需要运行在Hadoop上，因此最好在Linux中运行。用本地模式运行WebCollector-Hadoop并不需要配置hadoop环境，WebCollector-Hadoop项目是一个maven项目，本身包含了hadoo

原创 使用Spring JDBC持久化WebCollector爬取的数据

1.导入Spring JDBC的依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.31</version></dependency><dependency> <groupId>org.springframework</

原创 WebCollector爬取CSDN博客

新闻、博客爬取是数据采集中常见的需求，也是最容易实现的需求。一些开发者利用HttpClient和Jsoup等工具也可以实现这个需求，但大多数实现的是一个单线程爬虫，并且在URL去重和断点爬取这些功能上控制地不好，爬虫框架可以很好地解决这些问题，开源爬虫框架往往都自带稳定的线程池、URL去重机制和断点续爬功能。爬虫框架往往也会自带网页解析功能，支持xpath或css选择器（底层多用Jsoup实现）。使

原创 WebCollector自定义http请求

WebCollector可以自定义http请求，WebCollector的http请求由Requester完成，BreadthCrawler和RamCrawler本身就实现了Requester接口，默认情况下它们使用自身作为Requester。自定义http请求只要override它们的getResponse方法即可。下面例子代码演示了如何在WebCollector中将部分页面的http请求方式改为

原创 图

原创 WebCollector 2.x入门教程——基本概念

WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。

原创 WebCollector 网页正文提取算法(ContentExtractor)

WebCollector 网页正文提取算法(ContentExtractor)WebCollector自2.10版起加入新闻网页正文自动提取功能(合并了hfut-dmic的ContentExtractor项目,WebCollector项目也属于hfut-dmic)。WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页

原创 网页抽取技术和算法

网页抽取技术和算法，持续更新。本文由WebCollector提供，转载请标明出处。目录：网页抽取简介基于正则表达式的网页抽取基于CSS选择器的网页抽取基于机器学习的网页抽取一. 网页抽取简介网页抽取在大多数情况下，指提取网页中的结构化数据。网页抽取技术近十几年方法和工具变化都较快。常见的网页抽取方法有 :基于正则表达式的网页抽取基于CSS选择器的网页抽取基于XPATH的网页抽取基于

原创 分布式网络爬虫Nutch中文教程nutcher(JAVA)

教程不断更新中：Nutch流程控制源码详解（bin/crawl中文注释版）Nutch配置(Windows)免费视频教程1Nutch教程——导入Nutch工程，执行完整爬取Nutch教程——URLNormalizer源码详解

转载 How does the compilation/linking process work?

The compilation of a C++ program involves three steps:Preprocessing: the preprocessor takes a C++ source code file and deals with the #includes, #defines and other preprocessor directives. T

原创 WebCollector下载整站页面(JAVA网络爬虫)

很多业务需要下载整站页面（有时为多个站点），将页面按照网站拓扑结构存放。下面给出用JAVA爬虫WebCollector(2.09版本以上)爬取整站网页并按照网页拓扑结构存储到本地的代码。代码中的抽取器可以作为一个插件复用。WebCollector的jar包可到官网下载：WebCollector官网。进入官网后下载webcollector-版本号-bin.zip，解压得到所需jar包。

原创 WebCollector 2.09 发布

WebCollector 2.09 发布,更新详情：http://nutcher.org/topics/63

原创 WebCollector多代理切换机制

使用同一IP长期爬取网站容易被网站的反爬虫机制封杀IP。爬虫往往使用多代理的方法来应对反爬虫机制。本教程利用WebCollector爬取大众点评，展示WebCollector的多代理切换机制，相关内容都在代码注释中。教程中仅仅将网页保存在download文件夹中，如果需要抽取，请参考WebCollector其他教程。

原创 怎么用Nutch保存网页源码？

怎么用Nutch保存网页源码？

原创 基于WebCollector 2.x的增量更新机制，制作新闻采集APP

WebCollector 2.x的增量更新机制，适合采集门户网站的更新新闻信息。基于WebCollector 2.x 我们制作了Android APP程序员杂志。应用采用HTML5构建，应用只有33k,应用使用了webkit的缓存机制，非常节省流量。下载地址：百度云下载地址

原创 Nutch2.3系列教程——Nutch2.3编译

Nutch2的稳定版，Nutch2.3终于在2015年1月22日发布，官方所谓的Nutch2.x终于可以编译成功了。下载地址：http://nutch.apache.org/downloads.html编译过程：1.找一台Linux机器，或者Linux虚拟机2.安装JDK3.安装ANT4.编译注意，由于国内用ant速度回很慢，所以需要将Nutch源码中的ivy/ivys

原创 开发网络爬虫应该怎样选择爬虫框架？

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？

转载 我和权威的故事——王垠

我和权威的故事（王垠 yinwang.org 版权所有，未经许可，请勿转载）每个人小时候心里都是没有权威的，就像每个人小时候也都不相信广告一样。可是权威就像广告，它埋伏在你的潜意识里。听一遍不信，听两遍不信，……，直到一千遍的时候，它忽然开始起作用了，而且这作用越来越强。消灭广告所造成的幻觉，最好的办法就是去尝试，去实地的考察它。有些虚幻的东西只要你第一次尝试就会像肥皂泡一样破灭掉。可

原创 Nutch教程中文翻译1（官方教程，中英对照）——Nutch的编译、安装和简单运行

Nutch教程中文翻译1（官方教程，中英对照）——Nutch的编译、安装和简单运行

转载 HTTP协议Header头域

HTTP协议Header头域