- 博客(0)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
小排骨网站采集器|通用的网页采集器
小排骨采集器的主要功能:
※ 多任务 & 多线程:可以同时执行多个采集任务,每个任务又可以使用多个线程。
※ 通过N层导航技术,可以进行海量采集。
※ 支持插件调用,可以通过二次开发扩展功能。
※ 支持历史记录功能,有效避免重复采集。
※ 支持任务列队功能,当有大量任务同时运行时,可以分批、排队。
※ 支持跨层采集功能,能够对复杂的网站结构进行采集。
※ 可以对采集结果进行筛选。
※ 采集任务可以进行分类,采用树型目录管理。
※ 支持定时采集、自动关机。
※ 支持断点续采,即软件关闭后,下次打开可以接着上次的断点采集。
※ 支持网站登录采集,可以采集需要登录的页面。
※ 支持POST网址捕获,可以轻松采集以POST方式提交的页面。
※ 通过独立文件下载,可以下载任何类型的文件(PDF、RAR、MP3、SWF、3GP等等)。
※ 通过内容文件下载,可以提取并下载内容中的图片、Flash、附件(任何类型的文件)。
※ 采集时可以同时下载列表中的“缩略图”。
※ 采集时将结果写入临时文件,不占内存。采集完,可以轻松导出为Access、Excel文件,或直接发布到数据库。
※ 支持采集结果发布,可以发布到Access、SQL Server、MySQL、Oracle等各种数据库。
※ 支持存储过程调用,可以与现有数据库进行整合,构造一个数据处理层。
※ 支持采集结果在线发布,即以在线方式发布到现有的网站系统。
2012-04-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人