lixiaosi1的博客

原创 一个分布式，多线程的采用Redis缓存调度的Java爬图小系统

1.概述 本文介绍了一个简单的分布式，多线程，采用Redis缓存队列作为调度的爬虫系统。实现了图片的爬取和下载功能。该爬虫系统是基于Java实现的，网上Java实现的爬图程序很多，但是很多缺少基本的优化，程序的健壮性并不好，本文的测重点在于爬取图片的稳定性和效率。 实战爬取的网站地址为 http://www.mmxyz.net/   该网站是一个写真网站，内容不便详述。程序能够快速的爬取该网站...