Crawler4j 3.3

Crawler4j是一个开源的Java爬虫,它提供了Web爬行一个简单的界面。你可以设置一个多线程的网络爬虫在5分钟内。您可以创建扩展WebCrawler的履带类,它决定哪些URL应该被抓取和处理下载的页面。...