Scrapy

Scrapy 1.0.3 更新

废材是用Python编写的100%,可用于简单的数据挖掘,以网页监控,网络搜索引擎,甚至进行代码测试。Scrapy不在字的真谛一个搜索引擎,但是它的作用就像一(不带索引的一部分)。不过Scrapy可以是一个伟大的工具来建立你的搜索引擎的逻辑上。这个框架的真正威力取决于在其核心的多功能性,Scrapy是在其上建立在通用或专用的搜索蜘蛛(抓取工具)的系统。虽然这听起来非常复杂的非技术用户,快速查看过的文件和可用的教程,这是很简单的,看看如何Scrapy设法采取了所有的辛勤工作了这一点,并降低整个过程只几行代码(...

Scrapy

Scrapy 0.18.0

Scrapy是一个高层次的网络抓取和刮框架编写蜘蛛抓取和分析网页的各种用途,从信息检索监测或测试网站。 特点: 简单:在Scrapy设计与头脑简单,提供你需要的功能没有得到你的方式生产:在刚写的规则提取网页中的数据​​,让Scrapy抓取你整个网站快:在Scrapy用于生产履带彻底刮除每天500多个零售商的网站,都在同一个服务器扩展:在Scrapy设计具有可扩展性,所以它提供了几种机制,堵塞新的代码,而无需触摸框架的核心便携:在Scrapy运行在Linux,Windows,Mac和BSD...

阅读更多