YACY

YACY 1.2

YACY是一个分布式的网络爬虫,也是一个缓存HTTP / HTTPS代理。经过该代理的网页被索引,并且可以使用一个内置的HTTP服务器进行搜索。YACY同行相互连接,形成一个基于P2P的指数交换网络的基于分布式哈希表。明确网络抓取可以在本地或合作来完成,形成了全局搜索和分布式索引引擎的网页。YACY还提供URL与其他代理同行,个人网页和servlet网页托管,文件共享区,以及数据库引擎中的黑名单共享过滤 特点: ...

阅读更多