YACY是一个分布式的网络爬虫,也是一个缓存HTTP / HTTPS代理。经过该代理的网页被索引,并且可以使用一个内置的HTTP服务器进行搜索。
YACY同行相互连接,形成一个基于P2P的指数交换网络的基于分布式哈希表。明确网络抓取可以在本地或合作来完成,形成了全局搜索和分布式索引引擎的网页。
YACY还提供URL与其他代理同行,个人网页和servlet网页托管,文件共享区,以及数据库引擎中的黑名单共享过滤
特点:
- 在搜索自己或全局指数
- 在抓取自己的网页或启动分布式爬行
- 运行您的同行,以支持其他YaCy爬虫
- 在使用内置的HTTP服务器,文件共享区和wiki上的同行提供的信息
- 在内置缓存HTTP代理
- 从代理缓存索引的利益;私人信息不被存储或索引
- 在代理服务器的使用不是必需的网页索引,但它使您可以访问新的顶级域“.yacy”
- 在像吸附或间谍软件过滤不需要的内容;分享您的网络黑名单与其他同龄人
- 在安装方便!无需额外的数据库所需的!
- 在没有中央服务器!
- 在GPL的,免费软件
什么在此版本中是新的:
- 在YaCy现在有一个嵌入式的Solr 4.0.0与标准Solr的XML搜索界面集成。
- 这是主索引引擎了。
- 现在有一种增强履带用活链接结构的可视化。
- 在这个版本增加了一个主机浏览器来浏览抓取主机的文件结构。
- 这表明加载网页,有错误的页面,并以同样的方式的文件浏览器将显示一个主机的内容挂起文件。
什么是0.7版本,新的:
- 在完整的国际字符集和所有UTF-8字符现在支持索引和搜索。
- 支持已添加了网站:,inurl这样:和文件类型:运营商搜索
- 一个公共API已被添加到搜索结果中,索引,以及在XML和JSON语法链接结构。
什么是在0.61版本新:
- 在这是一个快速释放,有很多安全修补程序和错误修正。
什么是在0.60版本新:
- 在自动重新爬行和抓取和书签的组合有被添加。
- 在它现在可以自定义与YaCy个人搜索门户。
- 在该功能范围为Windows用户得到了增强。
评论没有发现