Apache Nutch

阿帕奇Nutch的是建立在顶部的的Apache Lucene的，一个强大的Java搜索引擎。
Nutch的开发人员修改了Lucene的代码库，转换数据无关的代码库的Lucene成专门用于搜索网络上的数据专门项目。
这种技术可以用于搜索自己的Web页面作为一个内置的搜索服务器，或爬行网页寻找数据解析和刮除到数据库。
Nutch的可以在一台机器上运行，但效果更好的的Hadoop 集群。
各种插件可用于扩大其使用范围

什么是此版本中的新：

• 在确保重复的标签不存在在微格式，reltag标签集。
• 在一个更好的回落值日期字段。
• 在摆脱可怕的。
的
• 在升级到Hadoop的1.2.0。
• 在升级到1.3蒂卡。

什么版本2.0是新的：

• 在改名HTMLParseFilter到ParseFilter
• 在LIB-HTTP。
删除余下的机器人/ IP阻止代码
• 端口记录到SLF4J。
• 在外部分析器支持编码属性。
• 在常春藤配置设置不包括戈拉。
• 在喷油器应该调用injectedScore之前添加元数据。
• 在港口Nutch的标杆Nutchbase。
• 添加解析HTML的后面。
• 在MoreIndexingFilter失踪的日期格式。
• 在超时的解析器。
• 在抓取日期重试间隔设置为0。
• 在生成日志输出Solr的索引和dedup。
• 改进NutchConfiguration。
• 在SolrDeleteDuplicates需要克隆SolrRecord对象。
• 在Hadoop本地无法通过行家库。
• 在分开的构建和运行时环境。

什么是1.5版本的新：

• 在本新闻稿包含一些改进，包括几大部分组成，包括升级提卡1.1和Hadoop的1.0.0，改善LinkRank和WebGraph元件以及若干覆盖黑名单，过滤和分析，以命名一些新的插件。

什么在1.4版本的新：

• 在添加Solr的4倍（主干）示例模式
• 添加“/运行”使用svn忽略。
• 在应用/ xhtml + xml应解析-HTML的plugin.xml中被启用。允许多个MIME类型的plugin.xml的。
• 在固定解析 - 蒂卡和解析HTML的使用每个RFC-3986相对URL解析。
• 在升级到提卡0.10。注意：Tika的新RTF解析器可以忽略比以前畸形文件更多的文字 - 见TIKA-748的详​​细信息
• 添加声纳目标，以蚂蚁的build.xml。
• 在升级SolrJ到3.4.0版本。
• 在蚂蚁PMD的目标是打破了。
• 在升级Solr模式到1.4版本。

什么是1.3版的新：

• 在本新闻稿包含一些改进（改进RSS解析的支持，更严格与Apache提卡，外部解析的支持，提高了语言识别和规模较小的源发行tar包的订单整合 - ！只有约2MB）

什么版本1.2是新的：

• 请索引更多的插件配置
• 在配置文件的协议父目录爬行。
• 在超时的解析器。
• 在网站仍然Lucene的品牌。
• 在抓取日期重试间隔设置为0。

什么是1.0版本的新：

• 在允许解析器返回多个解析对象

从本体论插件
• 在删除冗余的共享记录罐子。
• 在错误的SegmentReader导致无限循环。
• 在得分过滤器应分配的分数为所有outlinks一次。
• 在减少在Nutch的核心警告数量。