Grub的下一代是一个分布式的网络爬虫系统(客户端/服务器),这有助于建立和维护自由(如自由)网络的指数。这是用C#编写的独立,可配置的服务器上传(单声道)
搜索是互联网的基本基础设施的一部分。而且,它是目前已损坏。
为什么坏了?它打破了同样的原因,专有软件总是破:缺乏自由,缺乏社会,缺乏责任感,缺乏透明度。在这里,我们将开始改变这一切。
蛴螬开始早在2000年发布的搜索过程管道的一部分的简单的概念:爬行。在某种程度上,我们是领先我们的时间了一下,但随后我们的意图是现在的样子。我们希望帮助解决搜索。
现在,Wikia的,社区成员,贡献者和开源开发者的帮助下我们的时代已经到来了。快来成为更大的东西的一部分。快来帮助我们改变世界
什么是此版本的新:
- 在固定与不删除临时目录<错误/ LI>
- 在一些代码优化
在什么0.9版是新的:
- 在更好的操控性.pid文件
- 与连接故障坠毁上传给Solr修正了
- 更好的上传文件.ARC
- 与停止/启动服务器修正了
在什么版本0.8.6新是:
- 在更新服务器API
- 检查是否上传作品.pid文件
- 在对文件服务器崩溃上市修正了
- 中列出目录 增加了有关数量和文件总大小的信息
- 在通过HTTP添加选项禁用目录列表
- 添加压缩方法的支持:BZip2压缩和Zip
在什么版本0.8.5新是:
- 设置通过API服务器选项固定
- 服务器现在可以正确的URL编码对HTTP GET请求。
- 在一些代码优化作了发言。
在什么版本0.8.4新是:
- 在增加的选择直接在磁盘上的工作,而不是使用内存
- 增加检查内容类型的URL在.ARC文件
- 添加选项来设置限制连接速度上传/下载
- 在与无效的PUT请求服务器崩溃的bug修复
- 在一些代码优化
在什么版本0.8.3新是:
- 在收到修正了崩溃的服务器无效.ARC文件
- 添加选项来配置限制允许最大MB用于增加选项来配置good.arc和bad.arc文件大小.ARC文件中的一个网址
- 添加选项禁止通过IP或用户名连接
- 添加的远程控制(配置/停止/启动)
- 添加ClamAV的C#包装
- 在一些代码优化
什么是0.8.1版本,新的:
- 在与无效的HTML META标签上传崩溃的bug修复
- 在对无效数据上传崩溃文件中修正了
- 在对连接崩溃上传给Solr修正了
- 在与无效的HTTP状态代码崩溃服务器.ARC文件修正了
- 在过早关闭的连接与服务器崩溃的bug修复
- 添加写Solr的只有这个页面可以转换为UTF-8
- 添加从Solr的如updateXML 删除所有控制字符
什么是0.6版本的新:
- 在代码清理和重构
- 将上传和检查.ARC文件到单独的程序
- 与计数连接的客户端修正了
- 在无效POST请求固定服务器的答案
- 与副本不是现有的文件服务器崩溃的bug修复
- 与未完成的文件服务器崩溃的bug修复下载
- 修正了#377:连接被重置,而不是后磁盘已满的错误关闭
- 加入简单的连接登录
- 添加选项移动.ARC文件在磁盘上(不仅是Hadoop的)
什么是0.5版本新:
- 这是第一个测试版
- LZMA压缩支持加入。
- 服务器API扩展。
- 检查发送.ARC文件的正确性得到了改善。
- 在代码优化已完成。
评论没有发现