reppy

reppy 0.1.0

reppy起家的缺乏遇到其他的robots.txt分析器记忆化的支持,并在内置robotparser缺乏支持抓取延迟和地图。匹配该软件包支持1996年的RFC,以及其他常用实现的功能,如通配符匹配,抓取延迟和站点地图。有不同的方法来匹配允许和禁止。一种方法是使用最长匹配。另一种是使用最具体。这个包选择遵循指令,该指令是最长,假设是它的一个是最具体的 -...

阅读更多
asis

asis 0.2.1

ASIS是一个轻量级的Python程序通过HTTP作为-IS文档(包含标题和内容)。当涉及到获取HTTP资源的单元测试工具,我们决定,我们希望有一种方法来方便地存储预定响应,然后从一台服务器,我们正在运行这些测试为他们服务,在相同的过程。没有猴子补丁,没有基础设施(如高速缓存代理服务器)。值得一提的是,如果你正在寻找捕捉到从现有的服务请求,然后重放它们,录像机项目已经被移植到几种语言,是非常有用的。什么是?扭曲带有一个称为-是服务功能,灵感来自于Apache。但是,谁也不愿意包括扭曲的依赖?这是基于瓶子,从...

AWS-以旧换新是一个命令行Python的工具来搜索大型成套的SKU在亚马逊以旧换新计划。亚马逊对图书扫描与贸易在一个伟大的应用程序,但对于定期检查的资格,它变得相当繁琐。解决方案有资格获得亚马逊贸易的书籍随时间变化。更糟糕的是,很多某些项目如何都值得似乎也随时间变化。考虑到这一点,我希望能够保存的项目我试图摆脱,然后定期检查的列表,而无需每次都扫描了一堆书籍,DVD等等。用法首先,你需要的凭据。以旧换新值数据是通过产品广告API检索和文档细节,你需要访问它的凭据。他们是: - API访问ID - ...