分类: 开发工具脚本, 搜索引擎和链接索引脚本
Spidr 0.4.1
该脚本可以在一个页面，网站，多个域甚至不停上运行。SPIDR的设计是快速和易于使用 功能： 从以前的会话恢复抓取队列和历史。在自定义用户代理字符串。在自定义代理服务器设置。 HTTPS支持。如下：标记一个 iframe标记。帧标签。在Cookie的保护环节。在HTTP 300，301，302，303和307重定向。在元刷新重定向。在HTTP基本认证保护的链接。根据黑名单或白名单网址： URL方案。主机名端口号全部链接...
