Chilkat Spider ActiveX 2.2.2

抓取的网站与这个免费的ActiveX蜘蛛组件。高级功能包括缓存，“避免”的模式，和robots.txt的合规性。自动处理HTTPS的URL。包括避免大/无限大小的网页或无限增长的，在长的URL的安全措施。包括风力断特性爬行每个网站页面的最大数量。...