robots.js 0.9.4

可用于从robots.txt文件拉出数据并将其馈送到其他应用程序或统计工具。将提取目标URL，原因访问和状态数据 什么在此版本中是新的： 在处理HTTP（S ）请求错误。 什么是0.7.2版本，新的： 在固定的package.json元信息的错误 要求： ...