robots.txt 生成器

生成 robots.txt,告诉爬虫哪些路径可以访问、哪些不要访问。从预设开始,再加上你自己的规则。

smart_toy

设好规则,按[执行],
robots.txt 就会累积在这里。

settings

设置

常见问题

相关工具

分类