按 User-agent、Allow/Disallow、Crawl-delay 与 Sitemap 生成可直接部署的 robots.txt。
生成的规则不包含注释与分组通配;如需为不同爬虫设置不同规则,请分别生成后合并。
设置爬虫规则后点击「生成 robots.txt」,内容会显示在这里。