AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · robots.txt

robots.txt

1
  1. 01
    在禁止 AI 训练的同时保持搜索引擎可发现性

    探讨 robots.txt 新增 'noai' 指令的实践与权衡,涉及网站所有者对 AI 爬虫的访问控制

    blog.cloudflare.com·Hacker News·09/16·27Web 标准AI 爬虫robots.txt