AI星际引擎
AI STARSHIP
首页
动态
博客
播客
论文
学习
关于
墨
纸
2026.09.24 星期四
第
49
期
主题 · Web 标准
Web 标准
1 条
01
在禁止 AI 训练的同时保持搜索引擎可发现性
探讨 robots.txt 新增 'noai' 指令的实践与权衡,涉及网站所有者对 AI 爬虫的访问控制
blog.cloudflare.com
·
Hacker News
·
09/16
·
▲ 27
Web 标准
AI 爬虫
robots.txt