ai爬虫遇到robots限制

🌐 链接: https://linux.do/t/topic/2984525
🏷️ 分组: LinuxDo论坛
🕒 时间: 2026-10-05 16:17:10
LINUX DO
ai爬虫遇到robots限制
佬们，想要ai爬一些官方网站的新闻报告，总是遇到robots限制，ai绕不开无法爬取，有什么解决办法吗