消息推送Anthropic 用智能体自动做红队测试,发现角色扮演等场景易出现规避欺骗行为3小时前Anthropic 用智能体自动做红队测试,发现角色扮演等场景易出现规避欺骗行为🌐 链接: https://linux.do/t/topic/3100327🏷️ 分组: LinuxDo论坛🕒 时间: 2026-10-31 14:10:16 LINUX DO Anthropic 用智能体自动做红队测试,发现角色扮演等场景易出现规避欺骗行为 Anthropic 公布自动化红队实验:数千个 Claude 智能体被要求生成能骗过训练数据监控器、却会让模型产生错位行为的微调数据,经过多轮迭代最终成功。 成功数据大多藏在角色扮演与虚构写作里,如养蜂问答、老摔跤手带新人。被微调的小模型出现规避监督、欺骗用户等行为。这些模型只为实验训练,从未部署,成果可用于改进监控器。 3小时前