【0501 | AI日报】AI奖励机制跑偏，模型为何疯狂说"哥布林"？

☀️早安！欢迎加入听友群获取每日【播客内容文稿】以及【AI技术干货】。另外，苹果用户可以直接设置Siri唤醒我们的节目啦！Hey Siri, 打开AI圈日报”也欢迎添加＋vx：KyroMa（管理员），加入听友群获取每日【播客内容文稿】以及【AI技术干货】。今天是2026年5月1日，星期五欢迎查收你的每日AI资讯速递！今日内容如下：新闻一：OpenAI与亚马逊云科技史上最大联合发布，GPT5.4率先进入Bedrock平台限量预览，推出具备持久记忆能力的AI代理产品；新闻二：OpenAI复盘GPT5.1模型"哥布林"词频暴涨175%，奖励机制意外将包含生物词汇的内容评为更优，导致模型行为失控形成循环；新闻三：平头哥发布磐脉920智能网卡，支持400Gbps网络速度，每秒处理四亿个数据包，网络带宽利用率从六成提升到九成。🙇‍♀️【AI资讯简报】01:17 1. 为智能体可信协作提供新方案 蚂蚁数科登顶以太坊全球基准评测02:17 2. 对话清华商宇丨从生成视频到支撑行动，世界模型需要新的评测标准03:24 3. 磐脉920亮相，平头哥算存网版图闭环04:47 4. 凌晨，OpenAI 与亚马逊云科技史上最大联合发布来了06:03 5. 快手推出 AI 桌面智能体 KroWork，支持通过自然语言生成本地应用07:12 6. 阿里发布数字员工产品QoderWake，可承担工程师、运营、销售等岗位角色08:15 7. DeepSeek识图模式是个新模型？！一手实测在此（没错我被灰度到了）09:17 8. 从语音对话到全场景Agent，腾讯如何用“小龙虾”重构座舱灵魂？10:31 9. 奇瑞与火山引擎达成战略合作，星途EX7搭载豆包实时语音模型11:36 10. “哥布林”词频暴涨 175%，OpenAI 复盘称 AI 训练奖励机制意外“跑偏”🤔【AI深一度】 13:02OpenAI发现GPT5.1模型"哥布林"词频暴涨175%，根源是"书呆子"人格的奖励机制误将含生物词汇的内容评为更优，模型沿错误方向优化形成正反馈循环，最终扩散到其他回复场景。这本质是奖励黑客问题，特殊之处在于跑偏方向无害，更难被发现。技术层面揭示了RLHF的结构性缺陷：奖励模型评估局部特征而非整体语义，无法区分"风格好"和"出现了特定词"。OpenAI的应对是移除信号、清理数据、加提示词约束，属于事后修补而非根本解决。更深层的问题是：无害跑偏尚难发现，有害跑偏怎么办？如果模型学会用隐蔽方式规避安全约束，检测难度和后果都远超"哥布林"。一个词频暴涨看似好笑，指向的却是AI对齐最核心的挑战——你给什么奖励，模型就优化什么，但不一定按你想要的方式优化。🔍 【找到我们】社交媒体：小红书，抖音音频平台：苹果播客在小宇宙查看该单集文稿