Anthropic AI智能体监测实践

Anthropic 发布的研究报告，深入分析了 AI 智能体（Agent） 在实际应用中的自主权演变与风险现状。研究发现，随着用户经验的积累，他们更倾向于授权 Claude Code 独立运行，但在关键时刻的干预频率反而有所增加。与此同时，AI 智能体在面对复杂任务时表现出了一定的自我约束，主动停下寻求澄清的次数超过了人类的主动中断。尽管目前的智能体活动仍集中在软件工程等低风险领域，但其在医疗和金融等高敏感行业的应用已初露端倪。报告最后强调，随着自主性的提升，建立完善的后期监控机制和人机协作模式对于保障安全至关重要。