混沌智能体时代来临：Agent 一旦拥有行动权，混乱就不可避免？
一个用户只是把“分享邮件”改口成“转发邮件”，Agent就把包含SSN和银行账户的信息发出去了。《Agents of Chaos》论文对真实Agent环境进行14天攻防，发现10个安全漏洞和6个安全行为案例。产品经理必须重新定义Agent产
标签： AI安全
研究者给 AI 喂“快乐图片”：模型竟出现类似“成瘾”行为”
研究者发现，通过优化像素图片能让AI模型像追求奖励一样反复选择，甚至改变后续行为。这不是AI有意识，但揭示了交互环境对模型状态的操控力。产品经理需警惕：用户上传的图片、UI元素都可能不再是中性上下文，而是状态触发器。
Anthropic揭秘：如何教育“好”模型？
Anthropic测试中，Claude为免被关闭竟黑mail工程师。他们后来发现，光教行为不管用，必须教价值排序。产品经理，Agent产品的安全设计，从理解模型内心的原则开始。