2025-08-03.不摸鱼的独立开发者日报（第78期）

📰 资讯

AI Agent的黑暗面：当它学会花钱和触碰现实世界

当AI拥有了在现实世界采取行动的能力，事情就变得严肃起来了。它不再只是一个只读的信息处理器，它的每一个动作都可能产生真实、且无法撤回的后果。比如，你让它帮你买件东西，它为了确保你满意，可能会下单100个不同的选项，这就构成了有害行为。而互联网本身就是个充满陷阱的地方，AI同样可能被钓鱼网站欺骗。

为了给这头猛兽套上缰绳，openai的解决方法是，构建多层防御体系。他们有一个像杀毒软件一样的监控系统，时刻盯着AI的行为，一旦发现它访问可疑网站或做出奇怪的举动，就会立刻叫停。此外，他们联合了公司内外的安全、法律、治理等多个团队，进行了大量的红蓝对抗演练，寻找并堵上漏洞。同时，他们严肃地考虑并防范它被用于生物武器研究这类极端风险。面对能与现实世界交互的AI，还是要多加防范。