大家好,我是二哥呀。
面试题第三弹,聊工具系统与安全。
Agent 的能力边界等于它的工具集——能读什么文件、能跑什么命令、能访问什么网站。但“能力越大责任越大”这句话在 Agent 身上体现得淋漓尽致。一个不加任何约束的 Agent,LLM 的一次幻觉就可能让它 rm -rf 整个项目目录。
PaiCLI 在第 6 期做了 HITL 审批 + 路径围栏 + 命令黑名单 + 操作审计,代码在 com.paicli.policy 和 com.paicli.hitl 包下。这一期的教程我写的标题是“没有 HITL 人工审批的 Agent,rm -rf 他都敢干”——不是开玩笑,我在测试的时候真遇到过 LLM 试图删文件夹的情况。
大约 14 分钟
