可靠的 AI 代理系統需要政策、權限與稽核控制

根據 Agentic AI Foundation 部落格重新發布的指南，可靠的 AI 代理系統不應將模型的決策視為最終權威。當代理因為錯字而採取行動時，錯誤的帳戶更新可能看似成功，這說明更強大的模型和提示詞調整也無法保證安全執行。 建議的設計會分離各項責任。AI 代理提出行動，確定性的政策服務則檢查該行動是否獲得授權。之後在這些限制內執行，並建立稽核記錄，連結請求、結果和政策版本。 指南也指出，代理的上下文應視為不受信任的輸入。系統應記錄儲存指示、記憶和下載檔案的來源及存放時間。在「Trustworthy Context Is Untrusted By Default」引用的測試中，信任前言將一種上下文污染從 88.8% 降至 33.3%，但並未消除所有失敗。 其他防護措施包括狹窄且特定於任務的能力；信心度低時升級給人員處理；人員接手時取消操作；緊急停止開關；冪等性金鑰；具備檢查點的狀態；沙盒復原；以及可供檢查的執行日誌。上下文圖可以在避免洩漏秘密的情況下，連結輸入、工具呼叫、政策和結果。 文章也強調可攜式控制。MCP 可以提供共用工具介面，無論使用哪個模型或執行環境，都能在伺服器或閘道強制執行授權。對加密貨幣交易者和區塊鏈開發者而言，這些控制適用於自動化錢包、交易機器人和代理驅動的 DeFi 操作，因為錯誤的權限或無法復原的行動可能造成直接的財務損失。