代理式資料科學需要人類監督

代理式資料科學讓 AI 代理能夠調查資料集、選擇方法、執行分析並解釋結果。然而，文章指出，資料科學家仍然必須定義問題、預期用途和證據標準，然後獨立驗證研究結果。 一項使用修改版比特幣交易資料集進行的詐欺偵測實驗，顯示了指示薄弱所帶來的風險。Claude Opus 5.0 在跨時間隨機切分資料，並使用一個刻意植入、會洩漏詐欺標籤的特徵後，回報 F1 分數 0.87 和 ROC AUC 0.99。在時間留出測試中，移除洩漏特徵並另外評估高連結度節點後，F1 降至 0.70。整體召回率為 0.61，而高連結度節點的召回率只有 0.21。 代理式資料科學實務指南建議五項做法：界定調查方向；為代理提供合適的工具和領域知識；組織有界限的實驗或相互競爭的分析；獨立審查結果；以及將經驗教訓保存為可重複使用的技能和評估測試。對預測建模而言，固定的評估器和未經使用的留出資料可以限制過度擬合。對因果分析而言，平行調查和安慰劑檢查可以揭露缺乏支持的結論。 文章將代理式資料科學呈現為一種轉變：從撰寫程式碼，轉向指定分析目標、設計工作流程，以及挑戰證據。AI 代理可以提升速度和規模，但在人類對特徵來源、資料意義、營運取捨及重大決策的判斷方面，仍然不可或缺。