兩種威脅,不能用同一種防線
分清資料污染與提示注入
資料污染發生在訓練、微調或知識資料準備過程,可能讓模型學到錯誤規則或偏差。提示注入則可能藏在使用者輸入、檢索文件或外部網頁中,企圖改變模型原本的任務。前者需要來源與版本控制,後者還需要執行時的權限隔離。
微調可以調整風格與特定任務能力,但不應被視為消除提示注入的保證。模型拒答測試通過,也不能推論所有外部資料都安全。
訓練前先建立資料使用清單
取得檔案,不代表取得所有使用權
每份資料應記錄來源、授權條件、蒐集目的、可使用的任務與保存期限。對外購資料、客戶文件及員工提供的內容,需確認是否允許訓練、衍生使用或交由第三方處理。公開可下載的內容仍可能有著作權、個資或契約限制。
將資料分成可用、需補授權與不可用,避免先訓練再處理爭議。若資料必須刪除,還要評估對資料集、索引、模型版本及已交付產物的影響,不能只刪除原始檔就宣布完成。
模型與資料都需要版本管理
知道哪次變更造成品質或安全退步
保留資料版本、前處理規則、模型來源與評估結果,讓每次部署可追溯。第三方模型、套件及載入格式也應審查,不應在正式環境直接執行未驗證的外部程式。訓練資料與測試資料分離,避免把記憶答案誤當成泛化能力。
加入代表性的錯誤、缺漏與惡意內容樣本,評估模型是否洩漏敏感資訊或產生不當操作請求。測試紀錄要包含模型與提示版本,否則更換模型後,舊結果無法代表新系統。
提示注入的防守重點在系統邊界
外部內容是資料,不是操作授權
把可信任的任務指示與外部內容明確分離,但不要把文字分隔符當成唯一防線。工具應有允許清單、嚴格參數驗證與最小權限;模型輸出在進入資料庫、網頁或交易程序前,也必須依使用情境驗證。
例如助理讀到供應商文件時,即使文件要求寄出內部報價,也不能越過收件者限制或人工審核。防護應在模型之外拒絕未授權操作,並保留事件證據供修正。
採購與驗收要問哪些問題?
把風險測試納入每次重要更新
要求供應商交付資料使用範圍、模型版本、評估樣本與限制說明;對敏感任務另外測試跨租戶查詢、外部文件誘導與工具誤用。品質、延遲、成本與安全要一起比較,避免只挑答得最快的版本。
可先以隔離測試環境完成試點,再逐步接入真實資料。高風險操作維持人工覆核,並定義異常時停止工具、回復版本與通知負責人的程序。
常見問題
資料去掉姓名就可以訓練嗎?
不一定。仍需確認授權、用途與可重新識別風險。
提示詞寫得嚴格就能擋住攻擊嗎?
不能保證。仍要在檢索、工具、後端授權與輸出處理建立獨立控制。
