高品味題庫 — 導入成功的關鍵

AI 要怎麼學會我們單位的專業知識?怎麼確保 AI 回答的品質?

這是整趟導入之旅最重要的一站

返回導入總覽


什麼是高品味題庫?

高品味題庫不是傳統的「問答集」,而是一套結構化的知識教材,讓 AI 能真正理解你的業務情境。

傳統做法是花大量時間寫提示工程(Prompt Engineering),告訴 AI 該怎麼回答。高品味題庫的做法不同——你把好的範例準備好,AI 會自動學會怎麼回答。

「你做完高品味題庫,提示工程就會完美了。Opus 4.6 會全自動看你的高品味題庫,幫你把提示工程寫出來,而且是泛化的、不會過度擬合的。」 — 泊寰(波特人技術長)


六欄位結構

每一筆題庫資料包含六個欄位:

欄位 內容 範例(國科會公文)
1. 動機 為什麼要做這份工作? 「國科會核定某教授的研究計畫補助」
2. 效益評估 完成後達成什麼效益? 「公文產出時間從 2 小時縮短至 10 分鐘」
3. 提問(Q) 使用者的實際提問,包含所有需要的參數 「請撰寫核定補助公文,受補助教授:王大明,金額:200 萬,計畫名稱:量子計算研究,機構:台大,期程:115 年 1 月至 12 月」
4. 答案(A) 期望的完整產出 完整的核定補助公文範本
5. 原始資料 參考文件 過去的核定公文 PDF、相關法規
6. 鑑別原則 審查標準 「格式正確、金額無誤、法規引用正確、用語符合公文體例」

六個欄位不需要每個都填滿,但核心精神是:讓 AI 知道「為什麼做」「怎麼做」「做得好的標準是什麼」。


高品味題庫 vs 傳統 Prompt Engineering

傳統 Prompt Engineering 高品味題庫
你要做的事 手工打磨提示詞,反覆測試調整 準備好的範例和評審標準
專業門檻 需要了解 AI 的運作方式 只需要了解自己的業務
擴展性 每個新任務都要重寫提示詞 新增題庫,AI 自動學會
品質穩定度 容易過度擬合特定案例 泛化能力強,新案例也能處理
誰來維護 需要 AI 工程師 業務人員就能更新題庫

怎麼建立你的第一份高品味題庫?

步驟一:選定一個情境

從你單位最常做、最耗時的工作開始。例如: - 公文撰寫(核定補助、人事異動、採購案) - 會議記錄整理 - 文件審查(申請案、環評案) - 數據分析報告

步驟二:收集 5-10 個真實範例

找出過去做得好的成品。這些就是你的「答案(A)」欄位。

關鍵教訓:提問欄位必須包含完整參數。 國科會公文實測中發現,如果提問只寫「幫我寫核定補助公文」,AI 會亂填教授名稱和金額。正確做法是把所有該填的值都寫進提問。「即使是模擬的,你都必須模擬出跟真的感覺很像的真的樣子。」

步驟三:定義鑑別原則

找你單位的專家(科長、資深承辦人)來定義:什麼算「做得好」?檢查哪些項目?

步驟四:用 AI 協助擴展

有了 5-10 個真實範例後,可以用 AI 協助產生更多變化題目,再由專家審核。

步驟五:多輪迭代驗證

讓真實使用者試用,記錄每一輪的問答過程。最新的題庫格式支援: - 多 Sheet:每個 Sheet 是一個完整任務 - 時間戳:記錄每輪迭代的時間 - 多輪對話:完整保留迭代過程,而非只保留最終結果


真實案例:國科會公文高品味題庫

背景: 國網中心過去兩年跟 7 個政府機關合作推 TAIDE 模型做公文,投入將近一億經費,全部失敗。國網中心轉向波特人,採用 Agentic AI + 高品味題庫的方式。

做法:

  1. 收集 100 份國科會真實公文(核定、退休案、採購案、函、公告、開會通知)
  2. 建立 5 個高品味題庫,採用多 Sheet、多輪對話、時間戳的新格式
  3. 每份題庫由業務人員填寫六欄位,AI 工程師協助結構化
  4. 建立自動評測系統,5 個維度打分:公文撰寫、OCR 精確度、法規引用、回應速度、繁中語感

成果:


真實案例:法務部全國法規智慧入口

背景: 全國法規資料庫一年有 1.2 億次查詢。法務部希望 AI 能用白話文幫民眾解釋法規、引導到對的機關。

高品味題庫的應用:

定價模式: 「問一次四台幣,四十八萬封頂」— 簡單到機關承辦人一聽就懂。


下一步