QUALITY每週品質評測
每週品質評測：全部紀錄都在這裡
我們用同一組固定的測試題，定期重跑品質評測。評測每週自動執行，同一天也可能多次執行。下面是全部紀錄，沒有挑選任何一次。
43 次真實評測，分布在 19 個評測日期。資料期間：2026-08-05 至 2026-10-16。
SUMMARY統計
統計摘要
下列數字全部來自評測紀錄的逐次計算，每一項都附上它的範圍。
- 評測次數RUNS
- 43 次真實評測
- 評測日期DATES
- 分布在 19 個評測日期
- 資料期間RANGE
- 2026-08-05 至 2026-10-16
- 題數CASES PER RUN
- 每次評測都是 60 題
- 綜合分數OVERALL MEDIAN
- 綜合分數中位數 97.83（每次評測 60 題）
- 忠實度FAITHFULNESS MEDIAN
- 忠實度中位數 100
- 完整度COMPLETENESS MEDIAN
- 完整度中位數 91.67
- 相關性RELEVANCE MEDIAN
- 相關性中位數 99.67
- 最低的一次OVERALL MIN
- 綜合分數最低一次為 89.07，出現在 2026-08-13 那次評測
- 忠實度最低的一次FAITHFULNESS MIN
- 忠實度最低一次為 90，出現在 2026-08-13 那次評測（CSV 註記：當次 6 題未產生答案）
- 禁止內容題數FORBIDDEN
- 43 次中，33 次 0 題、10 次各 1 題被判出現禁止內容；沒有任何一次超過 1 題
- 同一天最多SAME DAY MAX
- 同一天最多執行 9 次（2026-10-05）
ALL RUNS全部紀錄
全部評測次數
每一次評測都畫在圖上，沒有刪除或挑選任何一點。
圖中最低的一點：當次部分題目未產生答案。
每一次評測都在下方標示。一條表示當次有一題被判出現禁止內容；小點表示沒有。
橫軸依評測時間排列，同一天的多次評測並排顯示。圖上不標數字刻度，數字請看上方的說明。
METHOD評測方法
評測方法與指標
說明評測做什麼、每個指標代表什麼，以及結果能與不能拿來做什麼。
- 綜合分數
- 由忠實度、相關性、完整度與是否出現幻覺加權合成的總分，數字越高越好。
- 忠實度
- 回答的內容，有多少能在來源文件中找到依據。
- 相關性
- 回答是否直接回應所問的問題。
- 完整度
- 是否答到該題的應答要點。由規則比對要點判定。
- 禁止內容題數
- 回答中出現人工標註的禁止內容，計為一題。每次評測的題數逐次標示在圖的最下方。
評測範圍
繁體中文企業知識問答的固定測試題。每題都有人工標註的應引用文件、應答要點與禁止內容。評測在測試環境、以標準系統設定執行，不含客戶各自設定的 Agent。
怎麼評分
由 AI 評審模型依固定的評分準則給分。完整度另以規則比對應答要點；禁止內容以規則比對判定。綜合分數由忠實度、相關性、完整度與幻覺判定加權合成。
失敗題怎麼計
每次評測的題目數都相同，全部計入。被判出現禁止內容的題數，單獨列在禁止內容題數。若當次有題目未產生答案，紀錄上會註記，圖上也會標示。
不同執行之間可不可以比較
同一套測試題與同一套評分準則下的結果，可以互相比較，用來看趨勢。若模型、系統設定或評審方式改動，改動前後的分數不宜直接比較。
評測頻率
評測每週自動執行。同一天也可能執行多次，所以資料期間內的評測次數會多於評測日期數。