TMMLU+ v1.1:比較分數前先固定題庫版本
基準名稱相同,不代表測的是同一份題目或同一種平均。
來源重點
程世嘉 分享 TMMLU+ 更新。iKala 資料卡說明 v1.1 修訂與刪除部分題目,並區分版本;評分匯總方法也會影響結果,因此不同題庫或加權方式的分數不能直接排在一起。
整理判斷
評測紀錄至少要能回查資料版本、提示設定與計分方式,才能辨識模型改善還是題庫改變。
回查與使用情境
固定題庫 revision 與評分程式,在相同設定測兩個模型;保留分類成績和總分計算,並將評測題排除於調整提示或訓練用資料之外。
需要留意
只核對資料卡,未重跑評測;不以單一基準代表所有繁中能力,也不採用最大或普遍採用等未核實宣稱。
原始來源Facebook / 程世嘉
前往原始內容來源與閱讀紀錄 · 2026.09.19
已讀主文及可見留言,閱讀官方資料卡的版本、題目修訂和分類加權說明;未下載題目或重跑。
本次未取得可靠的原帖發布日期;收錄日不代表來源發布日。
Facebook / 程世嘉 原文 · 2026.09.19
已讀主文及可見留言,閱讀官方資料卡的版本、題目修訂和分類加權說明;未下載題目或重跑。
iKala TMMLU+ dataset card · 2026.09.19
已讀資料卡;注意頁面不同區塊計數口徑,本文不援引題數。