回到全部筆記
工程 · 生活與資料Facebook / 程世嘉 · 時間未確認整理:Sidney收錄 2026.09.19更新 2026.09.19

TMMLU+ v1.1:比較分數前先固定題庫版本

基準名稱相同,不代表測的是同一份題目或同一種平均。

來源重點

程世嘉 分享 TMMLU+ 更新。iKala 資料卡說明 v1.1 修訂與刪除部分題目,並區分版本;評分匯總方法也會影響結果,因此不同題庫或加權方式的分數不能直接排在一起。

整理判斷

評測紀錄至少要能回查資料版本、提示設定與計分方式,才能辨識模型改善還是題庫改變。

回查與使用情境

固定題庫 revision 與評分程式,在相同設定測兩個模型;保留分類成績和總分計算,並將評測題排除於調整提示或訓練用資料之外。

需要留意

只核對資料卡,未重跑評測;不以單一基準代表所有繁中能力,也不採用最大或普遍採用等未核實宣稱。

原始來源Facebook / 程世嘉
前往原始內容
來源與閱讀紀錄 · 2026.09.19

已讀主文及可見留言,閱讀官方資料卡的版本、題目修訂和分類加權說明;未下載題目或重跑。

本次未取得可靠的原帖發布日期;收錄日不代表來源發布日。

Facebook / 程世嘉 原文 · 2026.09.19
已讀主文及可見留言,閱讀官方資料卡的版本、題目修訂和分類加權說明;未下載題目或重跑。

iKala TMMLU+ dataset card · 2026.09.19
已讀資料卡;注意頁面不同區塊計數口徑,本文不援引題數。