CMMLU

描述：一个综合性的大模型中文评估基准

CMMLU 介绍

CMMLU（Chinese Massive Multitask Language Understanding）是上海交通大学、MBZUAI 与微软亚洲研究院联合发布的中文大模型权威评测基准，包含 67 个学科共 13 948 道四选一题，覆盖自然科学、人文社科、工程与常识，题目深度结合中国语境与文化特色，支持 zero-shot 与 5-shot 评估。官方提供完整数据集、排行榜与开源代码，已集成至 OpenCompass 等主流评测框架，免费使用，被学界与工业界广泛采纳。