MMLU Dataset(大规模多任务语言理解数据集) MMLU Dataset旨在通过仅在零样本和少样本设置中评估模型来衡量预训练期间获得的知识。这使得基准测试更具挑战性,并且更类似于人类评估知识的方式。该基准涵盖了STEM(科学、技术、工程和数学)、人文、社会科学等领域的57个学科,难度从初级到高级专业水平不等,既考验世界知识,也考验解决问题的能力。
渥太华大学 渥太华大学(University of Ottawa,简称U of O)位于加拿大首都渥太华市中心,是一所以英法双语教学而闻名的研究型大学。作为全球最大的英法双语大学之一,渥太华大学在多个学术领域享有盛誉。
纽卡斯尔大学 纽卡斯尔大学(Newcastle University) 是英国一所历史悠久、学术严谨、工科与医学并重的世界百强研究型大学,尤以计算机科学、工程、建筑、传媒、医学、商科、环境科学、城市规划、神经科学、公共健康等专业享有全球声誉。作为英国罗素集团(Russell Group)成员,纽卡斯尔大学科研投入强、国际认可度高、就业导向明确。