大模型 #RADC4V
开源大模型正在缩小与闭源大模型的差距
Robin  |  2024-07-28

MMLU(大规模多任务语言理解)是一种大模型能力的测试基准,旨在通过在零样本和少样本设置中专门评估模型来衡量预训练期间获得的知识。比较类似评估人类学习能力的方式。该基准涵盖了 STEM、人文科学、社会科学等 57 个学科。

Maxime Labonne 针对主流大模型的 MMLU 测试结果显示,以 Meta Llama 为代表的开源大模型正在缩小与闭环大模型的差距。

数据来源 Maxime Labonne
分享链接 http://robin5G.com/RADC4V
延伸阅读
广告 2022-10-20 GroupM
二十年来广告行业与 GDP 的增速对比
附图是 GroupM 和世界银行的数据,全球广告行业收入和 GDP 二十年来的增速对比。可以看到 2000 年后的大部分时间,广告行业和 GDP 呈现很大的相关性;而且在 2000 年互联网泡沫破灭和 2008 金融危机,广告行业的下行远超 GDP。...
安全 ESET 2022-10-20 GSMA
电信运营商消费者用户的安全增值需求
GSMA 之前有过调研,围绕消费者用户是否有意向在移动套餐中包含安全类增值服务。有 50% 的反馈已经或有意愿采用安全服务。附图是 ESET 的一个方案简介,在用户访问互联网时,会对不安全站点进行一系列的过滤。...
零售 星巴克 2022-10-20 SVPG
The Supermarket of Software: Changing How You Decide Which Problems To Solve
Consider your neighborhood supermarket. When you walk in, you see somewhere between 40,000 – 50,000 products. How do you decide. By Jon Moore and Marty Cagan This is the second of a three-part sequence on defining transformation. Changing how you...