AI #M4XARZ
不同 AI 大模型的训练成本
Robin  |  2024-04-19

Epoch 研究显示,Google Gemini Ultra 的训练模型达到了 1.91 亿美元,而 OpenAI GPT-4 的训练成本估计为 7800 万美元。

对比,Google 最早的 Transformer 的训练成本仅为 900 美元。

所谓 Scaling laws (尺度定律),最浅显的理解就是物理规模得很大。

数据来源 Epoch Stanford
分享链接 http://robin5G.com/M4XARZ
延伸阅读
广告 2022-10-20 GroupM
二十年来广告行业与 GDP 的增速对比
附图是 GroupM 和世界银行的数据,全球广告行业收入和 GDP 二十年来的增速对比。可以看到 2000 年后的大部分时间,广告行业和 GDP 呈现很大的相关性;而且在 2000 年互联网泡沫破灭和 2008 金融危机,广告行业的下行远超 GDP。...
安全 ESET 2022-10-20 GSMA
电信运营商消费者用户的安全增值需求
GSMA 之前有过调研,围绕消费者用户是否有意向在移动套餐中包含安全类增值服务。有 50% 的反馈已经或有意愿采用安全服务。附图是 ESET 的一个方案简介,在用户访问互联网时,会对不安全站点进行一系列的过滤。...
零售 星巴克 2022-10-20 SVPG
The Supermarket of Software: Changing How You Decide Which Problems To Solve
Consider your neighborhood supermarket. When you walk in, you see somewhere between 40,000 – 50,000 products. How do you decide. By Jon Moore and Marty Cagan This is the second of a three-part sequence on defining transformation. Changing how you...