当前，30 亿参数的 “小模型“ 的性能已经达到最开始 ChatGPT 所使用的 1750 亿参数模型的效果。这得益于更好的压缩技术（distillation 蒸馏、quantization 量化等），以及更高质量的训练数据。

这个小型化过程会带来显著的好处：边缘侧和端侧通常算力是有限的，没办法部署大模型，但小型的模型如果性能够，就可以用的起来。（而边缘和端侧等低延迟特性就可以发挥起来了）。

与此同时，我们也想到了另一个问题，甲方企业 CIO 的难题。通常一个 IT 项目从立项招标到部署应用，起码要耗费几个月，甚至更久的时间。而模型改进（如下图所示）是以月为单位进步的，