大模型扩张背后的算力与能源代价：巨额投入与挑战并存

中新网北京6月3日电 (记者 夏宾)近年来，为了追求大模型的智慧能力，各国公司不停加码投入，4月，Meta宣布追加10亿美元投资，用于其AI芯片研发和AI数据中心建设；亚马逊为了建设新数据中心投入110亿美元。但在大模型扩张的背后，算力代价、能源代价同样巨大。

有业界技术团队测算，若要对一个5000亿参数规模的单体大模型进行充分训练，所需算力基础设施约在10亿美元规模，每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业，这都是天文数字和巨大代价，中国也不例外。

知名科学杂志《》此前发表了一篇关于大模型未来发展之路的文章，《In Al, is ?》(人工智能，越大型越好？)。争议的出现，意味着AI发展方向出现了分歧。

如今，“大”不再是模型的唯一追求，计算效率和算力开销两大问题成为新的行业焦点。

对大模型推理成本的优化，可通过很多技术手段实现。首先是模型本身，模型结构、训练方法都可以持续改进，包括业界很关注的MoE(混合专家模型)，就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大，优化推理成本的空间也越大。以前的模型都是单机推理，大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好，推理成本就会大大降低。