1月10日AGI-Next前沿峰会热议：大模型下一代技术范式啥样？

【金色港湾资讯网为您推荐阅读】

在大模型遭遇Law（缩放定律）所带来的增长方面的瓶颈之际，下一代技术范式究竟会是怎样一种情况呢？

1月10日，在一场前沿峰会上，这场峰会是由清华大学基础模型北京市重点实验室、智谱AI发起的AGI - Next前沿峰会，腾讯控股领域为“CEO/总裁办公室”，其首席AI科学家是姚顺雨，阿里巴巴那边Qwen技术负责人是林俊旸，Kimi创始人是杨植麟，智谱创始人是唐杰等人工智能行业人士都聚集在了一起，共同去谈论大模型下一代技术范式。

基于对下一代范式的猜测，自主学习成为热门概念，它能让大模型摆脱对人工标注以及离线预训练的强烈依赖，借助自主生成学习信号以及闭环迭代优化来达成持续进化，这是一种范式。按照姚顺雨的观点，当下自主学习已然成为极为热门的词汇，人们在硅谷大街小巷的咖啡馆都在谈论它，并且逐渐形成了共识，然而每个人对于自主学习所下的定义以及所持的看法都不尽相同。

从具体方面来说，自主学习可不是那种普遍适用的“方法论”，它是特别高度依赖于具体的“数据与任务”的场景化实践。去探索全新的科学，朝着该领域的专业方向进化，这同样是一种自主学习。再有，其二，如今已经能够对这个项目95%的代码进行转型，以此助力自身变得更加出色，这难道不是一种自我学习吗？

因此，姚顺雨持有这样的看法，自主学习这一事情已然出现了，只是由于受到效率之类的因素的约束，还存有各种各样的问题，他觉得当前自主学习的范式迭代更像是逐步的变化，而不是突然的改变。

说到当前全球市场里哪企业最有率先引领范式创新的可能性，姚顺雨讲，尽管历经商业化等多样变化，创新基因遭削弱，可依旧是最有新范式诞生可能的所在之处。

林俊旸有一种观点，就是当下的RL也就是强化学习范式正处在早期阶段，其潜力远远还没有被充分地挖掘出来，在全球范围内依旧面临着诸多具有共性的挑战，并且下一代范式的核心是“自主进化”以及“主动性”。只是对于自主进化是不是需要更新参数，不同的人有不同的看法。

此（时），具备主动性这况状呢又会引致新的安全方面的问题了，比如那这个AI呀有可能是依据自主的意图来来采取属于实实在在里的行动。所以呀那般么，在赋予这个AI以主动性的这个当的情况下，一定得如同教育孩子这样子的方式一般去投入注入正确的价值观以及约束。

对于杨植麟所表达的内容而言，在K2之后呢，其所在团队也始终在不间断地探索着下一代模型，其中最为关键重要的一项改进便是线性注意力机制，并且还尝试着在长程任务上面去打败全注意力机制 。

唐杰觉得，在2026年的时候，将会出现特别巨大的范式革新，这其中涵盖了持续学习、（记忆）、多模态，这些都存在发生的可能性。往昔，工业界依靠相比学术界具有万倍之多的算力优势，就像1万张卡相对于1张卡这样，从而主导了大模型的发展，然而，如今这种局面已经明显出现了改变，高校的算力环境得到了改善，虽说仍然有着大约10倍的算力差距，可是学术界已然具备了能够孵化颠覆性技术的土壤。

那个在现场，被问到了关于“三至五年后，全球最领先的AI公司属于中国团队的概率究竟有多大”的问题，姚顺雨给出的回应是概率相当高，原因在于只要任何事情被发现，在中国就能够迅速地进行复现，并且在众多局部方面做得更为出色，关键在于中国光刻机能不能达成突破，中国市场拥有电力方面的优势、基础设施方面的优势，而主要的瓶颈在于产能以及软件生态。

其次，要培育更为成熟的TO B市场，或者试着到国际商业环境里展开竞争。姚顺雨表示，“中国想要突破新范式的人或许并不够多，想要做非常冒险之事的人可能也不够多，这里存在着经济环境因素，有商业环境因素，还包括文化等方面的因素。”。

此外，姚顺雨晓得国内对于刷榜或者数字更为看重，相比较起来，国内更加关注“什么是正确无误的事”、关心“什么是你能够体验辨别出好或者不好的”。该模型在编程或是软件工程方面的榜单排名并非处于最高位置，不过行业内的人都清楚它的模型（至于编程领域）是最为出色的。