外籍院士罗智泉:大模型发展模式不可持续
(原标题:外籍院士罗智泉:大模型发展模式不可持续)
图片来源于网络,如有侵权,请联系删除
11月26日,中国工程院外籍院士、香港中文大学(深圳)副校长(学术)、深圳市大数据研究院院长罗智泉,在深圳创新发展研究院举行的活动中,认为大模型高耗能的发展模式不可持续,需要考虑落地成本,垂直领域中小模型是一个新方向。
图片来源于网络,如有侵权,请联系删除
罗智泉表示,AI发展的每个阶段都代表着AI能力和应用的某种进展。2023年是生成式人工智能的突破之年,以ChatGPT为代表的人工智能大模型,内容生成能力表现惊艳,一时间拉开了国内“百模大战”的序幕。
图片来源于网络,如有侵权,请联系删除
罗智泉梳理了AI的发展历程,及全球发展态势,指出我国大语言模型发展迅速,不乏华为―盘古大模型、阿里云―通义千问、腾讯―混元大模型这样的优秀成果,但在技术封锁的大环境下整体上呈追随态势。
有研究估测,训练1750亿参数量的大模型GPT-3,能耗相当于开车往返于地球和月球,一次运算就要花费450万美元。
罗智泉将AI能耗与人脑能耗对比,人脑相当于低功耗灯泡,能耗量平均约25瓦;而GPT-3训练一次消耗约1287兆瓦时,GPT-4能耗预计更高,ChatGPT日均消耗超过50万度电,从而指出大模型的发展模式不可持续,落地实现大模型的价值,需要考虑部署成本,垂直领域中小模型是一个新方向。
他认为,大模型和人脑相比还有所不同,模型的大问题是数据越来越多,调好了一方面,其他方面又变弱,没有局部化,如果是局部化,某部分调整只用改某部分的参数,只涉及某部分神经元。
作为科研工作者,罗智泉感受到国际地缘政治的影响,国际合作变得越来越难。但罗智泉对中国的科技及产业发展持乐观态度,并以AI技术赋能5G网络性能的亲身体验展现了AI在突破技术封锁、引领产业升级中的巨大作用。
对于AI的未来发展趋势,罗智泉表示更重要的是广泛应用前景,商业的闭环很重要,现在因为能耗、能力、人才等方面的问题,AI产业大部分是在烧钱的。
他认为,随着AI发展,很多行业会被改变,大学也会发生变化,就像斯坦福大学随着硅谷崛起一样,抓住机会的大学也会崛起。
他认为同声翻译专业可能需要关停并转,商科中的一些专业,包括会计,GPT的能力已经可以做到,以后需求会变小,他所在的大学全校的学生都要学人工智能的初级版,是必修扫盲课。人文社科也需要拥抱计算社会科学,不能简单做问卷调查,问卷调查不能反映社会全部。
他比较重视有交叉的学科,希望学生能设计多个学科,有基础数学的分析推理能力,另外他很重视物理,OpenAI做AI的年轻人很多是学物理出身,包括埃隆马斯克也是如此,可以帮助了解世界。