ChatGPT:“现象级”产品 背后的AI 技术发展与展望

0

苏 中

今天,你和ChatGPT 聊天了吗?它仅仅开发13 天就匆匆上线,却在2 个月内就获得过亿用户。这一基于AI 的产品持续火热出圈, 在社会各界引发越来越多的关注。以此为契机, 业界对于人工智能技术的革新与应用展开新一轮讨论,其中大模型的创建和学习能力成为关注焦点。

一、AI 技术变革:算法、算力、数据

目前,预训练技术(Pre-Trained Model) 是人工智能研究的重要突破口。传统的研究方法中,标注成本一直是阻碍AI 算法推向更大数据集合的障碍;而预训练技术不依赖数据标注,就可以训练出一个大规模深度学习模型。全球AI 团队选择儿童电视节目《芝麻街》中的木偶人物来命名各种新预训练算法,比如Elmo、Bert、Ernie 等。

在对预训练模型各种不同的技术评测中, 算法性能展示了一个规律:数据规模越大、预训练模型参数越多,算法输出精度往往也越高。随着技术的突破,模型规模的不断增长,其展现出的能力、潜力和丰富的应用场景激发了更多的企业和研究机构投身其中。超级模型除了可以消化更大规模的数据,也需要消耗更高的算力。

OpenAI 公司对人工智能算法训练所消耗的算力进行统计, 结果发现, 从2012 年到2020 年,人工智能模型训练消耗的算力增长了30 万倍,平均每3.4 个月翻一番,这超过了摩尔定律的每18 个月翻番的增长速率。人工智能技术已成为推动IT 技术发展的新动力引擎。

二、全球AI 技术发展格局:中美领跑

从2014 年到2018 年,AI 模型的参数规模还在1 亿的数量级上下浮动。从2019 年开始, AI 大模型突然爆发,参数规模也以指数级增长。2019 年2 月,OpenAI 的GPT2 达到了15 亿参数规模。2020 年6 月,GPT3 达到1750 亿参数规模。2021 年1 月,谷歌大脑推出1.6 万亿参数规模超级模型,再次刷新规模记录。

中国本土技术团队同样加入到了这一场人工智能技术竞赛中。阿里巴巴达摩院在2020 年初便启动了中文多模态预训练模型M6 项目, 同年6 月即推出3 亿参数的基础模型。2021 年1 月,模型参数规模到达百亿,成为世界上最大的中文多模态模型;同年5 月,具有万亿参数规模的模型正式投入使用,追上谷歌的发展脚步;同年11 月,M6 参数规模扩展到10万亿,成为当时全球最大的AI 预训练模型

不少中国企业和研究机构正积极投入到中文预训练大模型项目中。在人工智能超级大模型这条“数据、算法、算力”三轮同时驱动的技术赛道上,中美两国技术团队已经形成“两架马车”的发展模式,不断刷新人工智能能力规模的边界线。

基于AMiner科技情报系统的数据, 根据AIGC 领域知识图谱进行检索(如图1 所示),利用文献计量方法,笔者梳理出2012 年到2021 年间,全球发表的AIGC 高质量论文(论文引用量排名前1%)共计1,646 篇。统计发现,在AIGC 高质量论文领域,中美两国在发表数量上几乎持平,且大幅度领先其他国家。在发展趋势上,中国更有后来者居上的势头(如表1 和图2 所示)。

然而,在更大的数字技术领域, 中国在高价值论文部分,同发达国家仍有不小差距。未来,需要产、学、研协同发力,共同推动中国数字技术向价值链高端跃升。

三、AI 产业发展:资本与人才

深蓝打败了卡什帕罗夫、AlphaGo 战胜了李世石……对于业内人士来说, 这些曾经轰动一时的现象级技术进步, 仅仅是完成了固定任务的“弱人工智能”。开发具有跨领域学习能力的“强人工智能”技术,才是人类努力的终极目标。常识学习、跨领域模型迁移、小样本和零样本学习……一个个技术的拦路虎挡在通往强人工智能的技术道路上,而人工智能超级模型的出现, 照亮了这条道路的前进方向。

OpenAI 为训练GPT3 超级模型, 投入了1200 万美元的成本。在人工智能超级模型的赛道上,赛手需要掌握海量的数据、超大规模的人工智能计算平台以及掌握核心技术能力的算法团队,三者缺一不可。这也许能够从一个侧面解释在追求人工智能技术最前沿的赛道上,为何目前只出现了美国和中国技术团队的身影。中美两国在人工智能技术领域已形成激烈竞争的格局。数据、算法和算力是这一人工智能技术浪潮的三轮驱动引擎。中国拥有全世界最大的互联网和移动互联网用户规模,这使我国在数据领域具有毋庸置疑的领先地位;与此同时, 我国的互联网平台企业也正积极构建着极具竞争力的算力平台和算法团队。

斯坦福大学HAI 研究所发布的2021 全球AI 指数报告显示,2020 年全球尽管受到新冠疫情拖累,各方面的经济发展均受到极其负面的影响,但人工智能领域发展却一枝独秀,相关投资仍然在大幅增加,当年私人资本在人工智能领域的投资比前一年增加9.3%,远高于疫情前2019 年5.7% 的增长率;在资金方面,美国仍然是人工智能私人资本投资的首选目的地,当年总投资超过230 亿美元,是中国相关投资金额99 亿美元的两倍多。

近日发布的《2023 全球数字科技发展研究——科技人才储备实力研究报告》,对包括AI 行业在内的各国数字科技人才储备情况做了全面比较。结果显示,与美国相比, 中国数字科技人才基数大,但存在高层次人才少、净流出数量多以及人才集中在高校而非企业等问题。显然,中国在巩固数字科技人才方面的工作任重道远(如图3 所示)。

 

四、ChatGPT 的未来: 脑力的解放

OpenAI 公司应该也没有想到ChatGPT 会一夜爆红,这款对话机器人(chatbot)产品不仅开发时间短,模型也没有构建在OpenAI 即将发布的最新一代GPT4 模型之上,而是采用了上一代的GPT3 的增强模型

不过,从生成式AI 技术(Generative AI 或AIGC)的发展趋势来看,ChatGPT 这一类现象级应用的横空出世与迅速爆红并非意外。随着AI 大模型技术的不断成熟,AIGC 技术已经走出实验室, 应用场景也已从初始的文本生成发展到多模态领域。例如,谷歌旗下的Deepmind 公司推出了自主编程应用AlphaCode,在 Codeforces 举办的编程比赛中,超过了 45.7% 的人类参赛者。由OpenAI 开发的另一款图片生成应用DALL·E-2,已入选时代杂志评选的2022 年度最佳发明。英伟达开发的一款3D 模型生成工具Magic3D,用户输入文本描述就可以自动生成结构极其复杂的3D 模型。此外,由阿里巴巴达摩院开发的多模态大模型M6,利用文本输入即可自动驱动人体3D 模型的动作合成

在图文创作、代码生成、3D 模型设计、3D 动画制作等领域,生成式AI 技术展示出深厚的潜力,其应用边界也将随着技术进步与成本降低扩展到更多领域。

高科技投资机构方舟投资(ARK Invest) 发布报告预测,以AIGC 为代表的新一代人工智能技术将辅助知识工作者(包括教师、律师、医生、财务、程序员等白领职业)提高工作效率。报告还预测,到2030 年,AI 将使知识工作者的平均工作效率增加140%,并将可能大幅度降低脑力劳动者的工作强度。如果上述这一切成为现实,或将是继人类历史上由于动力革命而使人摆脱了繁重的体力劳动之后,人类社会发生的又一次伟大的技术革命。

(作者单位:阿里研究院)

 

评论被关闭。