ChatGPT爆火，凭啥俩月1亿月活用户？预训练模型立大功

现阶段，一款名为GPT的人工智能聊天系统, 恰似平地一声雷, 陡然间在网络上疯狂传播。

据易观智慧院高级分析师陈晨评价, 以当下普遍可得的对话感受而言, GPT 最为突出的亮点, 在于其具备极为出色的意图识别才能以及语言理解本领, 这种情况让人察觉到人工智能的交互能力已然达成了跨越式的进步。

人们绞尽脑汁向GPT提问的热情, 被有问必答、侃侃应对的这种神奇人机互动体验勾起, 它还为GPT带来了惊人的用户量, 该系统由美国人工智能研究公司OpenAI在两个多月前推出, 今年1月就已达到1亿月活跃用户, 其用户增长速度堪称史无前例。

被业内称作预训练模型的技术, 是这款备受欢迎产品的关键幕后功臣。因GPT火爆, 国内科技团体与企业纷纷“亮剑”。最新消息表明, 中国版GPT下个月会在公众面前亮相。

GPT回答关于TA自己的问题。

参数规模从几百万狂飙至几千亿

如今, 预训练技术乃是人工智能研究里关键的突破要点。阿里研究院未来技术中心负责人苏中作出解读, 在传统的研究方式当中, 标注成本始终是妨碍把人工智能算法推向更大数据集合的阻碍因素, 然而预训练技术并不依靠数据标注, 能够训练出一个大规模深度学习模型。

科技日报的记者知晓了这样的情况, 因为并不需要去进行数据标注, 所以预训练模型常常能够运用更大范围的数据集, 并且进而能够挑选到更大型的模型规模, 这就这样导致了预训练大模型的出现。

IDEA研究院（粤港澳大湾区数字经济研究院）认知计算与自然语言研究中心讲席科学家张家兴, 在接受记者采访时介绍, 2012年前后有的深度学习网络, 其参数只有几百万 , 2018年前后主流的预训练模型参数达到1亿 , 目前已被证明非常有效的大规模预训练模型, 参数有几千亿 , 短短几年时间提升了几千倍 , 与以往的人工神经网络相比 , 预训练大模型最大的不同在于其规模足够大 , 深度学习网络的层数多 , 连接多 , 参数多。

GPT回答关于TA自己的问题。

质变由量变引发 在开展对预训练模型的各类不同技术评测期间 依据苏中所做的分析 算法性能呈现出这样一个规律 在其中 数据规模越大 预训练模型参数越多 作为结果的是 算法输出精度通常也就随之越高。

张家兴谈到, 除规模很大之外, 当前的预训练大模型因采用新结构模型, 极适合并行训练。同时, 在训练方式方面, 人工神经网络的预训练任务类似“解题”开云真人app官网登录app,开云真人app在线登录开云真人app官方版入口,开云真人app官网入口开运真人app下载苹果版,开运真人app下载，比如拿掉一句话里的某个词或者前半句, 使预训练模型借助海量大数据去恢复句子, 如此训练下去, 预训练模型的“解题”能力会愈发好。并且, 在大语言模型基础上引入指令学习, 能远超模型微调所带来的收益。立足于此种状况, 人类给出的反馈能够助力模型更优地领会人类意图, 且可接收信息, 如此一来, 人机对话便会愈发流畅了。

GPT回答关于TA自己的问题。

旷视研究院基础科研负责人张祥雨表示, GPT是人工智能产品, 在底层数据、核心技术、用户体验等各方面都堪称里程碑式。GPT的核心技术是人工智能语言大模型, 其关键在于让人工智能模型拥有逻辑推理能力, 以及让人工智能学习全互联网的知识。GPT基本达成了这些, 因而在决策和知识环节取得了很大突破。

国内多家科技机构已布局相关领域

据外国媒体报道, 多家在国外的科技巨头正投入重金到预训练模型以及人工智能生成内容即AIGC的赛道之中。记者知悉, 在国内已经有不少科技机构还有企业对相关领域进行布局。

记者被告知, 是张家兴, IDEA研究院认知计算与自然语言研究的中心在这方面进行布局有着很长时间了, 此中心有国内最大的开源模型系列, 即封神榜, 已经开源的, ９８个模型在全力给中国AIGC的发展提供支持, 去探索研究, 开发适合各个领域的, 个性化的, 可以定制的模型, 对所有的自然语言处理任务予以支持。

张家兴表示, 能在深度学习高速发展的第十年节点看到AIGC和GPT出现, 他感到很高兴, 如今所有这些自然语言处理任务正被统一到GPT模式下, 并且他们正在整合之前的模型和技术, 用来推出自己的类GPT模型。

图源：视觉中国

这个需求中存在主体错误信息, 相关投入和开发类似GPT技术的是百度的文心一言和ERNIE Bot, 并非如原句表述, 以下是纠正错误后按照要求改写: 从百度得知, 百度有着投入开发类似GPT技术之事, 其项目名字被确定为文心一言, 英文名字是ERNIE Bot, 在3月份完成内测之后会面向公众去开放, 当下, 文心一言正处于做上线之前冲刺的状态。

2月8日晚, 科大讯飞在投资者互动平台回应称, GPT主要涉及跟自然语言处理有关的技术, 它属于认知智能领域里的应用当中的一个, 科大讯飞在那个方向的技术以及应用方面有着长期深厚的积累, 公司现如今已经朝着认知智能领域陆陆续续开源了6大类、超过40个通用领域的系列中文预训练语言模型并且在去年12月开启了生成式预训练大模型任务攻关, 人工智能学习机将成为该项技术先锋落地的产品, 今年5月会进行产品级发布。

另外, 360公司在2月7日的时候, 于投资者互动平台表明, 这家公司同样制定了计划, 要尽快去推出类似GPT技术的原型版产品。360公司声称, “AIGC技术除开启在搜索引擎的运用以外, 还能够对数字安全能力的提高起到辅助作用。”。

（科技日报记者操秀英、刘艳对此文亦有贡献）

标签： ChatGPT 预训练模型 人工智能 自然语言处理 科技发展