网易首页 > 网易辽宁 > 正文

最新成果!中国计算机大会现场王海峰揭秘文心大模型4.0

0
分享至

10月26日-28日,第二十届中国计算机大会(CNCC2023)在辽宁沈阳举办,国内外计算机领域的专家学者、科技领军人才、企业代表共同探讨计算及信息科学技术领域最新进展和宏观发展趋势。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在会上解读文心大模型最新技术,阐述大模型产业模式。据了解,自文心一言3月发布至今,文心大模型4.0训练算法效率提升3.6倍,周均训练有效率超过98%,推理性能提升50倍。

王海峰认为,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,且越来越强,为发展通用人工智能带来了曙光。

百度在3月16日发布知识增强大语言模型文心一言,目前文心一言的基础模型已迭代到文心大模型4.0版本。知识增强大语言模型从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。

例如在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑能力。此外,在输入和输出阶段都进行知识点增强。而在插件方面,通过数据驱动、提示构建,以及插件增强进行场景适配,协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影等原生插件,扩展了大模型能力边界,更适应场景需要。

此外,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。

王海峰表示,基于更强平台、更优数据、更好算法,我们训练出规模更大、效果更好的文心大模型4.0。通过飞桨与文心的协同优化,模型周均训练有效率超过98%,训练算法效率提升3.6倍,推理性能提升50倍。文心4.0的理解、生成、逻辑、记忆四大能力显著提升,其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。

具体而言,在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,并通过多种策略优化数据源及数据分布,大幅提升模型效果。

基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。

公开数据显示,文心一言面向全社会开放一个多月,用户规模达到4500万,开发者5.4万,场景4300个,应用825个,插件超过500个。飞桨和文心生态愈加繁荣,已凝聚800万开发者,服务22万家企事业单位,基于飞桨创建了80万个模型。

演讲中,王海峰进一步展示了文心一言的理解、生成、逻辑、记忆能力。文心一言精准推荐了沈阳的赏秋胜地,根据指令作了一首以“虎”为题,不出现“虎”字的诗,生动表现了森林之王老虎的威猛形象。而在工作中,文心一言已经成为“超级助理”,实现了IM对话智能总结、会议洞察和会议纪要实时生成、一键智能差旅等。据悉,目前这些功能已应用于百度的工作流程中,助力员工提升工作效率。

面对大模型产业化的挑战,王海峰表示,类似芯片代工厂模式,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。目前,这一产业化路径已在文心大模型产业实践中得到验证,百度与各行业头部企业、机构共建了包括能源、金融、航天、制造、传媒、城市、社科以及影视等行业大模型,正加速大模型产业化落地。

相关推荐
热点推荐
李晟被追授“优秀共产党员”称号,医院官网首页变黑白

李晟被追授“优秀共产党员”称号,医院官网首页变黑白

新民晚报
2024-07-22 17:01:55
四千万都嫌贵!天才中卫遭全欧轻视,两大缺点成关键,仅曼联能用

四千万都嫌贵!天才中卫遭全欧轻视,两大缺点成关键,仅曼联能用

祥谈体育
2024-07-23 11:43:42
二人世界?亚马尔和女友晒希腊度假照

二人世界?亚马尔和女友晒希腊度假照

懂球帝
2024-07-20 22:40:16
以色列叫嚣轰炸沙特东风基地,沙特:中国解放军在那,你敢炸试试

以色列叫嚣轰炸沙特东风基地,沙特:中国解放军在那,你敢炸试试

青栀伊人
2024-07-18 12:44:09
走路是长寿的良药!再次提醒:到了70岁,走路牢记“4不要”

走路是长寿的良药!再次提醒:到了70岁,走路牢记“4不要”

肿瘤的真相与误区
2024-07-22 09:44:53
坚持“自愿、弹性”,延迟退休避免“一刀切”   新京报社论

坚持“自愿、弹性”,延迟退休避免“一刀切”   新京报社论

新京报
2024-07-22 22:55:08
董宇辉新工区首播,做饭阿姨做事有多么认真?直呼:以为它是模具

董宇辉新工区首播,做饭阿姨做事有多么认真?直呼:以为它是模具

阿芒娱乐说
2024-07-22 15:56:41
选举尘埃落定,蒙古国新主席出现,对华态度不简单,普京开始行动

选举尘埃落定,蒙古国新主席出现,对华态度不简单,普京开始行动

知鉴明史
2024-07-22 18:26:31
华裔设计师王薇薇嘴下的大曲线总结出来就一神经病

华裔设计师王薇薇嘴下的大曲线总结出来就一神经病

好笑娱乐君每一天
2024-07-22 07:15:02
安徽19岁小伙认42岁上司为干妈,去其家中蹭饭借宿引发悲剧

安徽19岁小伙认42岁上司为干妈,去其家中蹭饭借宿引发悲剧

苏大强专栏
2024-07-20 23:05:00
李宽正式向杨少华杨议道歉!郭德纲再次遭抨击:不赖郑好赖大人

李宽正式向杨少华杨议道歉!郭德纲再次遭抨击:不赖郑好赖大人

柠檬有娱乐
2024-07-23 11:04:59
美女之死的惨烈算法

美女之死的惨烈算法

阿亮评论
2024-07-22 10:42:31
台风“格美”路径调整!直奔浙江?目前吃成一个“巨无霸”,灾害风险非常大!宁波接下来将…

台风“格美”路径调整!直奔浙江?目前吃成一个“巨无霸”,灾害风险非常大!宁波接下来将…

鲁中晨报
2024-07-22 13:49:13
楼市大风云!机构:北京二手房成交上涨2.83%,同比上涨35.15%!

楼市大风云!机构:北京二手房成交上涨2.83%,同比上涨35.15%!

楼市味道
2024-07-23 11:10:16
离婚要给丈夫16万?自驾阿姨霸气回应“还是对我不了解”

离婚要给丈夫16万?自驾阿姨霸气回应“还是对我不了解”

极目新闻
2024-07-22 22:01:21
震碎三观!母女两人共侍一夫后同时怀孕,网友:她们的底线在哪里

震碎三观!母女两人共侍一夫后同时怀孕,网友:她们的底线在哪里

冬天来旅游
2024-07-07 07:55:03
腰带松的女人

腰带松的女人

北方原创情感故事会
2024-07-22 20:14:55
收中方慰问后,特朗普就台湾问题表态,台当局想要的,美国给不了

收中方慰问后,特朗普就台湾问题表态,台当局想要的,美国给不了

历史有些冷
2024-07-22 06:10:02
国企里最舒服的岗位应该是工会主席了,收入和地位远高于公司中层

国企里最舒服的岗位应该是工会主席了,收入和地位远高于公司中层

人情皆文史
2024-07-16 22:03:30
电影《异形:夺命舰》定档8月16日 与北美同步上映

电影《异形:夺命舰》定档8月16日 与北美同步上映

闪电新闻
2024-07-22 16:00:10
2024-07-23 12:42:44

头条要闻

乌克兰外长库列巴访华之际 泽连斯基称可以与普京谈判

头条要闻

乌克兰外长库列巴访华之际 泽连斯基称可以与普京谈判

财经要闻

传白云山前董事长李楚源正接受调查

体育要闻

38岁的他又夺冠了 带着对离世队友的承诺

娱乐要闻

王鹤棣新歌口碑翻车 歌词狂妄曲风过时

科技要闻

Cybertruck车主感觉被围攻:不少人骂我们

汽车要闻

续航901km 岚图知音智驾版或售25万起

态度原创

家居
教育
时尚
手机
亲子

家居要闻

静谧浮生 突破维度束缚

教育要闻

广东高考俄语125分分享学习经验:俄语单词记忆有妙招!

30岁女性的夏季优雅穿搭分享:掌握这些技巧,绽放自信光芒

手机要闻

5999元起 小米首款小折叠MIX Flip首销:4.01英寸外屏 小屏党旗舰主屏

亲子要闻

9岁哥哥和3岁弟弟均患脆性X综合征 尚无特效药

无障碍浏览 进入关怀版