大模型如何像iPhone那样开启一个新时代,如何推动AI应用的普及?这将是业界未来一段时间的焦点。
文|赵艳秋
编|石兆
(资料图片仅供参考)
9月5日,在北京国贸核心区的几家酒店中,4000人参加了2023百度云智大会,这些参会者有行业客户,也有合作伙伴和开发者,他们几乎都奔大模型而来。
在大会上,百度智能云围绕大模型落地,发布了“海陆空”一系列战略和举措,比如 升级千帆大模型平台,公布首个大模型生态伙伴计划 ,推出数字政府、金融、工业、交通四大行业解决方案,展示面向通用场景的AI原生应用,举办数个垂直行业分论坛......
现场人士感受到,百度正发起一场大模型的落地总动员。
大模型已开始进入千行百业,人们从起初的焦虑和一哄而上,变得冷静和理性。会议上,一些行业人士分享了他们的思考—— 大模型的价值,大模型的能力边界,他们如何寻找场景、测试效果、打磨产品,并探索商业模式 。在这个过程中,他们也遇到了诸多挑战,包括技术的、生态的、成本的。
“这有点像2006年iPhone刚面市时的境况,一切才刚刚开始。大模型如何像iPhone那样开启一个新时代,并逐步推动应用的普及?这将是 大模型未来一段时间的焦点 。”一位与会者称。
01
企业调用大模型快速增长中
在3月16日文心一言发布后两个月中,肖猛几乎跑遍了国内Top15的车企对大模型相关技术和产品进行交流,他是百度智能云汽车行业解决方案总经理。
车企都急着想要搞明白大模型到底是怎么回事。大家都很焦虑,怕在新的时代中落后,这个阶段,肖猛做了大量基本概念的普及工作。也有的车企响应非常迅速,甚至在文心一言发布前两天,到访百度,商讨相关合作。
5月底,一些动作快的车企已开始讨论大模型的具体应用。肖猛观察,车企最关注两个领域:通过提升用户体验以 提振汽车销量、内部降本增效 。他们对ROI考核很严,今年的投入更为谨慎,大模型要在这两件事上“帮上忙”。
大家都马上想到了座舱对话场景。 座舱智能语音 在新车的渗透率已达80%,但多是简单的操控指令,有了大模型,对话体验更好,也是市场热点, 这成为大模型上车的突破口。最早上线这个功能的车型将备受关注 。
大模型不只让座舱“闲聊”更有趣。 它有理解、生成能力,还有推理、记忆能力 , 因此这种交互可以跟场景有更密切的配合 。未来,AI能发起对话,帮车主做出一些决策,像油车开着发动机,有人在车中睡觉又紧闭门窗,容易发生一氧化碳中毒事故,大模型经过推理,可以让车窗打开一半。
在车企内部,也有团队开始尝试 知识管理 应用。车企有大量文档数据,外人无法想象,一个零部件的文档一般有数千页,整个零部件文档可能有10万页之多。这些文档如果不能通过高效的方式加以利用,就成为沉默的资产。有了大模型,对文档的处理门槛降低了,问答、检索、与业务的结合,文档数据可以被用起来。
与会者在了解代码助手Comate
车企关注的另一个是 代码生成助手Comate 。现在车企有很多自研团队,对这个应用意愿挺强。软通动力CTO刘会福透露,他们统计,过去大半年, 将近%的用户,用大模型编程,代码采用率超过40% 。这是个开箱即用的功能,目前一些车企在试用,一些车企已开始谈项目落地交付。
不仅在汽车赛道,百度智能云AI与大数据平台总经理忻舟告诉数智前线,整个企业级市场从项目试点、商务谈判到落地交付有个周期, 他们看到大模型应用会有陆续落地。 在消费级市场,这次云智峰会主论坛上 金山文档宣布,基于百度文心一言的WPS AI,正式向社会开放 ,办公软件的颠覆性变革已经开始。
在发布大半年后,大模型在全民关注度和资本市场上的热度有所回落。百度智能云副总裁朱勇认为这是个表象,“ 从我们内部调用趋势来看,增长曲线非常快,调优和调用每天都在快速增长的过程中 ”。
在当日举行的智能汽车分论坛上,吉利、奇瑞、福特中国等中外车企均有嘉宾参加,现场满座,侧面验证了朱勇的观点。业内均认为,“智能化”已然成为车企在下半场竞争中的焦点。如何帮助自身智能驾驶业务快速落地、如何让用户拥有更舒适的出行体验是车企最关注的问题。
在大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖介绍,在千帆大模型平台上, 目前月活企业数已近万家, 覆盖了金融、制造、能源、政务、交通等行业 400多个场景 。
02
车企找来几百个场景
一个有趣的现象是,车企的 智能客服场景比开箱即用的一些应用要晚 。此前,ChatGPT刚问世时,人们预测,大模型会首先对智能客服带来变革, 为什么在汽车行业不会是最早的应用?
这与专业领域对准确率的要求有关。实际上,在金融、医疗等行业,业界看到了同样问题, 模型目前的准确率大概在70%到80%。 大家现在80%的工作量,都花在解决那20%的问题上。一些企业决定,大模型先辅助内部人员,会灰度地过渡,逐步对外开放。
除了智能客服遇到的问题, 一家车企自己梳理出几百个场景,都想使用大模型 。
与会者对大模型态度积极
大家都很积极。比如,有车企准备进军海外市场,他们拿着中国和出海目的地的法规,期望大模型承担法务工作,找出不同,为出海做准备。还有车企想把大模型与质量管理系统集成起来,系统一旦检测到某些数据,大模型就能马上提示有什么故障发生......
有些需求在没有大模型之前,想都不敢想。大模型的到来,提供了实现的途径。不过, 这些需求,不仅是大模型本身的能力,还需要大模型与客户长期总结的经验和know-how相结合。这要做少量定制,比如模型微调。
在这个过程中, 企业将他们积攒的比如几万条相关数据转变成指令, 在基础大模型上做调优,可能还要经过多轮调优来对比效果。一位与会的生态伙伴告诉数智前线, 对于企业而言,这是个新经历,这些应用的落地需要时间,不会一蹴而就,可能需要几年 。
经历过去几个月与车企的探索,肖猛总结大模型在 车企的应用落地分为三个阶段逐步推进 ,企业将逐步建设自己的大模型开发能力。
其中, 第一阶段 ,企业不需做太多额外工作, 开箱即用 , 比如编程助手Comate、办公的图文创作、营销的数字人视频直播等 ;
第二阶段 ,对企业一些特色场景, 需要少量定制, 企业要规划和建设私有化的大模型平台,千帆平台可以支持私有化部署,落地典型应用场景, 如知识管理 ;
第三阶段,企业IT部门持续去挖掘自己的场景,将大模型应用扩大到更多业务领域,如研产供销服等。
忻舟告诉数智前线,进入不同行业后,怎么结合行业场景去做应用,是目前的挑战之一。他们现在尽可能接触更多场景,拿到反馈,加速迭代工具链。
03
iOS普及的启发
这是大模型落地启动的早期。
在大会上,百度集团副总裁袁佛玉坦言,从一个好的技术和产品,到客户用出价值,中间还有很长的路要走。
“就像2006年iPhone手机刚出来时,大家想做应用,满世界找一个iOS程序员,又贵又难。” 一位行业资深人士打了个比方,“但是现在,你再找iOS工程师开发应用,人家会告诉你,咱写个微信小程序吧——这个事变得很简单也很便宜,也有很多人能做。”
那么, 怎么像iOS一样做到普及?这是大模型未来一段时间的焦点,也是一场系统化之战 。
百度智能云的千帆大模型平台,即是发挥降低企业使用门槛的作用,满足企业用上大模型,用好大模型等不同的多层次需求。
此次大会官宣的 千帆大模型升级 ,无一不是为了体系化地让AI普惠。比如,千帆平台纳管的国内外主流大模型达到42个,并进行了中文增强、性能增强等,客户可以基于自己的场景来选择;预置41个高质量、有行业特色的数据集,解决数据的问题。
千帆大模型的工具链也变得更全面,更轻量化、敏捷化,既有数据处理,也有训练、微调,也有推理,还内置了103套prompt提示模版。另外,还有Chain和Agent实现编排,通过大模型独有的能力,实现链式调用。
在智能汽车分论坛上,吉利的嘉宾介绍了他们在自动驾驶上,应用大模型的探索。比如,为解决高质量数据、尤其是长尾问题上数据的不足,他们利用数字孪生原理做了虚拟仿真环境,通过大模型生成高质量虚拟数据;针对数据采集和标注成本高昂的问题,他们利用大模型多模态能力,做海量的数据标注,解决了人工标注不一致性问题,精度可以达到99%。
针对吉利等车企的难题,百度智能云对应的提供了一套自动驾驶工具链,包括数据采集、数据标注、数据闭环、自动驾驶研发、云仿真、车辆运营、合规在内的一系列服务。目的是帮助研发和测试人员打通自动驾驶研发的全链路。
大模型在汽车产业的落地,还有一个难题,成本刚性的算力。
大模型要对大量数据进行高密度计算,它对计算体系结构也带来新的要求。 计算负载在加速向异构计算迁移,微秒级互联成为算力规模化发展的关键能力。自动驾驶业务需要的海量数据和大量长尾场景对资源利用率,模型训练吞吐,训练速度和训练周期提出了更高的挑战。PB 级别的数据挖掘和训练需要云上资源的支持,同时云上仿真也需要云上资源的并发调度能力。
百度智能云也向现场的车企嘉宾和观众介绍了对大模型的算力支持服务。
大模型的训练需要成千上万张卡同时运行,这时,怎么去管理好一个可能是EFLOPS级别的算力,对于车企落地新的大模型技术是一个非常大的挑战,任何一张卡出问题都会影响到整个集群。在通常的组网管理下,工程师们30%-40%的时间都用在容错和故障恢复上。现在,百度智能云自研的集群组网故障管理机制,使模型有效训练时间达到95%以上。
算力服务升级后,涵盖了像集群初期诊断、诊断调优、故障及时检测、自动容错、偶发故障快速恢复等,让百度智能云可以做到 秒级故障感知、分钟级故障自愈,万卡训练月级不中断 。对于客户的算力集群,也针对一些主流自动驾驶算法,通过AI加速产品,进行了专项优化,让自动驾驶模型的训练效率提升4倍以上。
算力服务升级也是此次千帆升级的重要一部分。基于分布式并行训练策略,千帆平台在万卡规模集群中的加速比可以达到 95%,充分释放集群的整体算力。千帆平台还兼容国内外主流芯片和操作系统,客户的算法可以最小的修改成本运行。
体系化之战的另一股力量是生态的动员 。应用重构在各行各业越来越深之后,生态的分工也会随之重构。袁佛玉介绍, 已有超过500家专业的伙伴机构在千帆平台上进行测试、使用、应用开发 。在接下来的时间里,在产业中会不断看到全新的明星企业出现。
百度智能云宣布了首个大模型生态伙伴计划,包括发展10家核心综合性伙伴,提供价值超过10亿的商机支持、1000万元专项资金支持;也包括对核心应用软件开发伙伴、初创企业的支持,还包括代理伙伴体系转型升级,期望将大模型服务触达百城千县。
工具的易用性往上走,伙伴持续加入,成本往下降,更多人愿意学习它,培养的人像水一样流入各个细小的场景去……AI原生应用、工具链、生态、算力基础设施有机的相互推动,最终让大模型落地的飞轮逐步转起来。而业界正处于新纪元的前夜,需要时间和扎实的工作。
根据百度创始人、董事长兼首席执行官李彦宏通过视频的讲话,不久后,百度将推出文心大模型版本,他希望创业者在文心大模型之上,可以做出AI时代的爆款应用。