·行业率先实现原生多模态大模型的车端部署,商汤绝影端侧8B模型首包延迟低至300毫秒以内,推理速度40Tokens/秒,覆盖主流算力平台

·DriveAGI可解释、可交互,多模态让端到端智驾安全可信赖

·商汤绝影发布行业首个车载生成式交互界面「随心界面」FlexInterface

·绝影自动驾驶小巴:WAIC 2024唯一L4自动驾驶接驳小巴,行驶总里程已超300万公里

2024年7月5日,中国上海——2024世界人工智能大会暨人工智能全球治理高级别会议(WAIC 2024)于7月4日-7月7日在上海举行。商汤绝影携多款基于全新发布的商汤「日日新5.5」原生多模态大模型打造的智能驾驶和智能座舱产品亮相本届WAIC,引领「以人为本」的智能汽车交互革新。

作为加速智能汽车驶入AGI时代的战略合作伙伴,商汤绝影展示了可解释、可交互的自动驾驶大模型DriveAGI,同时还发布了行业首个车载生成式交互界面 「随心界面」(FlexInterface)、「随意操控」(AgentFlow)等车载AI Agent应用。此外,商汤绝影自动驾驶小巴也亮相本届WAIC,并成为大会唯一承担接驳任务的L4级别自动驾驶小巴。

在7月5日由WAIC 2024战#xad;略合作伙伴商汤科技召开的「大爱无疆·向新力」人工智能论坛上,商汤科技发布国内首个所见即所得模型「日日新5o」,实时流式多模态交互体验对标GPT-4o,展现采用混合端云协同专家架构的商汤「日日新5.5」大模型的强大实力。商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚表示,“原生多模态大模型是打开AGI大门的钥匙,商汤绝影正在激发AGI创造力,推动多模态大模型与智能汽车的深度融合,打造一系列全新的车载智能化产品,加速智能汽车向超级智能体进化,引领一场「以人为本」的智能汽车交互的变革。”

王晓刚在「大爱无疆·向新力」论坛分享商汤绝影最新的技术和产品进展

真·「以人为本」,商汤绝影多模态大模型引领智能汽车交互革新

多模态大模型能够将语音、文字、图像、手势、视频等各种模态进行高效且深度地融合,提供更加丰富且自然的人机交互体验。

过去许多模型处理不同模态信息是先把语音等输入转化为文字,文字和图像结合进行分析,输出反馈也是先生成文字,根据文字再生成语音输出,会有大量信息丢失和很高的延迟。

由「日日新5.5」体系支持的全新商汤多模态大模型是一种端到端的模型,也就是文字、语音、视频等模态一同输入,模型统一处理后输出相应模态的信息,相较于过去的方案,多模态融合的技术难度是几何倍数的提升。

技术上的高难度是商汤行业领先的原生多模态能力的直接体现。今年4月发布的「日日新5.0」是国内首个对标GPT-4 Turbo的国产大模型,「日日新5.5」体系更是全面升级,数学推理、英文能力和指令跟随等能力明显增强,交互效果和多项核心指标实现对标GPT-4o。

此前GPT-4o的发布为消费者展示了多模态实时交互的方式,让更多人领略多模态感知和交互的魅力,也开始帮助释放多模态大模型的商业落地想象空间。

相较于手机,智能汽车才是更适合承载多模态大模型的落地场景。因为智能汽车内外的各种摄像头是常开的,用户可以实时跟汽车通过多模态的方式进行交互。同时,智能汽车的保有量不断增加,能够产生丰富的终端用户反馈和数据信息,让模型不断迭代成长。

这些因素综合展现了一个令人激动的未来智能汽车发展方向:从智能汽车正在进化为超级智能体,多模态大模型则是这一进程的核心驱动力。

和OpenAI等公司相比,商汤绝影是智能汽车的核心供应商,在智能驾驶和智能座舱领域具备丰富的量产经验,将以多模态大模型为核心加速「以人为本」的智能汽车交互革新。

智能汽车的人机交互正在从「以车为中心」向「以人为中心」转型。在这个转型中,现阶段用户仍需用文本或语音给智能汽车提供信息和数据以获取被动式的服务,其他的信息都丢失了,尚未真正做到主动服务用户。商汤绝#xad;影正在用多模态大模型打造真·「以人为中心」的智能汽车交互方式,这种交互覆盖了座舱、汽车周边的环境,让有关于“人”的信息不会被忽视,甚至它还突破了空间的限制,实现舱内用户与更广阔的物理和数字世界的联接。

商汤绝影在行业率先实现原生多模态大模型的车端部署

商汤绝影车载端侧8B多模态模型性能行业领先

车端模型部署能力是智能汽车交互革新不可或缺的技术保障,商汤绝影能够以云侧、端云结合、端侧等全栈方式灵活部署多模态大模型,让商汤原生多模态能力能够快速落地智能汽车。

在本届WAIC上,商汤绝影在行业率先实现原生多模态大模型的车端部署,并对外展示了在3个不同算力平台上运行2.1B或8B端侧多模态大模型的适配能力。相较于动辄就有几秒钟延迟的云上部署方案,商汤绝影车载端侧8B多模态模型可以实现首包延迟低至300毫秒以内,推理速度40Tokens/秒,为「以人为本」的智能汽车交互革新保驾护航。