独家|商汤卢乐炜:UIAgent应用数量计划扩展到1000余个

银柿财经 潘宇静 2025-03-13 19:34:35

“致力于构建多模态理解与生成的统一架构。”

“当前技术发展的一个显著趋势是多模态技术的崛起。”3月13日,在中国信通院人工智能研究所举办的多模态智能体技术沙龙暨技术规范研讨会上,商汤(00020.HK)研究院研发总监卢乐炜表示,多模态大模型最初源于语言大模型,但其发展却与语言大模型保持着一种依附而又相对独立的关系。随着需求的不断变化,语言模型逐渐需要向多模态融合这一更为核心的需求迈进。

卢乐炜说,当前图文成对数据已不足以应对新一代多模态大模型的需求。互联网原生图文成对数据告急,仅剩约为45%的数据尚未被利用,不足以作为新一代原生多模态预训练数据来源。同时,不同领域数据分布不均衡,由于数据量有限,细分领域数据过少,无法仿照大语言模型(LLM)调整训练数据分布。

卢乐炜介绍,多模态融合技术主要有四大动机。一是综合性能提升,通过使用一个统一的大模型,实现端到端的同时接受多个模态的输入并处理多个任务。能够使模型的表现更接近人的感知、认知和行为。赋予模型更广泛的应用空间,使其更适用于不同领域和任务。

二是信息共享与整合。不同模态的输入被映射到同一个状态空间,使得它们之间的信息能够共享。这种共享机制有助于模型从整体上理解数据,促使模型更好地协同处理多源信息,提高了系统的整体性能。

三是数据整合与拓展。通过将所有模态和任务的数据整合到一起,可以构造更庞大、更多样的数据集供模型学习。这种综合学习的方式使得模型能够更全面地学习不同数据集之间的共性和差异,提高了泛化能力。

四是参数量的扩展。通过增加训练数据,使得模型能够轻松地扩大参数量,而不会遇到过拟合等问题。这为建立一个强大且参数丰富的模型提供了可能性,增强了模型的鲁棒性和适应性。

商汤科技在2025全球开发者先锋大会上宣布其AI生产力工具——商汤小浣熊家族全面升级,进一步强化多模态能力,推动AI应用加速落地,向AIAgent演进。

卢乐炜在会上展示了UIAgent的GUI理解、Agent能力和未来规划三个方面的功能和特点。GUI理解部分强调了图标元素定位、识别和理解能力;Agent能力部分则突出了跨区域关联性理解、结构化内容提取和页面转换关系理解等核心功能。

目前,商汤主要关注的应用场景包括手机和汽车行业。在手机领域,公司已经与一些头部手机厂商进行了合作。而在汽车行业,公司则希望打通与车企的合作,实现如导航、旅游购物规划等需求。

谈及未来的规划,卢乐炜介绍,UI Agent的场景范围将扩展到web、PC等更多平台。应用数量计划扩展到1000多个,以满足不同用户的需求。

对于未来技术的趋势,卢乐炜谈及大模型将趋向于成为一个更统一的结构,去除各个专家编码器,以实现更深度的融合。这将极大地降低部署和推理成本,并提高在低算力设备上的部署效率。当前主要是语言理解任务,未来可能会串联生成类任务。

“我们也在探索多模态理解与生成的应用与学习,致力于构建多模态理解与生成的统一架构,为未来开拓更多应用场景。”卢乐炜说。

(编辑:邵曰义)
实时资讯
更多
15:52
湘邮科技:具备服务银行客户拓展数字人民币业务能力,暂无稳定币业务
15:47
业绩暴增!北方稀土预计上半年净利润同比增长18倍以上
15:47
晶盛机电:碳化硅设备客户有瀚天天成、东莞天域、芯联集成、士兰微等
15:40
中国和密克罗尼西亚联邦互免签证协定将于7月25日生效
15:39
融创集团总部办公楼将被司法拍卖
15:39
南方泵业:公司及子公司目前未受暴雨影响
15:38
星巴克中国业务股权吸引多方报价,估值最高达100亿美元
15:34
港迪技术:公司不存在“算力组件出货”相关业务
15:31
星宸科技:小米是公司重要客户之一
15:29
两部门:切实解决新一代信息技术、人工智能等重点产业关键计量问题
15:28
精测电子:核心产品均处于国内行业领先地位,竞争优势明显
15:27
贝达药业:与高维医药、耀邦生物、康万达等生态圈伙伴持续交流合作
15:25
7月9日国内期货主力合约多数收涨 国际铜、沪铜跌超1%
15:25
投资者质疑股价下行,爱尔眼科回应:股价是多种因素的叠加
15:22
西藏矿业:电池级碳酸锂可直接用于新能源汽车动力电池制造
15:22
强达电路:公司800G光模块研发项目已完成
15:21
中国累计在研创新药达4000余款,医药ETF收涨1.36%
15:20
博思软件:公司在区块链领域已有多业务场景深度应用
15:14
网信公安联合打击网络谣言 清理“韦东奕”仿冒账号超5000个
15:11
两部门:开展重大防控、化学创新药等计量检测和质量评价关键技术研究
15:52
湘邮科技:具备服务银行客户拓展数字人民币业务能力,暂无稳定币业务
15:47
业绩暴增!北方稀土预计上半年净利润同比增长18倍以上
15:47
晶盛机电:碳化硅设备客户有瀚天天成、东莞天域、芯联集成、士兰微等
15:40
中国和密克罗尼西亚联邦互免签证协定将于7月25日生效
15:39
融创集团总部办公楼将被司法拍卖
15:39
南方泵业:公司及子公司目前未受暴雨影响
15:38
星巴克中国业务股权吸引多方报价,估值最高达100亿美元
15:34
港迪技术:公司不存在“算力组件出货”相关业务
15:31
星宸科技:小米是公司重要客户之一
15:29
两部门:切实解决新一代信息技术、人工智能等重点产业关键计量问题
15:28
精测电子:核心产品均处于国内行业领先地位,竞争优势明显
15:27
贝达药业:与高维医药、耀邦生物、康万达等生态圈伙伴持续交流合作
15:25
7月9日国内期货主力合约多数收涨 国际铜、沪铜跌超1%
15:25
投资者质疑股价下行,爱尔眼科回应:股价是多种因素的叠加
15:22
西藏矿业:电池级碳酸锂可直接用于新能源汽车动力电池制造
15:22
强达电路:公司800G光模块研发项目已完成
15:21
中国累计在研创新药达4000余款,医药ETF收涨1.36%
15:20
博思软件:公司在区块链领域已有多业务场景深度应用
15:14
网信公安联合打击网络谣言 清理“韦东奕”仿冒账号超5000个
15:11
两部门:开展重大防控、化学创新药等计量检测和质量评价关键技术研究
热门文章
日排行 周排行
电池行业资深人士揭秘:为何3C认证管理下仍有不合规充电宝?
银柿财经 07-08
1
迎峰度夏全国电力负荷首创新高,电力ETF收涨1.92%
银柿财经 07-07
2
投资4.9亿元建设海南生产基地,锅圈计划开拓东南亚“朋友圈”
银柿财经 07-08
3
300亿“日光”!首批科创债ETF卖爆了
银柿财经 07-07
4
光伏行业“反卷”进行时,昱能科技全球布局彰显韧性
银柿财经 07-08
5
财经早知道|特朗普:8月1日起对日韩等14国加征关税
银柿财经 07-08
6
泰国代理总理:美国7日宣布的关税政策与此前双方谈判内容相悖
银柿财经 07-08
7
海康威视黄方红:加拿大公司目前已恢复正常运营
银柿财经 07-08
8
政策聚焦光伏“反内卷”,光伏ETF基金半日涨5.3%
银柿财经 07-08
9
“稳定币行情”再躁动,港股金涌投资单日暴涨533%
银柿财经 07-08
10