这项由西湖大学、浙江大学、清华大学、香港科技大学（广州）以及北京智源东谈主工智能谈判院连合开展的谈判，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2605.10903。感兴味的读者不错通过这个编号检索到竣工原文。

机器东谈主在现在社会越来越常见，从工场活水线到病院手术室，再到家庭作事，东谈主们对机器东谈主的期待也越来越高。但有一个令谈判者头疼的问题恒久悬而未决：那些经过大领域查验的"耀眼"机器东谈主，在面对新的具体任务时，时常进展得令东谈主失望——它们不仅学得慢，无意致使不如从零动手查验的专用机器东谈主。

这就好比培养了一个博览群书、博物洽闻的通才，收尾他去应聘一份专科责任时，却比一个只专注学这一门时期的学徒进展还差。这种反常景色背后的根源，以及如何系统性地处置它，恰是这篇论文所要探讨的中枢问题。

谈判团队淡薄了一种名为"才能向量"（CapVector）的全新法子，其中枢想想不错用一句话详细：与其让机器东谈主每次查验新任务时都从新动手累积才能，不如预先把那些真贵的通用才能"刻进"机器东谈主的基因里，让它天生就具备这些智商。代码、模子权重以及演示网站均已公开，谈判后果向通盘社区开放使用。

一、机器东谈主学习濒临的信得过逆境

要相识这项谈判的意旨，需要先弄明晰当代机器东谈主是怎样被"教授"干活的。

咫尺起先进的机器东谈主系统频频叫作念"视觉-言语-动作模子"（VLA），这类模子不错相识图像、听懂言语提醒，并将两者结合起来铁心机器东谈主的肢体动作。查验这么一个模子，需要两个阶段：第一个阶段叫"预查验"，花费大批计较资源和时期，用海量的机器东谈主操作数据查验模子缔造基础证据；第二个阶段叫"微调"，用少许针对特定任务的演示数据，让模子学会完成具体责任，比如捏取某种零件、摆放某类物品。

正常的逻辑是：预查验打好地基，微调只需在上头盖屋子，应该既快又好。但是现及时常令东谈主报怨。大批谈判发现，只是辘集少许演示数据、进行圭表的微调（学术上叫"监督微调"，SFT），频频不及以让模子在复杂任务上快速达到优秀水平，致使无意候不如有益为该任务从新查验的模子。

为了打破这个瓶颈，谈判界淡薄了一类"带扶助操办的微调"法子。这类法子的想路是：在查验机器东谈主完成具体任务的同期，稀奇给它叮咛一些"扶助功课"，比如要求它同期学会相识三维空间结构，或者考验它的多模态推理才能。这就像是给一个学徒除了教他干活，还同期让他练视力、练逻辑想维。实考据明，这类法子照实灵验：模子不仅任务完成得更好，还学得更快，需要的查验轮次大幅减少。

但问题随之而来。这些扶助查验需要稀奇的计较量，无意多出快要三成的计较支拨和接近两成的显存占用。跟着任务数目增多和数据领域扩大，这种稀奇包袱会越来越难以承受。于是，谈判团队淡薄了一个关键问题：有莫得方针把扶助查验带来的平允"预先储存"起来，让模子在进行普通微调时自然就能享受到这些平允，而不消每次都付出稀奇代价？

二、从"数学减法"中提真金不怕火出才能的精华

谈判团队的中枢瞻念察来自一个纯粹的数学直观。

任何一个模子，都不错用一组数字来竣工面目——这组数字称为"参数"，不错相识成模子的"神经辘集权重"，是它悲痛常识和手段的载体。当模子从"原始气象"经过查验形成"查验后气象"，参数会发生变化。这个变化量，就像是查验过程在模子身上留住的"陈迹"。

谈判团队的关键假定是：当一个模子经过"带扶助操办的微调"之后，它参数的变化不错被分红两部分——一部分是有益用来学习现时具体任务的变化，另一部分是扶助操办带来的通用才能升迁。这两部分不错被鉴别开来，相互沉寂。

考据这个假定的法子出乎预想地绵薄。对相同一组查验数据，用两种形状分别查验统一个预查验模子：一种是普通微调，一种是带扶助操办的微调。两种形状查验出来的模子，在学习具体任务动作方面的变化应该基本换取（因为任务数据一样）；而两者参数之间的各异，就主要代表扶助操办带来的那部分通用才能升迁。

把这个各异单独索取出来，就得到了"才能向量"（CapVector）。用数学言语来说，如若用字母θ_ft代表普通微调后的模子参数，θ_ao代表带扶助操办微调后的模子参数，那么才能向量γ_ao就等于θ_ao减去θ_ft。

索取出才能向量之后，把它加回到原始的预查验模子参数上，就得到了一个"才能增强版的元模子"（metamodel）。这个元模子既莫得经过任何具体任务的有益查验，却自然地佩戴了扶助查验所赋予的通用才能。而后，用这个元模子手脚起初，只需进行普通的圭表微调，就能享受到底本需要扶助查验才能得到的效果。

为了直不雅相识，不错将其类比为基因工程：谈判东谈主员最初在一小批实验个体身上实施了一套复杂的强化查验，索取出这套查验赋予个体的遗传改善；然后把这份遗传改善径直"写入"悉数后代的基因，让后代们天生就具备这种上风，无需访佛履历崇高的强化查验过程。

三、给元模子打上"防淡忘补丁"

只是把才能向量合并进预查验模子还不够。问题在于：当模子而后用普通微调学习新任务时，查验过程会疗养模子参数，而这种疗养可能会把之前注入的通用才能给"隐蔽"掉，导致才能退化。

这就像是你花了荒诞气学会了一项才艺，但随后为了学习另一门统统不同的手段，旧的才艺牢固生僻淡忘了。

为了驻防这种淡忘，谈判团队引入了一个轻量级的"正交正则化亏欠"。听起来很复杂，中枢想想其实很朴素：在查验新任务时，要求参数的更新标的尽量与照旧注入的才能向量保持"垂直"——在数学上叫作念正交。垂直意味着两个标的相互沉寂、互不干预，就像东西标的的行走不会影响南朔标的的进展。这么，学习新任务的参数变化就不会冲刷掉才能向量所佩戴的通用才能。

最终的查验亏欠由两部分构成：一部分是完成具体任务动作所需的圭表亏欠，另一部分即是这个新加入的正交亏欠，通过一个权重悉数λ来调遣两者的比重。实验标明，λ取1e-4（也即是万分之一）时效果最好。

在使用LoRA这类参数高效微调技术时（LoRA是一种只查验少许参数的轻量化法子，符合显存有限的场景），正交亏欠只需计较LoRA矩阵中的A矩阵，因为A矩阵代表参数更新的标的，B矩阵只是对标的的线性加权悉数，不影响标的的沉寂性。

这个正交亏欠引入的稀奇计较代价不错忽略不计：实测仅增多约0.3亿次浮点运算（比拟基础查验的17.9万亿次，增幅不及0.002%），显存稀奇占用约0.5GB（比拟基础62.8GB，增幅不及0.8%）。比拟之下，扶助查验法子自身需要稀奇增多5万亿次浮点运算（增幅约28%）和10.9GB显存（增幅约17%）。两者的支拨差距非常悬殊。

四、在仿确切验室里考据：既快又好

谈判团队在两个圭表的机器东谈主仿真测试平台上进行了大批实验。

第一个平台是LIBERO，这是机器东谈主学习领域平素使用的基准测试，包含四类任务套件：触及空间位置关系的Spatial任务、触及物体识别的Object任务、触及操办导向的Goal任务，以及触及长序列操作的Long任务，每类10个具体任务，共40个任务。第二个平台是RoboTwin2.0，这是一个专注于双臂讨好操作的测试平台，包含万般雅致操作任务，如翻转开关、传递物品、摆放鞋子等。

实验中采取了三种代表性的预查验VLA模子手脚基础：OpenVLA-OFT（一种基于自讲究架构的模子）、StarVLA（一种领受流匹配架构的模子）和π0.5（另一种流匹配架构的先进模子）。扶助查验法子例采取了两种：SpatialForcing（通过对王人视觉特征与三维几何示意来增强空间感知才能）和LaRA-VLA（通过隐式链式想维推理来增强长程操办才能）。

在LIBERO平台上，以OpenVLA-OFT为基础、SpatialForcing为扶助查验法子的实验最为详备。收尾呈现出一幅浮现的图景：在仅查验5000步这种极少查验量的情况下，普通微调的平均得手率为82.1%，而扶助查验的SpatialForcing达到87.5%，CapVector法子（使用元模子加正交亏欠的普通微调）则达到91.7%，败露超越了两者。查验一个竣工轮次（1Epoch）后，差距连续保持：普通微调90.9%，SpatialForcing95.2%，CapVector96.5%。在查验150000步（即充分查验）的情况下，普通微调92.7%，SpatialForcing96.9%，CapVector97.1%，仍然保持最优。

至极值得热心的是正交亏欠的作用。如若只使用元模子进行普通微调而不加正交亏欠，在查验本领少的时候（5k步、1epoch、8epochs）还能不绝优于SpatialForcing；但到了150k步这种充分查验的阶段，博亚(中国)体育app收货下滑到96.2%，低于SpatialForcing的96.9%。这证明在万古期查验的情况下，已注入的才能照实会被隐蔽磨损，而正交亏欠能灵验谢绝这种退化，使最终收货保持在最优水平。

在StarVLA模子上，将LaRA-VLA的扶助查验才能向量注入后，CapVector在LIBERO四个任务套件上的平均得手率为97.1%，优于StarVLA基础微调的94.5%，接近LaRA-VLA扶助查验的97.9%。这证明CapVector不仅适用于空间感知类才能，关于多模态推理类才能相同灵验。关于π0.5这种双组件架构的模子（包含视觉言语骨干和动作实施头两个部分），实验还分别测试了只合并视觉言语骨干参数、以及同期合并视觉言语骨干和动作实施头参数两种决策，收尾炫耀两者都优于基础微调，而同期合并两部分参数的效果略好。

五、逾越领域领域：才能不错"空运"到生分所在

一个当但是然的疑问是：才能向量是否具有普适性？它是不是只在索取它的那类任务上灵验，换了一个统统不同的场景就失灵了？

谈判团队有益遐想了跨领域迁徙实验。具体作念法是：用LIBERO的数据索取才能向量（才能索取阶段），然后把这个才能向量注入预查验模子，再用统统不同的RoboTwin2.0平台的数据进行微调（下流任务阶段），两个平台的视觉作风、物体类型、操作内容均有较大各异。

收尾非常有劝服力。以OpenVLA-OFT为基础，在RoboTwin2.0的10个任务上，普通微调的平均得手率仅有6.7%；SpatialForcing扶助查验（即底本需要崇高计较代价的决策）达到33.1%；而使用从LIBERO-Spatial索取的才能向量构建元模子、再进行普通微调的CapVector，达到了31.8%，险些与SpatialForcing持平，同期比普通微调高出接近五倍。

反标的的实验相同成立：用RoboTwin2.0的任务数据索取才能向量，注入到模子后，在LIBERO-Long（长序列任务）上进行微调，得手率相同有败露升迁。

这个收尾从压根上呈报了"才能向量是否任务无关"这个问题——谜底是确定的。才能向量所佩戴的是抽象层面的通用感知才能（比如对空间几何掂量的相识、对多模态信息的整合推理），而不是针对特定任务场景的专用常识，因此它能逾越具体任务和数据踱步的领域，在生分的新场景中依然证据作用。

六、并非悉数查验数据都能提真金不怕火出好的才能向量

谈判团队莫得留步于考据CapVector灵验，还进一步探究了什么样的数据要求才能提真金不怕火出高质料的才能向量。这部分谈判揭示了两个值得深想的规章。

第一个规章：数据万般性越高，提真金不怕火出的才能向量质料越高。谈判团队对比了RoboTwin2.0平台中两类不同布景设置的任务数据：一类是布景固定、场景单一的干净布景数据；另一类是布景立时化、每个任务会立时呈现多达一万种不同视觉环境的立时布景数据。在数据量和任务数目换取的前提下，使用立时布景数据提真金不怕火出的才能向量，在跨领域迁徙到LIBERO-Long后，得手率败露高于干净布景数据提真金不怕火的版块。

这背后的原因在于：当模子在面对海量不同的视觉布景时，它被动学会了更骨子、更抽象的空间关系，而不是依赖特定的布景纹理或颜色。这种更深层的视觉相识随后被凝结进才能向量，迁徙到新环境时当然更有适合力。用烹调来类比：用来自多个国度、多种烹调作风提真金不怕火出的调味精华，比只从单一菜系中提真金不怕火的精华更能适合各式口味。

第二个规章：任务场景之间各异过大，反而会导致才能向量质料下滑。谈判团队在LIBERO平台上对比了三类查验集：LIBERO-Spatial（10个任务，1种布景），LIBERO-Long（10个任务，3种布景），LIBERO-90（90个任务，3种布景）。尽管LIBERO-90包含了最多任务，直观上应该提供最丰富的信息，但实验收尾却违抗：从LIBERO-90提真金不怕火的才能向量迁徙到RoboTwin2.0后得手率最低，致使接近莫得使用才能向量的基线水平。

谈判团队将这一景色归因于"捷径学习"：当90个任务中的布景和物体高度万般、各异显赫时，模子在扶助查验过程中会被这些高方差的视觉特征所主导，优先学习这些名义各异，而不是更深层的空间感知骨子。打个譬如：如若你给一个学生90谈题，但每谈题的场景和表述都大相径庭，他可能花大批元气心灵应酬名义各异，而没能缔造起深层的解题法子论。换句话说，更多的任务数目如若带来了更高的任务间异质性，反而可耀眼扰中枢才能的提真金不怕火。因此，用于索取才能向量的任务数据应当具有丰富的里面万般性（比如丰富的布景立时化），而不应当由各异极大的不同任务硬拼在全部。

七、走出仿真室：在确切机器东谈主上的推行考据

仿确切验再精彩，也只是数字游戏，机器东谈主谈判最终必须讲究确切寰宇。谈判团队在工业场景中果然切机器东谈主平台上进行了考据，领受的是UR3工业机器东谈主，遐想了模拟工场分娩场景的一系列任务，包括将钢质套管移到托盘、将金属零件叠放到夹具台、从器具架拾取气动夹爪等。每个任务辘集100组演示数据，模子在全部任务上连合查验，评估时每个任务运行100次来统计得手率。

才能向量统统来自仿真环境（LIBERO-Spatial的数据），但被径直阁下于确切机器东谈主查验——这是典型的"仿真到现实"迁徙场景，亦然机器东谈主领域最难逾越的鸿沟之一。

收尾令东谈主饱读吹。在悉数任务上，使用CapVector法子的得手率都优于对应的基础模子，部分任务上致使特出了SpatialForcing扶助查验的收货。以π0.5为基础的实验中，"拾取夹爪"任务的得手率从0.10（10%）升迁到了0.32（32%）；以OpenVLA-OFT为基础的实验中，"将钢质套管移到托盘"任务从0.24（24%）升迁到了0.38（38%）。这证明从仿真数据中提真金不怕火的空间感知才能向量所拿获的是基本的几何规章，而不是仿真场景专有的视觉细节，因此唐突逾越仿真与现实的鸿沟，在确切物理寰宇中连续证据作用。

更进一步，谈判团队将换取的才能向量权重共享给两组外部合作团队，让他们在各自实验室顶用两种统统不同的机器东谈主硬件平台上进行测试：ARXLift2是一种六解放度双臂机器东谈主，AgileXCobot是另一种六解放度双臂遥操作系统，两者的机械结构、传感器设置和判辨特色均不换取。外部团队分别在这两种平台上用才能向量增强的元模子进行我方的微斡旋评估。

遐想的四类任务涵盖了复杂的长序列操作：将右侧试管架上的试管秩序滚动到左侧试管架（需要流畅精准操作4根试管）、绽开器具箱找到扳手、出动电源排插并按下其按钮、擦抹盘子后将其摆放到指定位置。

在四项任务上，CapVector法子均优于对应的基础π0.5模子。至极是试管滚动任务——这是四项中最考验长序列精准操作才能的任务，失败一步则全盘失败——基础模子得手率为36%，CapVector升迁到53%，升迁幅度接近一半。这标明才能向量的灵验性不依赖于特定的机器东谈主硬件，具备确切的跨机型迁徙才能。

归根结底，这项谈判的意旨在于，它提供了一种看待机器东谈主查验的新角度：预查验模子不应该是一个白板，而应该是一个被全心优化过"基础体质"的起点。通过一次性地在小领域数据上索取才能向量、合并到预查验参数中，就能让后续悉数的圭表微调过程都站在更高的起初上——不需要每次都付出崇高的扶助查验代价，也不需要修改任何查验历程，只需提供一个更好的启动化起初。

这种想路对机器东谈主技术的普及有着具体的现实意旨。咫尺，部署和微调先进机器东谈主模子需要大批的计较资源，这是很多中微型工场、病院、科研机构难以承担的门槛。如若唐突裁减微调所需的计较代价，同期保证致使升迁微调效果，这些场景就能以更低的资本享受到先进机器东谈主技术带来的便利。此外，才能向量不错像软件包一样共享——谈判团队照旧把查验好的才能向量公斥地布，任何使用换取基础模子的用户都不错径直下载使用，无需我方进行崇高的扶助查验，径直赢得升迁。

虽然，这项谈判也坦承了一个败露的领域：咫尺的责任仅隐蔽了监督微调这一查验范式，如安在强化学习查验过程中索取和迁徙才能向量，还有待异日谈判探索。这是一派尚未垦荒的领地，亦然这条谈判门道最值得期待的蔓延标的。有兴味深切谈判的读者不错通过arXiv:2605.10903检索竣工论文，以及通过论文中公布的GitHub仓库获取代码和模子权重。

Q&A

Q1：CapVector法子需要再行查验预查验模子自身吗？

A：不需要再行查验预查验模子。CapVector的作念法是：先用少许任务数据分别进行普通微斡旋扶助操办微调，索取两者参数之差手脚才能向量，再通过绵薄的加法将才能向量合并进预查验模子，得到一个增强版的元模子。通盘过程不变调原始预查验模子，计较代价远小于扶助查验法子自身。

Q2：才能向量是否只对特定型号的机器东谈主灵验？

A：实验收尾标明，才能向量具有跨机型迁徙才能。谈判团队将换取的才能向量共享给外部合作团队，在ARXLift2和AgileXCobot两种结构和传感器设置统统不同的双臂机器东谈主上均取得了优于基础模子的收货，部分任务得手率升迁幅度接近50%，证明才能向量拿获的是机型无关的通用感知才能。

Q3：索取才能向量时，使用什么样的数据效果最好？

A：实验发现，数据里面万般性高的场景（比如布景立时化丰富）有助于提真金不怕火出高质料的才能向量；而由各异极大的不同任务硬拼在全部的数据集，反而会导致模子在查验中偷学名义特征、产生捷径学习博亚(中国)体育app，使才能向量质料下落。因此，索取才能向量应优先采取任务相对聚焦、但场景万般性丰富（如布景、物体立时化进度高）的数据集。