这项研讨由以色列STATE16研讨院发布，作家同期担任以色列理工学院（Technion）和赖希曼大学（Reichman University）讲师，并担任谷歌-赖希曼AI本事学校学术总监。论文于2026年5月10日完成，并于2026年5月23日以预印本质式发布于arXiv平台，编号为arXiv:2606.00090，归类于机器东谈主学（cs.RO）限制。感兴趣的读者可通过该编号查询无缺论文。
**一个让东谈主细念念极恐的场景**
假定你家里有一台智能机器东谈主管家，它拿着一杯热咖啡向你走来。它的录像头正常运转，程序正常运行，系统显现一切正常。但施行上，它的舆图数据已历程时了三秒钟——就在三秒前，你的孩子把一把椅子拖到了走廊中间。机器东谈主完全莫得察觉，依然迈着安妥的步履上前走去，直到热咖啡连同整个托盘通盘撞在椅背上，泼了满地……
这即是这篇论文所说的"静默失效"（silent failure）。系统莫得崩溃，莫得报错，莫得任何警报声响起。它只是安懒散静地、充满自信地、作念了一件错得离谱的事。
**研讨布景：AI正在走出屏幕，参预真实宇宙**
在以前几年里，东谈主工智能系统履历了一次深入的身份滚动。它们不再只是坐在电脑屏幕背面回话问题、生成笔墨或者识别图片的"臆造助手"，而是启动适度真实的物理斥地：工场里的机械臂、病院走廊里的运载机器东谈主、城市谈路上的自动驾驶汽车、天外中的无东谈主机，以及越来越多的东谈主形机器东谈主。
STATE16研讨院的这篇综述论文，把这一类大要平直适度物理宇宙行动的AI系实足称为"物理AI"（Physical AI）。其中最具代表性的是一类叫作念"视觉-话语-行动模子"（Vision-Language-Action Model，简称VLA）的系统——这类系统大要同期看懂图像、结合话语指示，并平直输出机器东谈主应该实践的动作。打个比方，你对机器东谈主说"把桌上的红色杯子放进柜子里"，VLA模子就会根据录像头拍到的画面和你的指示，平直生成"先移动到桌旁、伸出机械臂、收拢杯子、回身、掀开柜门、放入"这一系列具体动作。
这类本事正在以惊东谈主的速率发展。谷歌的RT-1和RT-2机器东谈主、π0机器东谈主适度模子、英伟达的GR00T N1东谈主形机器东谈主基础模子、OpenVLA等系统，照旧大要在22种不同机器东谈主平台上完成罕见50万个不同任务。更首要的是，这些模子正在从实验室走向真实部署环境。
但是，论文作家发现了一个令东谈主不安的事实：当AI的才智在迅速起首时，与之配套的安全机制却在一条完全平行的轨谈上安宁爬行，两条轨谈从未简直相交。这篇论文的中枢任务，即是找出这条"安全轨谈"上最枢纽的那段缺口。
**一、那谈没东谈主在守卫的关隘**
研讨的中枢发现不错用一个保安比方来结合。
一栋首要建筑的门口频频有别称保安。他的责任不是评判访客"看起来像不像好东谈主"，而是核查：你有莫得预约？你的身份证是否灵验？你要去的区域你是否有权限参预？今天这栋楼是否有已毕造访的区域？若是你进去之后需要撤回，出口在那里？
咫尺，这栋建筑换成了一台工业机器东谈主，"访客"换成了AI模子提倡的一个动作指示，比如"以1.5米每秒的速率上前移动15米"。当前的AI系统有莫得这样别称"保安"？
论文的回话是：莫得，或者说，有，但不无缺，而且分散在不同部门，莫得一个长入的岗亭。
在AI安全限制，咫尺存在多种不同的防护机制。有负责检查"这句话是否无益"的语义过滤器，有负责确保机器东谈主不会超出物理极限的适度表面器具，有负责检测传感器数据是否荒谬的感知监控系统，还有负责在特定条款下切换到备用适度器的运行时保证系统。但这些机制各司其职，互不连通。
最枢纽的阿谁问题——"这个AI刚刚提倡的这个动作，在当前这个真实宇宙气象下，咫尺这个时刻，究竟能不成实践？"——莫得一个机制大要无缺地回话。这即是论文所界说的"授权空缺"（authorization gap）。
论文用一个简陋的数学抒发式说明了这个空缺的本质：一个AI模子对某个动作赋予很高的置信度（也即是"我认为应该这样作念"），并不等同于这个动作果然不错安全实践。信心不等于许可，这是这篇论文最中枢的命题。
**二、静默失效：最危机的失败口头**
领悟了"授权空缺"是什么之后，就能结合为什么"静默失效"如斯危机。
普通的系统故障时常有领悟的信号：程序崩溃会弹出诞妄窗口，传感器断连会触发警报，硬件故障会让斥地罢手反应。这些失败是"可见的"，系统会告诉你出了问题。
静默失效完全不同。发生静默失效时，系统的所有组件皆在正常运转，日记显现一切正常，莫得任何报警。但问题在于，系统赖以作念决策的那幅"宇宙图景"照旧暗暗地偏离了真实宇宙。就像一个导航软件显现前列是流通无阻的高速公路，但施行上那段路三个月前就照旧顽固施工了。若是你的车子装备了自动驾驶功能况兼信任了这个导航，它会充满信心性开向一堵施工围墙。
论文梳理了导致静默失效的几种典型机制，每一种皆逼近真实部署场景。
传感器漂移是最常见的一种。机器东谈主或车辆所依赖的各式传感器——录像头、激光雷达、惯性测量单位、GPS——皆可能在莫得任何领悟故障信号的情况下，输出冉冉偏移真实值的数据。想象你的体重秤每隔一段时期就会少显现两公斤，而你完全不知谈，你只是合计我方越来越轻。
装璜和局部可见性是另一个经典问题。机器东谈主的视线老是有限的，它看不到柱子背面、转弯处之外的地方。当它根据当前可见信息判断"前列安全"时，可见范围之外可能正站着一个东谈主。系统莫得撒谎，它只是不知谈它不知谈什么。
2026年世界杯中国官网漫步偏移则愈加隐私。AI模子是通过海量教师数据学习的，这些数据覆盖了各式场景，但永远无法覆盖所有场景。当机器东谈主遭逢教师数据中从未出现过的情况——比如一种惨酷的色泽角度、一种没见过的物体摆放口头、一种不寻常的大地纹理——它不会说"我不知谈该怎么办"，它会用我方学到的学问进行类比推断，然后给出一个听起来合理但施行上基于诞妄前提的行动决议。
幻觉式可供性则是物理AI独到的风险。"可供性"是个情态学术语，简便说即是"这个东西能用来作念什么"。机器东谈主可能会诞妄地判断某个名义不错承重、某个把手不错抓捏、某条旅途不错通行，就像一个东谈主在浓雾中把路边的一根柱子误认为是不错依靠的墙壁。区别在于，东谈主可能只是轻轻跌了一跤，而一台机械臂若是诞妄地"认为"一个玻璃瓶能承受它的抓捏力，后果可能严重得多。
论文尽头提到了三个真实宇宙中的自动驾驶事故案例，用来说明这类问题不是纯表面的担忧。2018年优步在亚利桑那州坦佩市发生的行东谈主失掉事故，侦察认定根柢原因之一是不充分的安全风险评估和对自动化系统的过度依赖。2023年加州车管局暂停了Cruise公司的无东谈主驾驶测试许可，原因是车辆对公众形成了分裂理的安全风险。同庚，好意思国国度公路交通安全不休局对罕见200万辆特斯拉发布调回见知，因为其自动扶直驾驶系统无法小心被毁坏。这些皆是现实宇宙中，自信运转的自动化系统没能在枢纽时刻被正确地"叫停"的例子。
**三、系统当前的防护网：有用但不够用**
面对这些风险，研讨界和工业界虽然不是毫无准备的。论文梳理了咫尺存在的各种安全机制，并教诲地指出了每种机制的灵验范围和局限领域。
适度障蔽函数（Control Barrier Functions，CBF）是适度表面限制最坚韧的器具之一。简便来说，它就像给机器东谈主端正了一个"安全气泡"，无论模子想要实践什么动作，只须这个动作会让机器东谈主穿出"安全气泡"，适度障蔽函数就会自动修正这个动作，确保机器东谈主长期待在安全区域内。这个器具在数学上很是严格，解说了在已知条款下的安全性。但问题在于，它需要知谈精准的物理动态方程、明确的气象变量，以及事前界说好的"安全蚁合"。关于一个用黑盒神经辘集适度的机器东谈主来说，这些前提条款时常不闲散。
运行时保证（Runtime Assurance）和屏蔽机制（Shielding）提供了另一种念念路：让一个"简直的备用适度器"继续监视主适度器的行径，一朝主适度器想作念出危活泼作，备用适度器坐窝禁受。这个念念路很是正确，亦然论文所提倡的框架的平直前身。但它依然濒临一个挑战：在物理AI系统中，主适度器（也即是阿谁大型神经辘集模子）输出的"动作"可能是复杂的轨迹、当然话语描摹的筹划，甚而是潜在空间里的向量，备用适度器很难平直评估这些输出的安全性。更首要的是，即使备用适度器认为某个动作自己没问题，它也无法判断产生这个动作所依据的"宇宙图景"是否照旧准确的。
语义过滤器（Semantic Guardrails）是针对话语大模子的安全机制，主邀功能是检查"这条指示是否无益"。比如，若是有东谈主试图主宰机器东谈主作念出危机行径，语义过滤器不错识别出这类坏心指示并拒却实践。一项名为"RoboPAIR"的研讨发现，通过全心想象的教唆词，不错得手蛊惑话语模子适度的机器东谈主实践无益的物理动作，而另一项名为"RoboGuard"的责任则展示了怎么通过高下文感知的司法来减少这类风险——在实验中将不安全实践率从92%裁汰到了2.5%以下。但是，语义过滤器的根柢局限在于：一条完全无害的指示，同样不错导致物理上危机的动作。"把阿谁箱子放到表层货架上"这条指示自己毫无问题，但若是机器东谈主手臂确当前载荷照旧接近极限，或者传感器显现阿谁箱子比施行更轻，驱散可能完全不同。语义安全不等于物理安全。
不细目性计算和漫步外检测（Out-of-Distribution Detection）是另一个首要器具族。这些方法试图让系统知谈"我咫尺不细目"或者"当前情况超出了我的教师范围"。这是很是有价值的才智，但它只可产生一个信号，告诉你"情况可能有问题"，却无法平直告诉你"应该实践什么替代动作"。而且，研讨标明深度学习模子在漫步外情况下时常会诞妄地保持高置信度——也即是说，当系统最不应该自信的时候，它反而最自信。
这四类器具各自治理了问题的一个侧面，但莫得一个大要单独回话阿谁中枢问题：此时此刻，针对当前这个真实宇宙气象，这个具体的动作提案，能不成实践？
**四、一张无缺的"动作授权清单"**
结合了现存器具的局限之后，论文提倡了它的中枢孝敬：一个无缺的运行时动作授权框架。用最庸俗的话来说，即是在AI系统和物理宇宙之间诞生一个端庄的"审批枢纽"，在职何动作从数字指示变成真实的机械换取之前，必须通过七个维度的检查。
第一个维度是语义灵验性。这条指示自己是否相宜任务地点和操作限定？是否存在被坏心主宰的风险？这是现存语义过滤器照旧作念得比较好的部分。
第二个维度是气象灵验性。产生这个动作所依赖的宇宙气象信息，咫尺还可靠吗？传感器是否正常？感知驱散是否一致？是否存在数据靡烂或漫步偏移的迹象？这是咫尺最薄弱的枢纽之一，亦然静默失效最常发生的根源。
第三个维度是物理可行性。这个动作在物理上能否被实践？是否违背了机器东谈主的换取学拘谨？是否有潜在的碰撞？速率是否超限？载荷是否超出承受范围？
第四个维度是空间和操作灵验性。这个动作是否被允许在当前地点和当前任务阶段实践？是否违背了地舆围栏（比如禁飞区）、已毕区域，或者特定任务的操作规程？
第五个维度是时期灵验性。这个动作不单是咫尺安全，世界杯预选赛下单而是在接下来的一段时期内皆安全吗？距离潜在碰撞还有几许时期？当前气象数据是否照旧太靡烂，不再适协行为行动依据？
第六个维度是回退权利。若是这个动作不被授权，系统应该怎么办？是修编削作、平直罢手、切换到备用适度器，照旧肯求东谈主工介入？一个莫得明确回退决议的安全机制，自己即是不无缺的。
第七个维度是可审计性。此次授权或拒却的决定，能否在过后被无缺重建？联系的传感器数据、拘谨条款、决策原理是否皆被记载下来了？这不仅对事故侦察至关首要，亦然整个安整体系得回监管认同的基础。
论文将这七个维度组合在通盘，形成了一个无缺的"授权事件"想法。每一次AI系统提倡一个物理动作，皆应该生成这样一个无缺的记载：我在什么情况下提倡了什么动作，历程哪些检查，得到了什么论断，若是被拒却了下一步是什么。
**五、阿谁仓库里的机器东谈主：静默失效的无缺故事**
论文用一个很是具体的例子来说明整个框架的运作逻辑，值得无缺地诠释出来。
一台自主移动机器东谈主正在仓库的货架通谈里责任。它的适度系统收到指示："去取地点托盘"。基于这条指示和当前的传感器数据，AI模子辩论出了一个旅途，建议机器东谈主以1.2米每秒的速率上前移动。
咫尺，这台机器东谈主需要一个"运行时授权系统"来决定这个动作能否实践。枢纽的安全辩论是这样的：以当前速率1.2米每秒，加上感知和适度之间0.25秒的延伸，加上机器东谈主的最大制动延缓度1.6米每秒的平方，加上0.2米的安全余量，机器东谈主需要至少0.95米的净空距离才能安全停驻。
但与此同期，有一个托盘略略偏离了尺度位置，部分装璜了机器东谈主的视线。历程不细目性修正后，当前可靠的安全净空只须0.8米，不及以保证在0.95米内完全制动。
正确的授权决定应该是：拒却当前动作决议，要求机器东谈主减慢、重新辩论，或者恭候东谈主工阐发。
咫尺，来看静默失效是怎么发生的。若是机器东谈主的占用舆图数据是几秒钟前的（气象灵验性检查失败），AI模子看到的是一条开通的走廊，于是提议高速直行。语义检查发现"去取托盘"完全合理，莫得任何无益意图，于是通过。底层适度器收到速率指示，检查了速率是否罕见硬件上限，莫得罕见，于是实践。驱散，机器东谈主以满速冲向了施行上存在阻难的区域。
全程莫得任何报错，莫得任何警告。只须一声撞击声。
这即是为什么气象灵验性检查必须是一个放心的、明确的方法——而不是藏在AI模子里面，由模子我方来判断我方的信息是否可靠。
**六、更好的评测口头：不成只看任务得手率**
论文的另一个首要孝敬是提倡了怎么评估"运行时授权机制"的灵验性。这个问题比名义看起来要复杂得多。
咫尺评估机器东谈主AI系统的主要方针是"任务得手率"——给机器东谈主一个任务，看它完成了几许次，失败了几许次。这个方针虽然有价值，但它无法回话咱们简直蔼然的安全问题。一个任务得手率95%的系统，它那5%的失败究竟是什么性质的？是优雅地停驻来肯求匡助，照旧暗暗地冲向了阻难物？
论文提倡了三个中枢量化方针，有益用于评估安全侵犯机制的质地。
第一个是"不安全动作侵犯率"（UAIR）：在所有本应被阻止的危活泼作中，施行被得手阻止的比例有几许？这是最平直的安全方针。一个UAIR等于100%的系统意味着每一个危活泼作皆被阻止了；UAIR等于0%则意味着安全机制形同虚设。
第二个是"误阻止率"（FBR）：在所有原来安全可实践的动作中，有几许被诞妄地阻止了？这个方针斟酌的是"过度严慎"的代价。一个安全机制若是把所有动作皆阻止下来，UAIR是100%但FBR亦然100%，施行上机器东谈主就完全无法责任了。安全性和可用性之间存在真实的张力，好的授权机制必须在两者之间找到均衡。
第三个是"预提交侵犯率"（PCIR）：在所有被得手阻止的危活泼作中，有几许是在动作简直变成硬件换取之前就被阻止的？这个方针关注的是时机。一个在动作照旧实践了一半才发出警报的安全机制，与一个在动作刚刚被提议时就进行检查的机制，安全价值互异弘大。
除了这三个量化方针，论文还提倡了需要进行定性检查的维度：系统是否大要在传感器数据被混浊或靡烂时正确识别出气象不可靠？它是否大要在模子高度自信时仍然实践物理可行性检查？它是否在不同的机器东谈主平台、不同的环境下皆能一致地实履拘谨条款？它的回退行径是否自己亦然安全的？
论文还有益辩论了仿真平台（Simulation Platforms）的变装，比如英伟达的Isaac Sim、平淡使用的MuJoCo物理引擎、用于自动驾驶测试的CARLA环境，以及用于室内导航研讨的Habitat平台。这些仿真环境不错生成大批边际案例用于测试，不错重叠运行并吞场景，不错在莫得真实硬件损失的情况下测试危机情况。但论好意思丽确指出：仿真平台能帮你发现问题，但不成替你作念授权决策。仿真告诉你"这种情况可能出现"，而授权机制告诉你"这种情况出刻下该怎么办"。
**七、为什么才智和安全老是走在不同的路上**
论文的一个首要不雅察是，以前几年间，物理AI的才智起首和安全机制的起首一直沿着相互平行但从未简直相交的两条轨谈发展。
才智方面的起首令东谈主目不暇接。OpenVLA是一个领有70亿参数的模子，在97万个机器东谈主操作示范上教师，与前代最佳的系统比拟，任务完成率擢升了16.5个百分点。一个叫作念VISTA的系统，通过让宇宙模子生成视觉化的子地点来携带机械臂责任，将超出教师漫步的操作任务得手率从14%擢升到了69%。一个叫作念WoVR的系统，通过明确适度想象出来的将来场景中的幻觉问题，将尺度操作任务得手率从约40%擢升到了约69%，真实机器东谈主的得手率从61.7%擢升到了91.7%。
这些数字展示的是模子越来越能"猜对"应该怎么作念。但论文的问题是：就算模子猜对了，咱们有莫得放心的机制来考据这个料想是否果然安全？任务得手率不等于授权可靠性。一个在尺度测试场景下有95%得手率的系统，在一个略微不同的部署环境里，面对一个之前从未见过的传感器噪声模式，依然可能悄无声气地作念出危机决定。
这种才智-安全的"双轨并行"征象，论文认为根源在于研讨者们来自不同的学术传统，使用不同的器具，评估不同的方针。模子研讨者蔼然泛化才智、少样本学习、跨平台迁徙。适度表面研讨者蔼然数学解说的安全蚁合、系统能源学方程。LLM安全研讨者蔼然无益内容、逃狱袭击、策略合规。简直把这三条线伙同起来的责任，咫尺还极为罕有。
**八、把所有这些伙同起来：一个最小记载模板**
论文终末给出了一个实用性的孝敬：一个"最小授权事件记载模板"，想象用于在不同的机器东谈主平台、不同的AI模子、不同的部署环境之间提供一个长入的比较基础。
这个模板包含九个字段。不雅察高下文记载了其时可用的传感器输入、历史记载、时期戳和平台信息，本质上是回话"系统其时看到了什么"。动作提案记载了AI系统提倡的具体指示，无论是速率敕令、轨迹辩论照旧当然话语描摹的筹划，主张是把"提案"和"实践"在记载上明确分开。气象计算记载了系统认为宇宙当前的相貌，包括周围的物体、阻难物、机器东谈主自身的气象。气象灵验性左证则记载了为什么咱们认为这个"宇宙图景"是简直的（或者不简直的），包括传感器健康气象、数据延伸、不细目性方针、是否超出教师漫步等。活跃拘谨列出了在这个时刻必须闲散的所有司法和已毕，从物理上的速率极限到任务规程中的操作限定。授权决定记载了最终的论断：授权、修改、拒却、左迁到备用模式，照旧肯求东谈主工介入。回退或修改决议记载了当授权决定不是"通过"时，施行实践了什么替代行动。时期左证记载了提案时期、授权决定时期和最终实践时期，用于过后判断侵犯是否充足实时。终末，审计跟踪则记载了模子版块、拘谨司法编号、枢纽左证的援用，以及授权或拒却的原因代码，支柱事故侦察和跨系统比较。
枢纽在于，这个模板不限定任何具体的AI模子架构或机器东谈主适度系统。一台仓库移动机器东谈主、一台工业机械臂、一架无东谈主机和一辆自动驾驶车辆，皆不错使用一样的模板记载它们的授权事件，即使它们里面使用的AI系统完全不同。这就使得跨平台的安全比较成为可能。
**结语：当AI从展望宇宙变成行动于宇宙**
归根结底，这篇论文要讲的是一件很是具体的事：当一个AI系统的输出不再只是笔墨或图片，而是会让真实机器换取的指示时，咱们需要在"AI说要作念什么"和"机器果然启动作念"之间，建造一谈有明确职责、有无缺记载、放心于AI模子自己运作的审查关卡。
这不是说现存的AI系统不够好，也不是说现存的安全机制毫无价值。论好意思丽确承认，更好的模子不错减少一部分诞妄，更好的适度器不错小心一部分越界，更好的传感器不错提供更可靠的信息。但灵通宇宙里永远存在教师数据覆盖不到的情况，物理宇宙永远比任何模子更复杂，而一台高速运转的工业机器东谈主犯错的代价，和一个聊天机器东谈主说错话的代价，完全不在并吞个数目级。
论文为研讨界提倡了几个尚未治理的枢纽问题，每一个皆值得后续深入研讨。不同类型的物理AI系统（无东谈主机、移动机器东谈主、机械臂、东谈主形机器东谈主）在授权层面需要一个什么样的长入详细？运行时系统怎么量化地判断当前的宇宙气象信息是否"充足可靠"来复旧某个具体动作？语义拘谨、空间拘谨、物理拘谨和操作规程拘谨如安在不产生易脆司法系统的前提下组合在通盘？怎么想象一套评测方法，大要简直测量一个授权机制在减少或发现静默失效方面的后果，而不单是是测量任务完成率？
这些问题咫尺莫得尺度谜底，但它们是物理AI从实验室器具变成简直赖的社会基础设施之前，必须要回话的问题。
这篇发布于arXiv平台（编号arXiv:2606.00090）的综述论文，提供了咫尺为止对这个问题最系统的梳理，也许不错成为股东这些问题走向治理的一块基石。
---
Q&A
Q1：物理AI的"静默失效"和普通软件崩溃有什么区别？
A：普通软件崩溃会产生领悟的诞妄信号，比如弹出诞妄窗口或触发警报，系统会罢手运行并见知用户出了问题。而物理AI的静默失效正好相背——系统的所有组件皆在正常运转，日记显现一切正常，莫得任何报警。失败发生在更隐私的层面：AI系统赖以作念决策的宇宙气象信息照旧暗暗地偏离了真实情况（比如传感器数据靡烂、感知驱散有装璜），但系统自己绝不阐明，依然充满信心性陆续实践动作，直到形成真实的物理后果。
Q2：现存的AI安全机制为什么不够用？
A：现存的安全机制各自治理了问题的一个侧面：适度障蔽函数能小心机器东谈主违背物理极限，但需要先见精准的能源学方程；语义过滤器能识别无益指示，但无法判断语义无害的指示是否在物理上安全；运行时保证系统能切换到备用适度器，但难以评估AI提倡的复杂动作是否基于可靠的宇宙气象；不细目性检测能发出"情况可能有问题"的信号，但无法平直给出安全替代决议。问题不在于某个机制自己不够强，而在于莫得一个长入的关卡，能在并吞个事件中同期评估气象可靠性、物理可行性、操作合规性和回退决议。
Q3：评估物理AI安全性为什么不成只看任务得手率？
A：任务得手率只告诉你系统"作念成了几许次"，却无法揭示那些失败的本质：是优雅地停驻来肯求匡助，照旧暗暗冲向阻难物？更首要的是，一个在尺度测试场景下得手率很高的系统，在真实部署中遭逢教师数据未覆盖的边际情况时2026世界杯体彩官网，依然可能在毫无警告的情况下作念出危机决定。论文提倡用"不安全动作侵犯率""误阻止率"和"预提交侵犯率"三个方针来有益斟酌安全机制自己的质地，重心不是任务完不完成，而是危活泼作有莫得在变成真实换取之前被正确识别和阻止。