机器人挥出那一拳之后:智能机器人的安全,到底该怎么做?

来源:黑芝麻智能 #黑芝麻智能# #智能机器人# #GeekCon#
1285

机器人要走进真实世界,只有聪明还不够,它还必须可靠、可控、可验证、可托付。聪明,是机器人的上限;安全,是机器人的底线。

一、那一拳的警示:从隐忧到现实

2025年GeekCon安全极客大赛上,两名白帽黑客远程劫持人形机器人,仅用不到3分钟就让两台机器人“沦陷”。随后,被劫持的机器人径直走向舞台中央的假人,抬起机械臂,狠狠挥了一拳,将假人击倒在地。那看似普通的一拳,却击碎了整个行业对安全的幻想。当机器人的手臂以超过人类反应速度的力量挥出时,所有人都意识到一个问题:如果这一拳打在了人身上,后果会是什么?这意味着对机器人的网络攻击,其风险等级已等同于对汽车、飞机的攻击。

“当AI拥有了身体,安全就从‘屏幕后面的隐忧’变成了‘房间里的现实威胁’。过去我们担心AI说错话,现在我们担心AI挥错拳。”

二、四个你可能没想过的危险瞬间

GeekCon那一拳,是机器人安全问题最极端的一面。但在更多日常场景里,危险往往来自更“普通”的原因。

  • 场景一:公园里的突发情况

一台户外陪伴机器人正以每秒1.5米的速度在步道上行驶。花坛后面,一个三四岁的男孩追着皮球突然窜出——距离不到2米。机器人的制动距离需要0.8米,孩子的奔跑速度每秒2米。不是“能不能停下来”的问题,是300毫秒之内来不及反应的问题。

  • 场景二:工厂里的隐形干扰

协作机械臂正在与工人并肩作业,旁边一台大功率冲压机突然启动,电磁脉冲干扰了编码器信号。机械臂还在正常运动,系统显示一切正常——但实际位置已经偏移了5厘米。工人毫无察觉,而那5厘米,正好是手臂与安全区边界的距离。

  • 场景三:下坡时的电力危机

园区配送机器人满载15公斤货物,正以匀速下坡。电池管理系统突然发出电量临界警报——还剩3%。如果直接停机,机器人会滑下去撞到人;如果继续运行,又可能因为电力不足而失控。这是一个两难的选择,急停解决不了。

  • 场景四:厨房里的识别错误

人形机器人打开冰箱,将一瓶蓝色液体识别为矿泉水,准备拿起递给用户。姿态正常、力度合规、速度达标——但这瓶东西是清洁剂。动作执行得再标准,也不代表这个动作应该被执行。

这四个场景的共同点:急停按钮解决不了其中任何一个。场景一需要“提前预判”,场景二需要“数据可信”,场景三需要“多层兜底”,场景四需要“策略校验”。

三、安全的定义,已经被改写了

过去谈机器人安全,聚焦急停、限位、断电保护。传统工业场景里这是够用的——机器人被固定在围栏里,按预设路径运行。

但今天不同了。机器人正在走进公园、商场、工厂和家庭,面对完全开放、不可预测的环境。GeekCon事件证明黑客能从数字世界穿透到物理世界;ISO 10218机器人安全标准正在2025年进行重大修订;行业正在形成共识——安全,已经从“单点器件安全”演化为“全链路系统安全”。从行业动态来看,这一趋势正在加速。

“但值得注意的是,行业内目前尚无针对AI高层决策安全和预测性安全的系统化框架。大家都在谈安全,但真正的安全体系建设才刚刚开始。”

传统安全 vs SesameX安全对比

四、六条安全原则:从物理世界到数字世界的递进哲学

面对这些挑战,黑芝麻智能将汽车行业几十年积累的车规级安全经验,系统性迁移到机器人场景,提出SesameX安全体系——业界首个面向机器人商业化部署的全栈计算平台,也是目前行业内率先将完整车规安全体系落地至具身智能场景的计算平台。

这套体系的核心思想是:安全不是事后补丁,而应当成为从芯片、模组到整机的一体化设计能力。为此,SesameX将机器人安全归纳为六条递进式原则:

安全六大原则 × 六层机制映射关系

“安全必须从物理世界开始,最终上升到数字世界,中间每一层都不能缺席。单一维度的安全,等于没有安全。”

五、从六条原则到六层机制:每一层都在回答“出了事怎么办”

SesameX构建了业界首个从物理层到数据层的完整六层安全体系,实现“不伤人、不做错、不想错、不泄漏”的全方位安全目标。六条原则回答的是“为什么要这样做”,L0到L5的六层机制回答的则是“安全如何真正落地”。SesameX平台采用四域隔离架构——将安全关键域、实时控制域、AI推理域、通信域进行物理级隔离,以ASIL-D车规级安全标准为基础,构建从感知到执行的全流程安全防护机制。以下六层已在平台的计算模组上实现差异化部署。

L0-L5六层安全机制金字塔

  • L0 本能反射——“先停下来”

碰到危险先缩手,不经过大脑。急停、安全扭矩关闭、制动保持——不等待推理,优先切断危险动作。在硬件层面,L0支持双通道安全处理与独立安全岛架构,即使主处理链路异常,安全链路仍可通过冗余通道完成故障响应。

  • L1 动作审查——“别让错误动作发生”

毫秒级持续审查速度、加速度、力矩等关键变量,超限即拦截。通过MPU(内存保护单元)、看门狗、防火墙等机制实现功能隔离——让机器人从“能动”升级为“会克制地动”。

  • L2 安全轨迹——“高层AI出了问题,行为也得收敛”

对路径和轨迹进行安全性校验,高层规划不可信时自动降级为保守轨迹。参考功能安全的时间要求,系统必须在故障发生后规定时限内进入安全状态——即便大脑“发疯”,身体也不会失控。

  • L3 策略防护——“这个动作根本不该被执行”★独创

校验的不是动作,而是任务意图。人群密集区不应高速运行,电量不足不应执行高风险任务,定位不可信时不应坚持自主运行。SesameX平台通过独立安全岛、寄存器保护、内外部看门狗等机制,确保所有策略都具备边界、权限和资格审查——机器人的“策略守门员”。

  • L4 主动预警——“碰撞发生之前,就看到风险正在形成”★独创

不是等孩子跑到面前才急停,而是运动趋势开始闭合时就已经限速避让。基于多模态融合感知能力,系统可实现提前约100毫秒的危险预测,把安全从“被动防守”升级为“主动预测”。

值得强调的是,L3策略防护与L4主动预警是SesameX区别于传统机器人安全体系的独创性设计。传统安全标准(ISO 13849、ISO 10218)主要聚焦底层控制与执行安全,尚无针对AI高层决策与预测性安全的系统化框架。SesameX率先将“策略校验”和“风险预测”纳入多层安全架构,填补了智能机器人时代安全体系的关键空白。

  • L5 数据安全——“如果传回来的数据本身就是假的呢?”

GeekCon那一拳,证明的正是这一层的价值。守护启动链可信、数据完整、模型可靠、通信保密——这不是附属意义上的信息安全,而是整个机器人可信运行的数字底座。

传统安全 vs SesameX:一个维度的对比

六、六层不是六道墙,而是一条联动的安全链

让我们回到开篇的那个场景——公园里,孩子突然跑出来。看看SesameX的六层安全链是如何协同工作的:

1. L4 主动预警:在百毫秒内预判碰撞风险正在形成,立即触发预警信号

2. L3 策略防护:判定当前模式不适用,切换"低速避让",任务优先级让位于安全策略

3. L2 安全轨迹:生成绕行轨迹并校验安全性

4. L1 动作审查:实时约束速度与加速度

5. L0 本能反射:即使上层全未响应,L0 本能反射 也可急停阻断

6. L5 数据安全:全程守护感知输入不被篡改

公园场景六层安全链联动流程

整个链条在毫秒级完成联动。如果那天GeekCon上的机器人装了这样一套体系——黑客的恶意指令,在到达机械臂之前就会被拦截。

七、从方法论到真实世界:安全正在加速落地

SesameX想做的,不是某一台机器人的安全方案,而是整个行业的安全基础设施。

2025年11月,黑芝麻智能发布SesameX多维具身智能计算平台,这是业界首个“全栈自进化全脑智能平台”,融合感知、认知、决策、控制与安全闭环的全场景机器人商业化部署计算平台。SesameX平台正从技术验证走向规模落地。

SesameX的安全设计对标ISO 26262(道路车辆功能安全,最高等级ASIL D)、ISO 13849(机械安全控制系统,PL e/Cat.4)和IEC 61508(电气/电子安全系统,SIL 3)等国际功能安全基础标准,继承了面向ASIL D的开发能力,将经汽车行业验证的车规级安全能力系统性迁移至机器人场景。 

八、结语

GeekCon那一拳打碎的,不只是一个假人,而是整个行业的安全幻觉。

未来机器人当然需要更强的感知、更聪明的决策。但真正决定它能否走进千家万户的,从来不只是“它能做什么”,而是“出问题时它会怎样”。因为机器人要走进真实世界,只有聪明还不够。它还必须可靠、可控、可验证、可托付。

聪明,是机器人的上限;

安全,是机器人的底线。

只有守住底线,才能真正触及上限——

这,才是智能机器人时代的分水岭。

责编: 爱集微
来源:黑芝麻智能 #黑芝麻智能# #智能机器人# #GeekCon#
THE END
关闭
加载

PDF 加载中...