无人机场景应用挑战赛
目录
形式:线上仿真初赛+线下硬件决赛(线上与线下规则一致)
赛道负责单位及硬件:卓翼智能
基于大模型的无人机场景应用挑战赛
1.规则概述
1.1 竞赛内容
本赛项聚焦九格4B大模型与低空无人机的协同创新,要求参赛队通过自然语言指令(如:起飞无人机、连续穿越第一、第二通道)驱动无人机完成全自主战场环境侦察任务。比赛重点考核大模型指令解析、动态避障、目标/标识识别与精准降落能力,实现战场级飞行精度与响应速度。
2.比赛场地及道具要求
2.1 场地要求
尺寸:9m×5m模拟地下仓库场景
(1)功能区
1)障碍区:3根1m×1m×3m立柱
2)穿越区:2个1m×1m方形通道
3)识别区:动态标识码(0.3m×0.3m)
4)降落区:1m直径圆形标识
![]()
图3-1 无人机赛道比赛场地尺寸细则
![]()
图3-2 无人机赛道比赛场地立体图
3.参赛要求
3.1 参赛人数
(1)每队≤10人,指导教师≤2人。
3.2 设备规范
1)主办方提供无人机及仿真环境,选手无需自备硬件。
2)禁止更换九格大模型,同时严禁改动仿真运行速度(如无人机运动瞬移)。
3.3 机器人技术要求
(1)机器人数量
无人机将由主办方提供8台,选手无须自备。每支参赛队可以用于比赛的无人机数量为一台,每台无人机仅可供一支队伍使用。
(2)安全性
参加比赛的无人机必须保证安全操作,即不对人和环境造成危害。
(3)独立性
参加比赛的无人机必须是自动的并且可以自主移动的,比赛中的任何遥控行为都视为犯规,将会被取消比赛资格。当无人机开始移动后,参赛队将不能再次触碰无人机,之后的所有任务都将由无人机自主完成,直到比赛结束。
(4)特别说明
比赛开始前至少一小时,裁判组将对各参赛队无人机进行检查,其中必须检查的内容包括:急停开关,无人机等硬件及无人机的差异性,若赛前检查未通过,将不允许继续进行比赛。
4.比赛过程
4.1 赛程赛制
(1)根据参赛队伍的数量,决定比赛的轮次。在时间允许的前提下,可进行两轮比赛(如果时间不允许,则比赛为一轮)。在比赛前各队进行抽签,所抽顺序决定参赛队在两轮比赛中的上场顺序。
(2)比赛环节中以裁判的命令为开始信号。
(3)比赛限时8分钟。
(4)比赛最后的名次按照任务得分的总和来排列(如果是两轮比赛,取各队两轮比赛的最高分进行排列),如果出现任务得分相同的队伍,则按照比赛用时来进行排定:任务得分相同的数只队伍,比赛用时短的名次排在前面。比赛过程中参赛队可以主动要求放弃比赛来获得较短的比赛终止时间。
4.2 比赛任务
无人机场景应用挑战赛要求参赛队伍通过大模型接收并处理:起飞无人机、识别降落区标志等自然语言指令。驱动无人机在9米×5米模拟地下掩体/战场废墟场景中完成全自主任务。无人机需依托大模型语义理解与实时推理能力,将抽象指令转化为相对的控制话题进而进行厘米级飞行控制与避障导航动作,在动态环境中自主避开柱子障碍物、按序穿越方形框,识别无人车及带二维码方形盒子,最终精准降落至指定地点,全面展现大模型驱动下智能体通过物理实体与环境交互的具身智能技术。
表3-1 无人机竞赛流程
| 任务序号 | 自然语言指令 |
|---|---|
| 任务1 | 起飞无人机 |
| 任务2 | 穿越第一通道 |
| 任务3 | 穿越第二通道 |
| 任务4 | 识别目标标识码信息 |
| 任务5 | 降落至指定区域 |
注:1、九格大模型语义解析为必选项,未使用者直接判0分。2、主办方将为选手提供5套任务自然语言指令,为保证赛事公平,将在比赛前2小时进行公布。
(1)比赛准备
在比赛开始前,参赛队将无人机移动到场地入口处,并做好准备。准备时间5分钟。
1)参赛队完成所有赛前准备,准备完毕后举手示意(若5分钟准备时间结束后,参赛队未举手示意,比赛直接开始);
2)选手在裁判员的引导下随机抽取任务自然语言指令。
(2)比赛开始
裁判发出开始信号后,比赛正式开始,计时开始。参赛队从场地入口线外启动无人机,一旦开始移动,参赛队员将不能再触碰或遥控无人机。若无人机进入场地时触碰到围挡或者参赛队员触碰无人机,一次扣5分,最多扣4次。
(3)任务阶段
无人机在裁判发出比赛开始指令后,开始自主执行任务,自主执行任务过程中只有裁判员和安全员才能接近无人机2米范围内,跟随无人机进行计分、拍摄和紧急情况处理。导航过程中若无人机触碰围挡或者其他任何障碍物,若不影响比赛进行,可继续进行。若影响比赛安全,裁判员必须立即关闭无人机,比赛终止,比赛成绩为终止前完成的任务分数,后面的流程无法得分,同时比赛计时停止并记录下来作为比赛最终用时。
(4)任务离场
选手在比赛限定时间内完成任务即可离开场地,离场前各参赛队队员需签字确认成绩,比赛计时以完成最后一次递送动作的时长为准。比赛用时会被记录下来,在后面进行名次排定出现任务分相同的时候会用到。
4.3 评分标准(共100分)
表3-2 无人机赛道评分标准
| 任务 | 指令示例 | 得分规则 | 扣分项 |
|---|---|---|---|
| 无人机成功起飞 | 无人机执行起飞指令 | 起飞成功得5分 | 未起飞得0分 |
| 无人机从中间过去 | 无 | 成功越过且起落架、桨叶完全越过得10分 | 未完全越过得0分 |
| 成功越过中间第一个门框 | 无人机穿越中间第一通道 | 成功越过且起落架、桨叶完全越过得10分 | 未穿越得0分 |
| 成功越过中间第二个门框 | 无人机穿越中间第二通道 | 成功越过且起落架、桨叶完全越过得10分 | 未穿越得0分 |
| 成功识别无人车上二维码的正确信息 | 无人机识别目标标识码信息 | 识别正确得10分 | 识别错误得0分 |
| 识别降落标志 | 无人机检测降落区 | 检测到降落区得10分 | 未检测到得0分 |
| 成功降落至指定降落区 | 无人机降落至指定降落区 | 降落成功且起落架、桨叶不外露得15分 | 未降落或起落架外露得0分 |
| 更换路径规划算法(鼓励算法创新) | - | 采用创新路径规划算法得10分 | 未更换得0分 |
| 加分项 | - | 使用九格多模态大模型目标识别得20分 | 未使用九格多模态大模型得0分 |
4.4 评分标准附加项
通过大模型交互,依次完成表3-2所有任务,并按表中规则逐任务计分。比赛鼓励创新,在原有规则基础上,增加如下附加项:
(1)除表3-2 中的“更换路径规划算法(鼓励算法创新)”外,使用其他的创新算法(非官方提供demo算法),在比赛时和评委说明,每个创新程序节点酌情加1~3分。注:只有算法比官方提供源码速度快、平稳性更强或其他肉眼可见优势才能加分。
细则:选手需提前准备好文档,说明算法方案和实现原理,并附上实验数据(赛前准备)说明性能提升,若比赛时性能和赛前记录性能一致(评委现场评估),且确实对比官方算法有所提升,即可根据性能提升情况给1~3分。
若评委对算法存在质疑,可以要求选手打开源码进行方案校验,若文档算法与实际实现方式不一致,则扣除本阶段分数10分。
(2)鼓励优化飞行机动性,提升任务完成速度(但禁止修改仿真速度瞬移),最终所有队伍按任务完成时间从快到慢排序,并按照赋分制方法将排名映射到加0~10分。
细则:比赛时记录所有队员完成所有任务的总时间,并按照时间从快到慢排序。设最快时间为Tfast,最慢时间为Tslow,选手时间为T,则比赛顺序加分 = 10 – 10*(T - Tfast)/( Tslow - Tfast)。即时间最快(T=Tfast,则加分为10),若时间最慢(T= Tslow,则加分为0)。
(3)不允许新增复合控制接口来一次完成多个任务,只能使用平台位置、速度、姿态等直接控制接口来完成任务。若发现存在使用自编程复合接口完成多个任务阶段的情况,这几个阶段均为0分。
细则:不允许人工编写一次完成多个阶段任务的接口,让大模型直接调用!典型反例:直接编写能飞完全程的接口、节点或函数,直接让大模型执行命令一键完成比赛,让完成速度更快。
允许大模型自己调用底层接口去执行多个任务,例如输入命令“起飞并穿越第一个环”,大模型自动生成一段Python/C++代码或行为树节点,调用底层起飞、前飞速度等接口,完成起飞并穿环的两个任务。
评审方法:对于一条指令完成多个阶段任务来加速任务完成的情况,需要选手提前准备好文档,说明算法方案和实现原理,进行评委审查,展示大模型到发给无人机的控制量传输环路。原则上只能使用平台mavros底层外部控制接口(例如,mavros的/mavros/setpoint_*/)。
选手比赛开始前,需要用rostopic命令试试打印自己的控制接口输出,便于评委观察控制数据变化情况。例如:使用平台控制接口需要输入命令“rostopic echo /mavros/setpoint_raw/loal”,得到下面数据持续变动且符合实际飞行状态即可。
图3-3
(4)在某一个任务阶段与物体发生了碰撞或穿模扣5分(和同一物体碰撞多次算一次,穿出场景算一次),和两个以上物体碰撞本阶段记0分(等于失败)。
细则:机身主体(机臂机身起落架等)和障碍物肉眼可见接触才扣分,螺旋桨接触不算。
若因电脑性能问题,飞机处于飞行不稳定阶段,左右前后大幅晃动,碰触多个物体算一次。
飞行平稳状态下,和一个物体多次碰撞算一次。飞行平稳状态下,碰到框、环、墙等不同物体,每个扣5分,直到扣到0分。
(5)穿框穿环等感知相关步骤,需要使用视觉/点云感知算法(或多模态大模型)来识别并进行视觉反馈。若无图像/点云处理结果窗口扣5分,有感知但未使用视觉反馈控制扣5分(评委指出疑似指点飞行时,需要进行源码说明,如实汇报实现原理,否则取消成绩)。
细则:选手需要有感知结果可视化窗口展示,比如:需要对输出框,二维码,降落标志检测结果,如果是图像,或点云,需要向平台展示bbox检测结果。未展示感知结果时,当前阶段扣5分。
图3-4
禁止源码内包含任何预设的位置点和轨迹点,在不进行感知决策直接走预设轨迹盲飞完成任务(指点飞行)的行为,所有目标位置和估计都需要在比赛时实时解算。若评委提出指点飞行质疑,需要选手展示源码进行审查,若发现预设轨迹点或关键位置点的情况,则本阶段扣5分。
注:带视觉反馈的轨迹规划应该是平滑的,能够根据障碍物变化实时调整轨迹,评委可以以飞行平稳性为标准去评估是否需要审查代码。
注:不再限制比赛平台和算力,可使用个人PC(Windows或Linux)或官方云算力,请自行选用最稳定平台,完成环境搭建与调试,确保稳定飞行。若出现算力问题导致算法降频,产生飞行抖动(这个真机也会发生),请自行优化算法,或更换高性能平台。
注:可基于官方提供任意demo版本算法进行比赛,但使用官方代码仅能保证基础分,要的高分请针对加分项进行优化。
注:最终比赛成绩采取两次比赛尝试取最高分的方法。若第一次比赛尝试不理想或失败,可申请第二次尝试。
4.5 违规处理
(1)技术违规:擅自修改禁止项(如更换大模型),直接取消成绩。
(2)操作违规:未及时报告设备故障或干扰他队,扣10分/次。
(3)安全违规:无人机未急停导致轻微碰撞,一次扣5分,最多扣4次。
5.其他说明
出现争议的情况以裁判判定为准。