无人机赛道

形式:线上仿真初赛+线下硬件决赛(线上与线下规则一致)

赛道负责单位及硬件:卓翼智能

(1)赛道介绍

无人机具身智能系统应用赛道(无人机+大模型赛道)是一个结合无人机技术与九格大模型的竞赛项目,目的是推动无人机和大模型的技术创新与应用,探索无人机与具身智能和大模型结合的可能性,解决实际问题。近年来,无人机技术和大模型(如大语言模型、视觉模型等)发展迅速,尤其是在自主飞行、图像识别、传感器融合等方面。如何将大模型与无人系统结合,提升无人机的智能化水平,成为一个新的研究方向。例如,通过大模型优化飞行路径规划、提升视觉识别精度、进行更复杂的环境分析等。

比赛会涉及一些真实世界中的场景模拟,例如:无人机自主导航、环境感知、物体识别与跟踪、协同飞行等任务,并结合大模型来提升系统的智能化和决策能力。促使参赛团队结合无人机技术的最新进展,推动其在更复杂环境中的应用。最终目标是推动无人机技术和大模型应用的发展,促使参赛者在创新中解决空域管理、飞行安全等问题,同时推动无人机技术在各个行业(如农业、物流、安防等)的实际应用。

(2)任务概述

参加本次赛事的队伍要遵循大赛总规则,基于具身智能和九格大模型进行无人机系统任务。本项目的特色规则如下:

比赛任务说明:在指定的长方形场景(四周带防护)中,有若干柱子障碍物,两个方形框(模拟门窗),一个无人车(上面贴了二维码,模拟移动目标搜索能力)、若干带二维码的方形盒子(模拟静态目标搜索能力),无人机在时间最短的情况下避障并越过方形框,同时获取所有的指定目标,并利用九格大模型感知能力扫描获取无人车上二维码,精准获取无人车提供的信息,并降落到指定地点。全程无人机自主导航探索环境,获取目标信息,可利用九格大模型开发进行视觉语言导航获取指定目标信息并降落。

比赛流程说明:参赛队伍可以在起飞区准备一个或多个无人机,要求能穿越所有的框,搜索到系统或裁判所指定的所有的移动和静止目标并扫描记录上面的二维码(对应特定数字,目标在每一比赛前会有所改变位置和信息),最终在降落区完成降落。系统或裁判所指定的目标信息需要使用九格大模型进行理解分析并输出命令。

多无人机加分项:参赛队员可以用1个或多个飞机来完成任务,每增加一个飞机(辅助飞机)可以加10分(要求飞机完成起飞,至少穿越或识别一个目标,降落的整个流程才能加分)。如果辅助飞机发生碰撞障碍物或飞机相互碰撞,碰撞一次减4分,直到将10分扣完。

**九格大模型得分项:**大模型调用过程的输入输出会全程记录,根据大模型的使用情况和结果进行打分。大模型能够对输入语音进行解析,生成正确的规划指令,得5分;机端能够通过九格大模型给出正确的导航指令,得15分;机端能够通过九格大模型正确地识别指定目标,得10分;机端能够通过九格大模型正确地识别降落区位置,得10分;整体根据大模型在任务中的参与程度和优化程度,可以加0到10分(队员提供方案PPT和关键代码,组委会审查代码和实际效果现场打分)。

比赛速度加分项:根据总体完成速度进行加分,最快完成的前十名可加4到20分。前两名加20分,每降低2名,减4分。

img

(3)设备要求

(1)硬件部分

● 功能要求

自主飞行的无人机和无人车装备要搭载追踪相机、激光雷达、可见光摄像头、视觉等传感器,且具备室内自主航线规划、自主识别定位及目标识别、自主避障等功能,无人机与无人车之间无通信,无人机通过越过障碍物指导无人机(即目标),无人车搭载计算板块,能完成,定位,导航等功能。

● 定位与通信要求

无人机及无人车动力驱动需采用电动驱动,无人机搭载传感器只允许机身自主搭载,不得含有外部辅助定位系统,无人机在通信方面只允许与遥控器及地面站、电脑等设施进行连接,不允许与比赛场地规定的以外设施进行连接及控制,一经发现,即取消比赛资格,本赛事本着更大的参与度,满足飞机及传感器参数范围的设备即可参赛。

● 无人机要求

为保证赛场安全性和公平性,参赛设备需要满足以下要求:1)无人机:100mm≤轴距≤350mm; 2)可搭载激光雷达或其他室内定位设备;3)可见光相机:像素≤300万;4)飞机必须装配螺旋桨保护罩;5)飞机上需要搭载机载板卡,核心控制算法需要运行在机载板卡上,出于安全考虑,飞机内程序不能自启动,应在地面电脑上启动程序,因此,地面电脑仅能用于任务下发、危险时接管等功能。

● 飞控要求

只允许采用开源飞控,满足飞控每个通道插头均可独立插拔,包括但不限于APM、PX4等,自己编译的飞控需要公开源代码。

(2)软件部分

● 仿真软件:

官方提供,语言包括但不限于C、C++、Python、ROS等。比赛分为线上和线下赛两个阶段。线上赛的场景在UE中搭建的仿真环境中进行,线上线下赛场景的尺寸和布局保持一致。线上仿真赛的算法在官方提供的WSL/Ubuntu虚拟机中开发,以docker方式打包并提交主办方在主办方服务器上进行统一评比;真机算法在机载板卡Ubuntu系统中开发。

img
线上赛场景
img img
线下场景 1 线下场景 2

● 其他要求

参赛的软件使用比赛服务商官方的发布版本。

(4)比赛场景

比赛分为虚拟仿真+实操飞行两大任务,这两大任务的比赛规则和流程保持一致。比赛场地大小约为长9米*宽5米*高3米,场地示意图如下图所示:

img

1、场景描述

在一个9米*5米的模拟地下仓库中进行无人车+无人机的空地一体化常规巡检。无人车进行固定轨迹的地面巡检;无人机基于九格大模型或者大小模型配备的方式实现自主空中巡查,其中,大模型为上层决策,如响应一句在指令(识别出门框并穿越,然后找小车,并识别车上的二维吗)等,具体怎么读取二维码值,使用传统算法取内容。根据裁判所给的语音提示信息获取动静态目标信息和顺序,使用九格大模型处理语音信息和视觉感知信息,按顺序获取每一个动态或静态目标信息,同时避开障碍物、穿越门框,最后对移动中的无人车顶二维码进行识别并降落至指定位置。全程根据无人机找寻的目标物体信息完整度、顺序、速度进行打分,确保无人机准确找到所有的动静态目标信息,穿越或躲避场地中的障碍物,准确获取无人车上提供的消息,并准确降落到指定降落区域。

2、流程描述

选手将飞机放到起飞点H内,裁判和参赛选手确认完毕,发出开始口令,并给出任务指令信息,飞机利用九格大模型加载语音指令,获取起飞信号、动静态物体找寻目标信息,飞机从起飞点上起飞,同时循迹无人车开始按照地面圆形线条循迹,围绕直径为1米的圆做均速圆周运动,飞机依据适配的传统感知算法或者视觉语言大模型进行感知控制和行动,根据获取的语音指令,按顺序找寻动静态目标信息、穿越场地前排柱子、穿越两个边长为1米的矩形方框,最后飞至循迹的无人车上方,识别到无人车二维码上的数字后降落到指定位置,识别的内容由裁判验证后即可完成比赛。

语音指令包含内容:要找寻的动静态物体信息、左右矩形框穿越的信息(只穿越左边还是右边、或者同时穿过)。

3、场地布局

场地内部有三个柱子、两个方框、两个停机坪标识(根据无人机数量可以自行增加)、一个无人车轨迹标识、若干带二维码颜色区分的方形盒子(0.3米*0.3米),其中柱子长宽高:1米*1米*3米,方框尺寸:1米*1米,停机坪直径:1米,无人车轨迹直径:1米,场地内所有障碍物的位置都是随机摆放,不提供坐标,不允许量尺,立体示意图如下图所示:

img

img

(5)竞赛时间和赛制赛程

每个参赛队不超过3人,每队指导教师不超过2人,开始比赛后,每只队伍必须指定一名成员为无人机操控者,比赛期间不允许临时更换飞行操控者且不允许参赛选手进入比赛禁止的区域。

每个参赛队均有两次全流程比赛机会,两次全流程赛后取最高分为此参赛队最终得分。

仿真及实操比赛各自不超过8分钟,一旦超过则视为本次比赛结束,只计算已经取得的分数,成绩按已取得分数减去扣除分数计算。

线上赛在主办方提供的服务器上进行,队员通过远程控制软件操控官方电脑环境进行起飞并完成所有任务。注:要求参赛队的算法封装在Docker中,并提供一键运行脚本,能够自动完成所有的比赛任务。

(6)评分标准

● 线上仿真赛:基础任务80分

无人机成功起飞并载入语音指令:10分;

完全越过左边两个柱子:10分;

成功越过语音指令中指定门框:10分;

成功识别到无人车上二维码的正确信息:10分;

成功识别到盒子上二维码的正确信息:10*3

成功降落至指定降落区(起落架外露则不得分):10分;

仿真赛过程中,主无人机撞击地面或者障碍物一次扣2分,每次比赛最多扣除8分;

多无人机得分项:见任务概述。

九格大模型得分项:见任务概述。

比赛速度得分项:见任务概述。

(7)注意事项

  1. 设备在比赛任务开始后不可以进行临时调整;

  2. 如存在以下情况之一,将取消参赛队伍比赛资格:

  • 参赛的无人机不满足比赛要求的;

  • 参赛队伍无视比赛规则进行比赛场地以外飞行不按照规定比赛区域行走的;

  • 设备存在安全隐患导致飞离比赛区域且不受控制导致摔机的;

  1. 如存在以下情况之一,比赛成绩判为零分:
  • 无人机螺旋桨安装错误的;

  • 未按照裁判要求进行提前起飞无人机的;

  • 裁判发出"起飞"指令后,超过3分钟未起飞的