基于大模型的机械臂能力挑战赛

形式:线上仿真初赛+线下硬件决赛(线上与线下规则一致)

赛道负责单位及硬件:节卡

基于大模型的机械臂能力挑战赛

1.规则概述

1.1 竞赛内容

本赛项聚焦九格大模型与智能机械臂的协同创新,要求参赛队通过自然语言指令(如:抓取左上方的可乐、将雪碧放置到右侧传送带)驱动机械臂完成全自主分拣任务。比赛重点考核大模型指令解析、目标识别、路径规划与精准操作能力,最终实现工业级分拣精度与效率。

2.比赛场地及道具要求

2.1 场地要求

2m×2m实验桌台,桌面两侧设传送带,机械臂前方放置分拣物篮子,选手需按指令将篮子中物品分拣至左右传送带。

img

图1-1 机械臂赛道比赛场地尺寸细则

2.2 道具要求

3.参赛要求

3.1 参赛人数

每队≤5人,指导教师≤2人。

3.2 设备规范

1)主办方提供6轴机械臂(有效负载5kg,重复定位精度±0.05cm)及仿真环境,选手无需自备硬件。
2)严禁更换九格大模型,仅允许优化语义理解、目标识别(也可更换九格多模态大模型)及路径规划算法(主办方提供基础demo及培训),除允许的更换、优化内容,其他内容禁止更换。

3.3 机器人技术要求

(1)机器人数量
机械臂将由于主办方提供8台,选手无须自备。每支参赛队可以用于比赛的机机械臂数量为一台,每台机械臂仅可供一支队伍使用。
(2)安全性
参加比赛的机械臂必须保证安全操作,即不对人和环境造成危害。
(3)独立性
参加比赛的机械臂必须是自动的并且可以自主移动的,比赛中的任何遥控行为都视为犯规,将会被取消比赛资格。当机械臂开始移动后,参赛队将不能再次触碰机械臂,之后的所有任务都将由机械臂自主完成,直到比赛结束。
(4)特别说明
比赛开始前至少一小时,裁判组将对各参赛队机械臂进行检查,其中必须检查的内容包括:急停开关,机械臂等硬件及机械臂的差异性,若赛前检查未通过,将不允许继续进行比赛。

4.比赛过程

4.1 赛程赛制

(1)根据参赛队伍的数量,决定比赛的轮次。在时间允许的前提下,可进行两轮比赛(如果时间不允许,则比赛为一轮)。在比赛前各队进行抽签,所抽顺序决定参赛队在两轮比赛中的上场顺序。
(2)比赛环节中以裁判的命令为开始信号。
(3)比赛限时10分钟。
(4)比赛最后的名次按照任务得分的总和来排列(如果是两轮比赛,取各队两轮比赛的最高分进行排列),如果出现任务得分相同的队伍,则按照比赛用时来进行排定:任务得分相同的数只队伍,比赛用时短的名次排在前面。比赛过程中参赛队可以主动要求放弃比赛来获得较短的比赛终止时间。

4.2 比赛任务

基于九格推理大模型的机械臂挑战赛要求参赛队伍通过大模型接收并处理如:抓取左上方的可乐、将雪碧放置到右侧传送带等自然语言指令,驱动机械臂在2米×2米的智能分拣场景中完成全自主任务执行。机械臂需依托九格大模型的语义解析能力,将抽象指令转化相关控制话题继而实现厘米级抓取定位与路径规划动作,在静态环境中通过视觉识别技术实时检测雪碧/可乐瓶的三维位姿,结合深度相机与力觉传感器的多模态感知数据,实现目标物品的精准抓取与智能分拣。

具体任务要求:

表1-1 无人机赛道竞赛流程

任务序号 自然语言指令 对应图例
任务一 抓取左上方的雪碧,放到左侧传送带 img
任务二 抓取左下方的可乐,放到右侧传送带 img
任务三 抓取最左边的瓶子,放到左侧传送带 img
任务四 抓取最右边的瓶子,放到右侧传送带 img
任务五 抓取可乐瓶子,放到右侧传送带 img
任务六 抓取瓶子,放到左侧传送带 img

注:1、瓶子尺寸为直径5.5cm、高度14.7cm,瓶子类型由主办方赛前2小时从5类(可口可乐、雪碧、芬达、拿铁、红牛等)中随机抽取2类,位置微调但不影响指令逻辑。2、九格大模型语义解析为必选项,未使用者直接判0分。3、主办方将为选手提供5套任务自然语言指令,为保证赛事公平,将在比赛前2小时进行公布。

整个过程有如下阶段补充:
(1)比赛准备
在比赛开始前,参赛队检查机械臂准备情况,并做好准备。准备时间3分钟。
1)参赛队完成所有赛前准备,准备完毕后举手示意(若3分钟准备时间结束后,参赛队未举手示意,比赛直接开始);
2)选手在裁判员的引导下随机抽取任务瓶子种类。

(2)比赛开始
裁判发出开始信号后,比赛正式开始,计时开始。参赛队从场地入口线外启动机械臂机械臂一旦开始移动,参赛队员将不能再触碰或遥控机械臂。若机械臂进入场地时触碰到围挡或者参赛队员触碰机械臂,一次扣5分,最多扣4次。

(3)任务阶段
机械臂在裁判发出比赛开始指令后,开始自主执行任务,自主执行任务过程中只有裁判员、和安全员才能接近机械臂2米范围内,跟随机械臂进行计分、拍摄和紧急情况处理。导航过程中若机械臂触碰围挡或者其他任何障碍物,裁判员必须立即关闭机械壁,比赛终止,比赛成绩为终止前完成的任务分数,后面的流程无法得分,同时比赛计时停止并记录下来作为比赛最终用时。

(4)任务离场
选手在比赛限定时间内完成任务即可离开场地,离场前各参赛队队伍员需签字确认成绩,比赛计时以完成最后一次递送动作的时长为准。比赛用时会被记录下来,在后面进行名次排定出现任务分相同的时候会用到。

4.3 评分标准(共100分)

表1-2 机械臂赛道评分标准

任务 指令示例 得分规则 扣分项
任务1 “抓取左上方的雪碧,放至左侧传送带” 抓取正确+5分,放置正确+5分 抓错则0分
任务2 “抓取左下方的可乐,放至右侧传送带” 抓取正确+5分,放置正确+5分 抓错则0分
任务3 “抓取此时最左边的瓶子,放至左侧传送带” 抓取正确+10分,放置正确+5分 抓错则0分
任务4 “抓取此时最右边的瓶子,放至右侧传送带” 抓取正确+10分,放置正确+5分 抓错则0分
任务5 “抓取可乐瓶子,放至右侧传送带” 抓取正确+15分,放置正确+5分 抓错则0分
任务6 “抓取瓶子,放至左侧传送带” 抓取正确+5分,放置正确+5分 抓错则0分
加分项 使用九格多模态大模型完成目标识别 +20分 未使用九格多模态大模型则0分

4.4 违规处理

1)技术违规:擅自修改禁止项(如更换大模型),直接取消成绩。
2)操作违规:未及时报告设备故障或干扰他队,扣10分/次。
3)安全违规:机械臂未急停导致碰撞,成一次扣5分,最多扣4次。

5.其他说明

出现争议的情况以裁判判定为准