机械臂赛道

形式:线上仿真初赛+线下硬件决赛(线上与线下规则一致)

赛道负责单位及硬件:节卡

(1)赛项简介

基于九格大模型的机械臂在模拟工厂流水线场景的零件组装竞赛,旨在考评九格大模型对指令的理解与优化能力,以及机械臂基于九格大模型精准抓取零件、按设定顺序组装工件的性能。机械臂需借助搭载的各类传感器和视觉语言大模型算法系统,感知识别不同零件,依据设定的指令,在模拟工厂流水线场景中利用九格大模型或传统算法完成零件抓取与工件组装任务。按任务难度系数和完成度计分,合理运用大模型可获加分,赛前提供相应 demo 供参考。

(2)任务概述

参赛选手需基于九格大模型,结合仿真场景中的机械臂,设计一套完整的软硬件系统,使机械臂能够在模拟工厂流水线场景下,精准、高效地完成零件抓取与工件组装任务。九格大模型为算法基座模型,选手可只使用九格大模型,也可以通过九格大模型调用其他算法模型。机械臂需在限定时间内,利用基于九格大模型的视觉语言大模型或利用大模型调用配置好的传统算法进行感知控制行动,从零件放置区准确抓取所需零件,按照预先设定的顺序,在工件组装区完成工件的组装工作,并将组装好的成品放置到成品暂存区。在整个过程中,可选择借助大模型与操控系统进行交互,优化操作流程,提升任务完成的质量与效率。

(3)设备(包括仿真设备)

仿真场景配备仿真系统的机械臂,该机械臂具备多自由度运动能力,搭载高精度的末端执行器,可实现多种抓取动作。同时配备视觉识别系统,包含工业相机、3D 视觉传感器等,用于精确识别零件和工件的位置与形状。此外还设有各类传感器,如力传感器、距离传感器等,以辅助机械臂实现精准操作。云算力平台提供强大的运算支持,确保大模型能够高效运行。选手可依据比赛任务的实际需求,对设备的参数进行调整与设置,以完成比赛任务。主办方会提供详细的教学视频以及基础demo,并且确保线上仿真设备与线下实际设备高度一致,方便决赛时线下适配。

**零件示例:**主办方提供各类工业物资零件,每种数量不定,颜色多样。物资不限制颜色和材质,单个物资需通体使用同一种材质。

img

(4)竞赛时间

每次仿真运行时长设定为 30 分钟,每支参赛队伍在时限内拥有两次机会,最终成绩取两次机会中的最好成绩记录得分。两次机会需使用同一套竞赛设备,且 30 分钟的上场时间涵盖了设备调试以及两次完成比赛任务所需的时间。一旦时间结束,比赛即刻停止。在线上比赛期间,参赛队伍可以持续刷榜分数,但每次仿真若超过 30 分钟,则该次成绩为零分,需重新开始仿真。

(5)竞赛任务

准备阶段:机械臂位于初始位置,启动前可进行短暂的自检,确保设备各部分功能正常。同时,参赛队伍需确认比赛所需的各项参数已设置完成,如机械臂的运动速度、抓取力度等。

指令载入:系统输出的语音指令或文本指令,可正确被九格大模型进行识别并输出具体要求指令。确保算法明确整个竞赛的任务流程并正确行动。

**零件抓取:**比赛开始信号发出后,机械臂依据设定的指令,通过视觉识别系统或视觉语言大模型算法和各类传感器,对零件放置区的零件进行精准定位与识别,然后准确抓取所需零件。抓取过程中,要根据零件的形状、尺寸和材质,合理调整末端执行器的抓取方式和力度,避免零件损坏或掉落。

工件组装:机械臂将抓取的零件按照设定顺序,在工件组装区进行组装。在组装过程中,可选择利用大模型与操控系统交互,对组装流程进行优化。例如,根据零件的实时位置和姿态,调整机械臂的运动轨迹,确保零件能够准确无误地装配到工件上。同时,要注意组装的精度和稳定性,确保工件组装符合质量要求。

成品放置:完成工件组装后,机械臂将组装好的成品小心放置到成品暂存区的指定位置。放置过程中,要保证成品的放置姿态正确,避免碰撞或损坏成品。至此,完成一次完整的比赛任务。

(6)评分标准

语音指令载入:机械臂准确识别系统下发的语音指令,九格大模型精准分析并输出具体指令,得10分。

零件抓取准确性:精准抓取所有所需零件,无错抓、漏抓情况,得 25 分;每出现一次错抓,扣 8 分;每出现一次漏抓,扣 10 分。

组装顺序正确性:严格按照设定顺序完成工件组装,得 20 分;若组装顺序出现错误,根据错误对整体组装的影响程度,扣 10 - 20 分。

组装精度:工件组装完成后,各项组装精度指标(如零件间的配合间隙、垂直度等)符合要求,得 20 分;出现组装精度问题,根据问题的严重程度,扣 5 - 15 分。

成品放置规范性:成功将成品放置到成品暂存区的指定位置,且放置姿态正确,无碰撞或损坏成品,得 10 分;未放置到指定区域或放置过程中造成成品损坏,扣 10 分。

九格大模型:大模型调用过程的输入输出会全程记录,根据大模型的使用情况和结果进行打分。大模型能够对输入语音进行解析,生成正确的规划指令,得5分;大模型能够正确地识别需要的工件,得10分;大模型能够对工件的组装顺序进行正确的规划,得5分。

规定时间:在规定时间内完成任务,得 10 分;超出规定时间,每超 1 分钟扣 3 分,扣完为止。

报告材料:报告材料中应至少包含作品概述、比赛程序、问题分析、技术方案与结果感想。由裁判组综合评审,满分 20 分。

人工干预扣分:比赛过程中若需人工干预,每次扣 5 分。人工干预限时每次 15 秒,且一场比赛人工干预次数最多为 2 次。人工干预主要用于处理突发的设备故障或异常情况,但不得对比赛结果产生实质性的不公平影响。

(7)赛制赛程

**参赛队伍要求:**一个参赛队伍由2-5名队员、1-2名指导教师组成。参赛队员应具备机械工程、自动化控制、人工智能等相关领域的知识和技能,能够熟练操作和编程机械臂,并运用大模型进行任务优化。指导教师应具有丰富的教学或实践经验,能够为参赛队伍提供技术指导和策略建议。

**竞赛方式:**视具体报名情况采取线上线下相结合的竞赛形式。线上比赛主要进行仿真模拟,参赛队伍通过远程操作在仿真环境中完成比赛任务,方便更多队伍参与,降低参赛成本。线下比赛则在指定场地进行实际设备的操作,更直观地检验参赛队伍的技术实力和实际操作能力。线上比赛的成绩将作为线下比赛的入围依据,综合排名靠前的队伍将获得参加线下比赛的资格。