西工大建立无人机自主“聊天群”打破交互壁垒

西工大成立无人机自主“聊天群”。西北工业大学提供

西北工业大学28日透露，该校光电与智能研究所李学龙教授及其同事近期在机器交互方面取得创新进展：基于国产大模型，开发了“群聊”无人机控制框架，为每架无人机配备无人机大脑，让无人机集群能够动态协作进行语言交流，实现开放环境下的“人机”和“多机”对话交互，打破人与机器之间的交互壁垒，进一步扩大临床应用。 地面安全应用场景。

据介绍，受人类认知模型的启发，团队将认知形成的高度自主性凝结为“思维计算-实体控制-环境感知”的三维交互，建立了“学者·普语”开源大模型驱动的自主无人机“群聊”控制框架，实现开放环境、复杂任务下的智能交互、主动感知和自主控制，提高无人机任务执行的自主性。

一般来说，类人对话交互、主动环境感知、自主实体控制是自主无人机集群的主要能力。

探索人类用户与无人机之间的交互，让无人机在复杂任务中理解用户需求，是实现自主无人机的先决条件。

针对此，团队提出了“群聊”对话交互方式，通过大模型将声音、图像、无人机本身状态等各种信息转化为自然语言对话形式，实现用户之间的交流、无人机和无人机。 人类和无人机之间自主且直观的交互。 同时，团队设计了高效的实时反馈机制，使无人机能够在任务执行的关键节点通过对话报告状态并寻求用户确认，大大提高了复杂任务执行的稳定性和安全性。

飞行过程中，无人机主动感知外部环境并实时调整任务规划，是完成复杂任务的关键环节。

针对此，团队设计了用于任务引导的主动感知机制，并提出了多传感器融合低空搜索、动态避障和视觉定位算法。 在实际执行任务时，无人机根据感知信息和任务目标动态调整飞行路径和观测姿态，尝试从不同角度和位置感知周围世界，逐步减少环境的不确定性，实现高效的信息采集和任务执行。

探索复合智能体的形式，增强复杂任务处理能力是大模型时代新型智能体研究的重点。

针对此，团队基于无人机平台设计了抓手等末端执行器，将传统无人机拓展为长出“手”、能够抓取的“飞行机器人”。 同时，构建异构无人机集群协同控制机制，结合环境感知反馈，实时调整无人机编队飞行状态，让集群执行区域搜索、目标定位和抓取等任务。

据悉，大模型自主无人机集群是团队将生物智能“思维计算-实体控制-环境感知”三维交互模型应用于自主智能体的一次成功尝试，依托大语言模型、无人机平台和多种传感器实现对话交互、主动感知和自主控制，对于安检、灾害救援、航空物流等现场安全场景的应用具有重要意义。 （超过）