低空单层无人机网络覆盖优化控制策略

郭洋; 高原; 程绍驰; 王晓楠

doi:10.3969/j.issn.0258-2724.20230535

低空单层无人机网络覆盖优化控制策略

doi: 10.3969/j.issn.0258-2724.20230535

军事科学院战争研究院，北京 100091

基金项目: 国家自然科学基金（62222121, 62341110）

详细信息

作者简介:
郭洋（1984—），男，副研究员，博士，研究方向为信息与通信工程，E-mail：guoyangnudt@163.com

通讯作者:
王晓楠（1989—），男，副研究员，博士，研究方向为自主无人系统，E-mail：wangxiaonan1989@foxmail.com

中图分类号: TN929.5；TP273；V279
计量
- 文章访问数: 673
- HTML全文浏览量: 212
- PDF下载量: 146
- 被引次数: 0
出版历程
- 收稿日期: 2023-10-13
- 修回日期: 2023-12-14
- 网络出版日期: 2024-04-29
- 刊出日期: 2023-12-15

Optimization Control Strategy for Low-Altitude and Single-Layer Unmanned Aerial Vehicle Network Coverage

War Studies Institute, Academy of Military Science, Beijing 100091, China

摘要

摘要:
为研究应急通信场景中无人机网络自主控制问题，采用多架旋翼无人机搭载6G一体化基站，通过机间组网形成低空单层无人机网络，对地面任务区域内的用户提供无线网络服务；针对典型场景构建数值模型，利用多智能体强化学习方法求解无人机网络的优化控制策略，并分析无人机基站数量、无人机基站通信距离对于任务地域无线网络覆盖效果的影响. 研究结果表明：利用强化学习方法得到的优化控制策略收敛效果较好；无人机网络覆盖得分和公平覆盖指数的学习曲线变化趋势相似，在第1000～2 000个episode之间快速增长，随后进入平台区；在无人机基站通信覆盖距离1.0 km、飞行高度300 m条件下，将无人机基站数量从3个增加到7个，网络覆盖得分提高53.28%，公平覆盖指数提高43.57%；当无人机基站数5个、飞行高度300 m条件下，基站通信距离从1.0 km增加到2.5 km时，无人机网络覆盖得分提高86.01%，公平覆盖指数提高41.47%.
- 无人机 /
- 无线网络 /
- 强化学习 /
- 通信覆盖
Abstract:
In order to study the autonomous control problem of unmanned aerial vehicle (UAV) networks in emergency communication scenarios, multiple rotary-wing UAVs equipped with 6G base stations were used, and a low-altitude and single-layer UAV network was formed through the interconnection between UAVs, thus providing wireless network services to users in the ground task area. A numerical model was constructed for typical scenarios, and a multi-agent reinforcement learning method was used to solve the optimization control strategy of the UAV network. The effects of the number of UAV base stations and the communication distance of UAV base stations on the wireless network coverage in the task area were investigated. The research results indicate that the optimization control strategy obtained by using reinforcement learning methods can converge well. The learning curves of the UAV network coverage score and fairness coverage index have similar trends. The curves rapidly increase between the 1000th and 2000th episode and then change slowly. Under the conditions of a communication coverage distance of 1 km and a flight altitude of 300 m for UAV base stations, the UAV network coverage score increases by 53.28%, and the fairness coverage index increases by 43.57% when the number of UAV base stations increases from 3 to 7. Under the condition of five UAV base stations and a flight altitude of 300 m, the UAV network coverage score increases by 86.01%, and the fairness coverage index increases by 41.47% when the communication distance of the base stations increases from 1.0 km to 2.5 km.
- unmanned aerial vehicles /
- wireless networks /
- reinforcement learning /
- communication coverage

HTML全文

在近几十年里，深度神经网络凭借其在多个任务领域的卓越表现，已然成为无人机智能应用不可或缺的核心技术. 无人机在农业、采矿、公共安全、能源巡视等领域的广泛应用，都高度依赖于深度神经网络对各类复杂任务作出的精准判断. 这些任务涵盖了目标识别、语义分割、图像解析示例、目标检测、深度估计、轨迹预测等^[1]诸多方面. 随着新应用需求的不断涌现，针对每种特定任务构建专用的深度学习模型已成为业内通行的解决方案. 因此，为满足多样化的任务需求，深度学习模型的种类和数量正在急剧增长.

尽管目前存在一些能力强大的大模型，但由于无人机计算能力的局限性，实际应用仍然需要针对特定类型的任务定制模型. 这需要大量的训练数据和计算资源，对单个无人机用户来说是一项艰巨的挑战. 因此，联邦学习作为一种解决本地数据稀缺、计算能力有限，同时保护用户数据隐私^[2]的方法被提出. 在联邦学习中，用户无需像传统的模型训练那样共享其本地数据，而是仅通过共享模型参数来构建全局模型，从而提高单个无人机任务执行的效能. 无人机联邦学习的研究主要关注无人机的能量损耗^[3]问题. 研究者们从节能^[4-5]和可持续性^[6]等方面入手，对无人机高效应用联邦学习进行了深入探究，为在无人机上应用联邦学习奠定了坚实的基础.

传统的联邦学习方法通常只应用于具有相同模型结构并执行相同任务的无人机之间. 然而，在实际应用中，无人机往往需要执行多个任务. 在智慧农业领域，无人机不仅需要对农作物进行准确识别，还需要对农作物的位置和距离进行判断，以便进行精准施肥. 在无人机安防领域，无人机需要能识别重点目标并对人物身体部位进行区分. 在这种情况下，无人机群中存在大量执行多种任务并各自拥有本地数据的无人机，为持续提高无人机任务执行效能，需要不断对模型进行训练. 这种分布式场景与联邦学习思想相契合，然而，传统的联邦学习方法无法直接应用于多任务场景. 因此，构建适用于多任务场景的联邦学习框架是必要的. 传统的联邦学习方法在面对多任务场景时面临挑战，主要是由于任务数据稀缺性和任务模型限制所导致的，具体而言：

1）任务数据稀缺：由于特定任务的专业性较高且无人机用户数量有限，收集和生成足够的训练数据变得颇具挑战性. 因此，对于本地数据资源有限的无人机用户所执行的特定任务，传统的联邦学习方法在构建高性能任务模型时仍会面临困难.

2）任务模型限制：传统的联邦学习方法要求无人机用户执行相同的任务并拥有相同的模型结构. 换言之，当无人机用户希望参与联邦学习系统时，必须与执行相同任务并拥有相同模型结构的一组无人机用户合作. 虽然知识蒸馏^[7]为无人机用户提供了使用不同结构模型进行操作的可能性，但在执行不同任务的无人机群中的应用仍然存在重大挑战. 这种对联邦学习系统内任务同质性的要求对无人机群施加了很大的约束，从而减弱了联邦学习适应无人机群的能力.

为应对上述挑战，学者开始深入研究多任务问题. 文献[8]认为，多任务学习与单任务学习具有相同的输入，但不同任务的输出却有所区别；该文献试图捕捉任务之间的相关性，提取共性知识，从而提高多任务输出的效能. 基于此，文献[9-12]假设任务之间的相关性是先验已知的. 然而，文献[13-16]则认为任务之间的相互关系是未知的，需要通过数据来探索. 本文主要关注前一种观点，因为根据任务的具体属性，在单个系统中设置彼此相关的任务是可行的. 多任务学习方法可以在不同任务之间转移公用知识，这种特性使得其特别适合于联邦学习，尽管存在这种潜力，但现有的多任务联邦学习方法在适应分布式场景和异构模型之间的多任务学习方面存在一定的局限性.

为了在无人机群中实现多任务异构模型之间的联邦学习，本文提出一种基于编-解码器结构的多任务联邦学习方法（multi-task federated learning method based on encoders and decoders structure，M-Fed）. 该方法旨在超越传统联邦学习所固有的任务模型限制，实现执行不同任务无人机之间的协作和相互学习，以缓解任务数据稀缺的问题. 无人机用户无需考虑任务限制，只需要按照服务器要求统一模型组件即可参与联邦学习.

已有研究主要探讨了在具有相同模型和执行相同任务的无人机之间进行本地训练和联邦学习. 然而，本文提出的M-Fed在传统联邦学习基础上面临着2个新的挑战：1）开发一个框架实现多任务无人机集群的联邦学习；2）在异构模型之间高效地共享知识. 为应对这些挑战，设计一个适用于多任务无人机集群的联邦学习框架，以最大限度地提取异构模型之间的公用知识，同时确保在不影响本地任务的情况下进行知识转移.

1. 问题描述与方法设计

为深入研究无人机群在多任务环境下联邦学习的有效性，本文提出的M-Fed方法与其他方法的差异如图1 所示. 图中，不同颜色象征着各异的任务，数字①～⑥表示不同的无人机实体. 本地训练与传统的联邦学习方法均受限于相同任务间的协作，而M-Fed方法打破了这一桎梏，无人机能够超越任务的界限，自由参与到联邦学习的进程中. M-Fed不仅拓宽了无人机的应用范围，还提升了联邦学习的灵活性与效率.

图 1 无人机群M-Fed方法与其他典型方法比较

Figure 1. Comparison of M-Fed method for UAV swarms with other typical methods

下载: 全尺寸图片幻灯片

1.1 无人机群多任务联邦学习问题描述

传统联邦学习的基本目标是通过整合来自多个无人机的本地模型，形成一个统一的全局模型. 可以将其描述为

$\left\{\begin{gathered} \mathop {\arg \min }\limits_{{w_n}} \frac{1}{N}\sum _{n=1}^{N}{f\left( {{S_n};{w_n}} \right)} , \\ G_0 = A(F({w_1}),F({w_2}), \cdots ,F({w_N})), \\ \end{gathered} \right.$

(1)

式中：$N$为无人机数量，$ {S_n} $为无人机$n$的本地数据和标签集，${w_n}$为无人机$n$的模型参数集合，f(·)为损失函数，$ F({w_n}) $为无人机的本地模型函数，A(·)为聚合函数，$G_0$为全局模型函数.

在传统联邦学习框架中，每架无人机都利用其本地数据进行独立训练. 通过无人机群与服务器间的多次迭代交互，再借助聚合函数，各无人机的本地模型得以巧妙地融合成一个全局模型. 这一过程旨在最小化无人机群的总体损失，并在不直接共享数据的前提下实现知识共享. 然而，传统联邦学习的一个显著限制是要求所有无人机采用相同的模型结构，这在处理多任务场景时显得尤为不切实际.

针对无人机群多任务联邦学习的场景，存在$ K $个不同的任务$ （ {K \leqslant N} ） $，每架无人机负责执行一个特定的任务，但不同无人机也可能分配到相同的任务. 每架无人机都持有一个本地数据集${S_n}$，该数据集包含本地数据及其对应的数据标签对. 针对每个任务，无人机都拥有一个与之对应的本地模型，其模型结构为${M_k}$，$k=1,2,\cdots, K$. 若无人机执行相同的任务，则其模型结构也是相同的，这意味着模型参数之间存在一一对应的关系. 反之，执行不同任务的无人机其模型结构各异，参数之间无法形成直接的映射关系. 此外，无人机的损失函数也不再是统一的，而是根据具体任务$k$来确定的，记作${f_k}({S_n};{w_n})$. 对于执行任务$k$的无人机，其模型函数为${F_k}(w)$，w为模型参数集合. 在传统联邦学习中，模型聚合是一个核心步骤. 当所有无人机执行相同任务时，由于模型结构相同，模型聚合相对简单，可以采用平均聚合或加权平均聚合等方法. 然而，在多任务场景下，这种直接的模型聚合方法变得不再适用. 原因在于不同任务下的无人机模型结构存在差异，导致无法直接进行聚合. 因此，在多任务联邦学习的背景下，需要重新思考模型聚合的策略. 为处理不同结构模型之间的聚合问题，必须考虑任务之间的关系，并探索新的聚合方法. 这样的方法需要能够适应不同模型结构之间的差异，同时有效地整合各个无人机的模型更新，以促进全局模型的学习和优化.

M-Fed方法的核心思想是利用不同模型之间的公用知识，即不同任务之间的相似性，来提升无人机模型的性能. 通过这一策略，M-Fed方法能够更有效地整合各种任务信息，从而优化无人机模型的表现.

1.2 无人机群多任务联邦学习框架搭建

如图2所示，M-Fed方法框架主要由无人机群和服务器两大核心部分构成. 在无人机参与多任务联邦学习的过程中，需对其原有模型进行结构性调整，即改造为包含编码器和解码器的复合模型. 编码器部分由服务器统一确定，以确保在模型融合过程中的一致性；解码器则根据具体任务需求进行个性化定制，满足多样化的任务处理要求. 无人机主要负责本地训练任务，利用各自的私有数据进行模型训练，完成后将模型参数上传至服务器. 服务接收到参数后，对执行相同任务的模型进行聚合操作，生成任务全局模型. 随后，服务器从每个任务全局模型中提取编码器组件，并将其整合成一个编码器全局模型. 服务器完成模型聚合和编码器提取后，将任务全局模型分发给对应任务的无人机，并将编码器全局模型广播给所有无人机. 无人机接收到从服务器发送的2个模型后，将本地模型同步为任务全局模型，将编码器全局模型加入到本地损失函数中，通过迭代优化使得本地编码器模型与编码器全局模型参数逐渐逼近，实现全局模型知识向无人机本地模型的有效共享.

图 2 M-Fed方法总体框架

Figure 2. Overall framework for M-Fed method

下载: 全尺寸图片幻灯片

在无人机进行本地训练时，其本地模型会经历预定次数的迭代过程. 在此过程中，编码器全局模型保持固定不变. 然而，这种固定性可能会在一定程度上影响无人机的收敛效率. 为解决这一问题，引入自适应参数机制动态管理编码器全局模型与无人机模型之间的交互作用. 当无人机模型的参数发生显著变化时，自适应参数会降低编码器全局模型的影响权重；而当无人机模型的参数趋于稳定时，则会增加其影响权重. 通过这种动态调整策略，能够更有效平衡编码器全局模型与无人机模型之间的关系，从而提升整体的学习效率.

1.3 无人机群多任务联邦学习算法设计

M-Fed的目标是通过在多个任务模型之间传递知识来提升其整体性能. 这种方法不仅关注共享知识的提取与整合，还着重考虑知识传递可能对各个任务模型带来的潜在负面影响. M-Fed要求所有无人机模型均采用编码器-解码器架构. 在编码器部分，模型负责提取输入数据的特征信息，并将其转换为固定长度的向量表示. 为确保知识在不同任务间的有效传递，所有无人机模型的编码器结构保持一致. 然而，在解码器环节，模型需要将编码器输出转换成特定任务的所需输出. 因此，解码器的设计需要根据具体任务进行定制. 这意味着，处理不同任务的无人机模型，其解码器部分可能会有所差异. 在这架构下，无人机执行任务的范围并不会受限于单一任务类型.

首先，对于执行相同任务的无人机组，可以利用传统的联邦学习技术进行模型训练，形成任务全局模型. 形式上，参与者可以通过联邦平均最小化其损失函数的平均值，该算法表示为

$\left\{ \begin{array}{l}\underset{w_n\in {{\bf{R}}}^{d}}{\mathrm{arg}\mathrm{min}}\;\dfrac{1}{N}{\displaystyle \sum _{n=1}^{N}{f}_{k}({S}_{n};{w}_{n})},\\ {G}_{k}=A({F}_{k}({w}_{1}),{F}_{k}({w}_{2}),\cdots, {F}_{k}({w}_{N}))\text{，}\end{array}\right.$

(2)

式中：${G_k}$为任务$ k $的全局模型，d为维度.

通过在传统联邦学习框架内对执行同一任务$ k $的所有无人机进行模型训练与聚合，最终能够获取$ K $个针对不同任务的全局模型.

在多任务无人机群场景中，为实现跨任务的知识共享，采取了以下策略：不同任务的无人机群会上传其任务全局模型中结构相同的模型编码器部分，利用聚合算法构建出一个编码器全局模型. 然后，在传统联邦学习框架的基础上，按式（3）进行优化，以实现任务间的有效知识转移.

$\min \sum\limits_{k} {{{\left\| {{w_{\mathrm{E},k}} - g} \right\|}_2}} ,$

(3)

式中：${w_{\mathrm{E},k}}$为任务$k$的全局模型中编码器部分的参数，$g$为编码器全局模型的参数.

通过这种方法，能够使不同任务模型的编码器部分在参数空间上相互接近，进而实现跨任务的知识传递.

在多任务联邦学习系统中，各无人机均可通过其本地数据集${S_n}$访问相应的数据和标签. 无人机的模型架构包含编码器和解码器两部分. 其中，所有无人机的编码器结构保持一致，而解码器结构则根据各自承担的任务类型进行个性化设计. 每架无人机利用其本地数据集训练出独特的本地模型函数${F_k}({w_n})$. 对于执行相同任务的无人机群，系统会依据式（2）并采用聚合算法，构建针对该任务的全局模型. 这一过程表示为

$\min \;{f_k}(w) = \frac{1}{{\left| {{S_n}} \right|}}\sum\limits_{i = 1}^{\left| {{S_n}} \right|} {\frac{1}{2}} {({y_i} - {F_k}({x_i}))^2},$

(4)

式中：${x_i}$、${y_i}$分别为$ {S_n} $中的数据、标签对，$ \left| {{S_n}} \right| $为数据集$S_n $的总量.

这一过程可以解释为：利用执行任务$k$的无人机$i$的模型参数${w_n}$来预测与数据集${S_n}$相关的损失. 为了使得任务$k$的损失函数最小化，参数$w$的更新规则为

$w = w - \alpha \nabla f(w) ,$

(5)

式中：$ \alpha $为学习率，用于控制参数更新的步长；$ \nabla f(w) $是损失函数$ f $关于参数$ w $的梯度，包含了损失函数对每个模型参数的偏导数.

无人机执行特定轮次的本地训练后，借助传统聚合方法，使执行相同任务的无人机能够共同构建任务全局模型函数${F_k}(w)$，最终形成$ K $个任务全局模型函数.

在处理多种相关性任务时，尽管每个任务的目标各异，但模型的浅层参数通常展现出一定的通用性^[17]. 鉴于此，本文通过整合这些浅层参数，使相关无人机在执行不同任务时能够实现知识的有效共享. 首先，构建一个全局的任务模型函数集合；接着，从这个集合中提取出所有任务全局模型函数中的编码器部分，并运用聚合函数进行整合，最终形成了编码器全局模型. 这一过程如式（6）所示.

$g = A({F_{{\mathrm{E}},1}}\;({w_{\mathrm{E}}}),\;F_{{\mathrm{E}},2}\;(w_{\mathrm{E}}), \cdots, {F_{{\mathrm{E}},K}}\;({w_{\mathrm{E}}})),$

(6)

式中：${w_{\mathrm{E}}}$为模型编码器部分的参数集，${F_{{\mathrm{E}},k}}$(·)为任务$k$的模型函数的编码器部分.

为将编码器全局模型中的融合知识有效传递给每架无人机，在无人机训练过程中引入正则化项，鼓励无人机的本地编码器模型向编码器全局模型对齐，从而实现知识共享. 这一思想在式（3）中得到具体体现，修改后的损失函数为

${f_k}(w) = {f_k}(w) + \lambda {\left\| {{w_{\mathrm{E}}} - g} \right\|_2},$

(7)

式中：$\lambda $为超参数.

${w_{\mathrm{E}}}$的结构与$g$的结构是等效的，并且可用于规范计算. $\lambda $作为本地模型与编码器全局模型之间的调节器，其作用至关重要，随着$\lambda $趋近于0，算法将变为具有相同任务的无人机之间的传统联邦学习. 而随着$\lambda $值的增加，关注点又重新回到全局目标上. 为增强训练过程，可以灵活地调整$\lambda $值，以更好地平衡本地模型与编码器全局模型之间的关系，从而达到更好的学习效果. 在训练初期，由于本地模型的参数需经历较大波动，如果此时编码器全局模型与本地模型过于紧密地对齐，可能会导致训练效率降低. 因此，此时应该选择较小的$\lambda $值. 然而，随着训练的进行，本地模型开始趋于收敛，参数的变化将逐渐变得平稳，此时，通过适当增加$\lambda $值，可以增加全局模型对任务模型的影响，促进本地编码器与编码器全局模型更紧密地对齐.

M-Fed算法包括2个阶段：1）本地训练阶段. 通过损失函数的多轮迭代，无人机将服务器发送的编码器全局模型$g$与本地编码器在参数层面逐步拉近，进而实现不同任务间公共知识的有效共享. 2）服务器参数聚合阶段. 在接收到所有无人机上传的参数后，服务器首先根据任务对模型进行聚合，获取任务全局模型参数集合；接着，构建编码器全局模型$ g $，这一过程是通过提取所有任务全局模型的编码器部分并进行聚合来实现的；最后，服务器将任务全局模型和编码器全局模型发送至对应的无人机. M-Fed算法流程如下：

　　1）输入：$\mathcal{K} $，任务集合；T，聚合轮数；$\mathcal {N} $，无人机集合；m，本地训练轮数；$\mathcal{N}_k $，执行任务k的无人机集合，k$\in \mathcal{K} $；$\lambda $，超参数；$\alpha $，学习率；g，编码器全局模型；$w_k^{(0)} $，初始参数集合，$k\in \mathcal {K}$

2） for $t = 0,1, \cdots ,T - 1$ do

　　　　服务器根据任务$ k $将第t次聚合的参数$w_k^{(t)} $下发给对应任务的无人机

3） $ w_k^{(t)} \to {\mathcal {N}_k} ,\;k \in \mathcal {K} $

　　　　服务器将全局骨干模型$g$下发给所有无人机

4） $ g \to \mathcal{N} $

5） for 无人机$n \in \mathcal{N}$同时do

　　　　利用本地数据训练本地模型$m$轮

　　6） $w_n^{(t + 1)} = w_n^{(t)} - \left( {\alpha \Delta f\left( {w_n^{(t)}} \right) + \lambda {{\left\| {w_{{{\mathrm{E}},n}}^{(t)} - g} \right\|}_2}} \right)$（${w_{{\mathrm{E}},n}}$是无人机$n$参数的编码器部分）

7）发送$\varDelta _{k,n}^{(t)} = w_n^{(t + 1)} - w_n^{(t)}$给服务器

　　　end for

　　8）通过聚合函数$A$将执行任务$k$参数进行聚合，形成任务全局模型集合

　 $ {w_k^{(t + 1)}} \leftarrow A\left( {w_k^{(t)},\left\{ {\Delta _{k,n}^{(t)}} \right\}} \right),\; n \in {{\mathcal{N}_k}} ,\;k \in \mathcal{K} $,

　　　聚合函数A将所有无人机的编码器部分参数进行聚合，形成编码器全局模型

9） $g \leftarrow A\left( {\left\{ {w_{{\mathrm{E}},k}^{(t + 1)}} \right\}} \right),\;k \in \mathcal {K} $是$w_k^{(t+1)} $的编码器部分

　　　end for

10）输出 $ {w_k^{(T - 1)}} ,\; k \in \mathcal {K} $

与传统联邦学习中的优化目标相似，构建任务全局模型旨在为无人机提供直接从其中学习任务知识的机会. 同时，无人机还能够从编码器全局模型中学习共用知识，这不仅能从执行相同任务的其他无人机中汲取经验，更能从执行不同任务的无人机中汲取多样化的信息，从而进一步提升模型效率. 任务全局模型的构建旨在为无人机提供直接从任务全局模型中学习任务知识的机会. 此外，通过从编码器全局模型中学习共用知识，无人机可以进一步提高模型效率.

2. 实验结果及分析

2.1 数据准备与实验设置

本研究选用PASCAL-Context数据集分割版本作为实验对象. 该数据集是密集预测任务领域中备受推崇的基准之一，尤其适用于多任务无人机群方法的验证^[18]. 该数据集包含10581张训练图像和1449张验证图像. 为体现多任务特性，选取4个任务进行实验分析：语义分割、人体部位分割、显著性估计以及语义边界检测.

模型设置：模型的编码器部分由服务器确定，选用ResNet-18编码器. 采用DeepLabV3 + 和Atrous Spatial Pyramid Pooling（ASPP）模块作为本文的模型解码器. 执行不同任务的模型之间的差异仅在于模型出口处，根据任务分类的数量，设定对应数量的出口.

无人机本地执行完5个轮次后，会进行一次聚合. 变量阈值$ \lambda $是通过模型聚合轮数来评估的，并呈现指数增长趋势，逐渐增强其影响. 4个任务的编码器模型配置保持相同，ResNet-18其他组件（如解码器、损失函数和优化器）则根据具体任务而有所不同. 解码器、损失函数和其他相关方面遵循所分配任务的要求. 每架无人机进行100个轮次的训练，整个模型使用PyTorch在4个RTX 2080Ti GPU上进行训练.

2.2 实验评估指标

语义边界检测评估任务的指标是optimal dataset scale/F-measure（odsF）^[19]. 为使用odsF指标，本文为所有图像设置相同的阈值，即选择F1-measure为固定阈值并将其应用于所有图像，表示为

$I_{{\mathrm{odsF}}}=\frac{2 {P}_{{\mathrm{r}}} {R}_{{\mathrm{e}}}}{{P}_{{\mathrm{r}}} + {R}_{{\mathrm{e}}}}\text{，}$

(8)

式中：$ {P_{\mathrm{r}}} $为精准率，$ {R_{\mathrm{e}}} $为召回率.

语义分割、人体部位分割和显著性估计使用mean intersection over union （mIoU）来评估任务. mIoU定义为

$I_{{\mathrm{mIoU}}} = \frac{1}{c}\sum {\frac{{P \cap G}}{{P \cup G}}} ,$

(9)

式中：$P$为预测值，$G$为真实值，$c$为类别总数.

2.3 实验结果及分析

为验证所提出方法的有效性，在实验中将M-Fed算法与传统方法进行比较. 传统方法包括局部训练算法和经典联邦学习方法. 在局部训练算法中，本文为每个客户端都执行了本地训练，并从中选取表现最优的结果作为代表值进行展现. 选择4个任务，每个任务有5架无人机参与训练，总共有20架无人机. 数据在20架无人机之间分散，没有重叠. 所采用的硬件设备旨在模拟20架无人机共同参与联邦学习的场景. 为确保实验的有效性与可行性，选用基础模型结构，并将数据集均匀分割为20份，以适应无人机所搭载的计算平台的参数限制. 这样的设计能够充分模拟实际无人机联邦学习的环境，从而为研究提供有力的实验支撑.

实验结果如表1所示. 表中：增量反映了相较于局部训练方法，其他方法在各任务上实现的提升量平均数；加粗数字为最优值.

表 1 PASCAL-Context数据集实验结果

Table 1. Experimental results on PASCAL-Context dataset

方法	编码器	语义分割	人体部位分割	显著性估计	语义边界检测	增量/%
局部训练	ResNet-18	38.36	49.03	55.74	60.90	0
经典联邦学习	ResNet-18	49.71	52.66	59.09	61.20	10.87
M-Fed	ResNet-18	50.60	52.46	59.31	62.90	13.25

下载: 导出CSV

| 显示表格

由表1可知：

1）提出的M-Fed方法在3个任务中均获得了最高分数，总体上相较于经典联邦学习方法有所提升. 具体而言，在语义分割任务中实现了1.79%的部分改善；显著性估计任务中提高了0.37%；而在语义边缘任务中则提升了2.78%. 然而，在人体部位分割任务中，该方法出现了0.38%的降低.

2）局部训练结果显示了每架无人机在单独使用本地数据进行训练时，在该任务中所能获得的最佳性能. 显然，M-Fed可显著提升性能，远超过单独的局部训练效果. 例如，在语义分割任务中，通过M-Fed在训练期间间接共享参数，mIoU值提高29.59%. 同样地，M-Fed促进了不同任务之间的模型间参数信息的传递.

3） M-Fed方法通过从其他任务中充分转移知识，语义分割任务、显著性估计任务和语义边缘任务得到了适度的优化；而人体部位分割任务则表明，吸收转移信息更为困难，但并未过多牺牲原始系统的能力.

在PASCAL-Context数据集的实验中，M-Fed方法在不同任务上展现出了多样化的表现. 这可能是由于本文实验仅选用了ResNet-18作为编码器，其参数数量的限制可能一定程度上影响了M-Fed方法的性能. 随着编码器模型参数量的增加，M-Fed方法的实验结果可能会有所不同. 因此，本文从多角度出发，深入验证M-Fed方法的有效性. 如表2所示，对PASCAL-Context数据集进行量化评估，直观地展示实验结果.

表 2 PASCAL-Context数据集的量化结果

Table 2. Quantitative results on PASCAL-Context dataset

下载: 导出CSV

| 显示表格

具体而言，M-Fed方法在各任务中均表现卓越，并在多个方面超越基准方法. 在语义分割任务中，M-Fed展现出与经典联邦学习方法相当的效果，相较于局部训练方法，能够更准确地辨别出不同动物个体. 人体部位分割任务中，尽管M-Fed的数值得分稍逊于经典联邦学习算法，但从量化结果中可见，M-Fed在边缘处理上更为精准. 在显著性估计任务中，M-Fed聚焦于关键物体，显著减少了环境干扰. 而在语义边缘检测任务中，M-Fed的精细处理尤为突出，特别是在人物腿部轮廓和远处地形边界的划分上，展现出更精细的划分能力.

M-Fed方法巧妙地实现了任务间的知识共享，使得无人机能够不仅从相关任务中汲取可泛化的知识，还能专注于各自的特定任务，从而显著提升整体任务表现. 这一特性让M-Fed在多个任务中均展现出强大的性能优势.

3. 结　论

本文提出一种基于编-解码器结构的无人机群多任务联邦学习方法，允许无人机在多任务条件下参与联邦学习. 与传统的联邦学习方法相比，M-Fed方法在处理无人机任务和模型一致性方面有所创新. 实证结果验证了所提出M-Fed方法的有效性. 并得到主要结论如下：

1）提出的M-Fed方法通过编码器-解码器结构实现无人机多任务联邦学习，允许无人机在不同任务下参与联邦学习，同时保持任务和模型结构的一致性，并通过实验得到验证.

2）为减少M-Fed在联邦学习初期的负面影响，引入可变阈值策略，有效控制M-Fed的参与度，从而提高训练效果.

3） M-Fed方法展示了良好的可嵌入性和与常规方法的兼容性，其灵活性和通用性使其成为解决无人机多任务联邦学习问题的有力工具.

尽管M-Fed方法可以有效提升模型性能，但面临以下限制：

1） M-Fed方法在处理低相关性任务时可能出现的性能下降.

2） M-Fed要求参与任务的无人机采用相同的编码器架构.

后续研究将致力于解决这些限制，使得无人机群适应更广泛的任务场景.

图 1 低空单层无人机网络架构

Figure 1. Low-altitude and single-layer UAV network architecture

下载: 全尺寸图片幻灯片

图 2 神经网络架构及数据流向示意

Figure 2. Neural network architecture and data flow

下载: 全尺寸图片幻灯片

图 3 无人机网络全局奖励值的典型学习曲线

Figure 3. Typical learning curve of global reward value of UAV network

下载: 全尺寸图片幻灯片

图 4 无人机网络覆盖得分以及公平指数典型变化曲线

Figure 4. Typical curves of UAV network coverage score and fairness index

下载: 全尺寸图片幻灯片

图 5 无人机网络覆盖得分、公平覆盖指数与基站数量的关系

Figure 5. Relationships among UAV network coverage score, fairness index, and number of base stations

下载: 全尺寸图片幻灯片

图 6 无人机网络覆盖得分、公平覆盖指数与通信覆盖距离的关系

Figure 6. Relationships among UAV network coverage score, fairness index, and communication coverage distance

下载: 全尺寸图片幻灯片

表 1 仿真实验参数数值

Table 1. Parameters for simulation experiment

参数名称	数值
无人机基站数量/个	3
任务地域的长、宽/km	4、4
任务地域划分的方格数量/个	100
重点保障方格数量/个	5
无人机基站覆盖距离/km	1
无人机基站飞行高度/m	300
无人机基站最大飞行速度/（m·s⁻¹）	20
重点方格覆盖得分	10
一般方格覆盖得分	1
无人机基站飞出边界处罚值	1
无人机基站间碰撞处罚值	1

下载: 导出CSV

表 2 强化学习主要参数

Table 2. Main parameters for reinforcement learning

参数名称	数值
神经网络层数/层	2
隐藏网络节点数/个	64
学习率	0.01
折扣因子	0.95
$\tau $	0.99
batch size	1000

下载: 导出CSV

参考文献(18)

[1]	陈新颖,盛敏,李博,等. 面向6G的无人机通信综述[J]. 电子与信息学报,2022,44(3): 781-789. doi: 10.11999/JEIT210789 CHEN Xinying, SHENG Min, LI Bo, et al. Survey on unmanned aerial vehicle communications for 6G[J]. Journal of Electronics & Information Technology, 2022, 44(3): 781-789. doi: 10.11999/JEIT210789
[2]	向庭立,王红军,杨刚,等. 分布式无人机网络覆盖优化算法[J]. 空军工程大学学报(自然科学版),2019,20(4): 59-65. XIANG Tingli, WANG Hongjun, YANG Gang, et al. Research on distributed UAV network coverage optimization algorithm[J]. Journal of Air Force Engineering University (Natural Science Edition), 2019, 20(4): 59-65.
[3]	王巍,梁雅静,刘阳,等. 城市灾区无人机网络自适应覆盖优化算法[J]. 计算机工程与应用,2022,58(14): 258-268. doi: 10.3778/j.issn.1002-8331.2010-0211 WANG Wei, LIANG Yajing, LIU Yang, et al. Adaptive coverage optimization algorithm for drone network in urban disaster areas[J]. Computer Engineering and Applications, 2022, 58(14): 258-268. doi: 10.3778/j.issn.1002-8331.2010-0211
[4]	王超. 基于强化学习的无线网络移动性管理技术研究[D]. 合肥: 中国科学技术大学,2021.
[5]	靳晓洁,石建迈,伍国华,等. 无人机基站部署问题综述:模型与算法[J]. 控制理论与应用,2022,39(12): 2219-2232. JIN Xiaojie, SHI Jianmai, WU Guohua, et al. Review of the UAV base station deployment problem: models and algorithms[J]. Control Theory & Applications, 2022, 39(12): 2219-2232.
[6]	郭艺轩,贾向东,曹胜男,等. 三维动态无人机网络覆盖性能与信道容量分析[J]. 重庆邮电大学学报(自然科学版),2022,34(4): 662-668. doi: 10.3979/j.issn.1673-825X.202101080012 GUO Yixuan, JIA Xiangdong, CAO Shengnan, et al. Analysis of 3D dynamic UAV network coverage performance and channel capacity[J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2022, 34(4): 662-668. doi: 10.3979/j.issn.1673-825X.202101080012
[7]	吕忠昊. 基于强化学习的无人机通信系统容量优化研究[D]. 合肥: 中国科学技术大学,2021.
[8]	蒋逸凡,郭婧,费泽松. 多层高度的无人机-地面异构网络的覆盖性能[J]. 无线电通信技术,2021,47(5): 649-654. doi: 10.3969/j.issn.1003-3114.2021.05.020 JIANG Yifan, GUO Jing, FEI Zesong. Coverage performance of UAV-terrestrial heterogeneous network with multiple altitudes[J]. Radio Communications Technology, 2021, 47(5): 649-654. doi: 10.3969/j.issn.1003-3114.2021.05.020
[9]	崔壮壮. 面向空地通信的无线信道特性和建模研究[D]. 北京: 北京交通大学,2022.
[10]	马张枫. 面向B5G/6G无线网络的无人机信道建模研究[D]. 北京: 北京交通大学,2022.
[11]	王莉,魏青,徐连明,等. 面向通信-导航-感知一体化的应急无人机网络低能耗部署研究[J]. 通信学报,2022,43(7): 1-20. WANG Li, WEI Qing, XU Lianming, et al. Research on low-energy-consumption deployment of emergency UAV network for integrated communication-navigating-sensing[J]. Journal on Communications, 2022, 43(7): 1-20.
[12]	夏景明,刘玉风,谈玲. 基于蜂窝网络的多无人机能量消耗最优化算法研究[J]. 通信学报,2023,44(2): 185-197. XIA Jingming, LIU Yufeng, TAN Ling. Research on multi-UAV energy consumption optimization algorithm for cellular-connected network[J]. Journal on Communications, 2023, 44(2): 185-197.
[13]	窦邵婷. 无人机辅助移动边缘计算的空地能耗折衷研究[D]. 南昌: 南昌大学,2022.
[14]	LIU C H, CHEN Z Y, TANG J, et al. Energy-efficient UAV control for effective and fair communication coverage: a deep reinforcement learning approach[J]. IEEE Journal on Selected Areas in Communications, 2018, 36(9): 2059-2070. doi: 10.1109/JSAC.2018.2864373
[15]	LIU C H, MA X X, GAO X D, et al. Distributed energy-efficient multi-UAV navigation for long-term communication coverage by deep reinforcement learning[J]. IEEE Transactions on Mobile Computing, 2020, 19(6): 1274-1285. doi: 10.1109/TMC.2019.2908171
[16]	QI H, HU Z Q, HUANG H, et al. Energy efficient 3-D UAV control for persistent communication service and fairness: a deep reinforcement learning approach[J]. IEEE Access, 2020, 8: 53172-53184. doi: 10.1109/ACCESS.2020.2981403
[17]	JAIN R K, CHIU D M W, HAWE W R. A quantitative measure of fairness and discrimination for resource allocation in shared computer system[R]. Hudson MA: Digital Equipment Corporation, 1984.
[18]	LOWE R, WU Y, TAMAR A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: ACM, 2017: 6382-6393.

施引文献

附加材料(0)

访问统计

点击查看大图

图(6) / 表(2)

计量

文章访问数: 673
HTML全文浏览量: 212
PDF下载量: 146
被引次数: 0

1. 问题描述与方法设计
1.1 无人机群多任务联邦学习问题描述
1.2 无人机群多任务联邦学习框架搭建
1.3 无人机群多任务联邦学习算法设计
2. 实验结果及分析
2.1 数据准备与实验设置
2.2 实验评估指标
2.3 实验结果及分析
3. 结　论

低空单层无人机网络覆盖优化控制策略

doi: 10.3969/j.issn.0258-2724.20230535

作者简介: 郭洋（1984—），男，副研究员，博士，研究方向为信息与通信工程，E-mail：guoyangnudt@163.com

通讯作者: 王晓楠（1989—），男，副研究员，博士，研究方向为自主无人系统，E-mail：wangxiaonan1989@foxmail.com

计量

出版历程