Multi-Task Federated Learning for Unmanned Aerial Vehicle Swarms Based on Encoder-Decoder Architecture
-
摘要:
针对传统联邦学习在无人机群应用中的局限性——要求所有参与者执行相同任务并拥有相同的模型结构，本文探索一种适用于无人机群的多任务联邦学习方法，设计一种新的编-解码器架构，以加强执行不同任务的无人机之间的知识共享. 首先，为执行相同任务的无人机建立直接的知识分享机制，通过直接聚合方式实现同任务知识的有效融合；其次，对于执行不同任务的无人机，从所有无人机的编-解码器架构中提取编码器部分，构建一个全局编码器；最后，在训练环节，将本地编码器和全局编码器的信息整合到损失函数中，并通过迭代更新使本地解码器逐步逼近全局解码器，从而实现跨任务间的知识高效共享. 实验结果表明：相较于传统方法，所提出的方法使无人机群在3个单任务上的性能分别提升1.79%、0.37%和2.78%，仅在1个任务上性能略微下降0.38%，但整体性能仍提升2.38%.
Abstract:Traditional federated learning has limitations in unmanned aerial vehicle (UAV) swarm applications, which require all participants to perform the same tasks and have the same model structure. Therefore, a multi-task federated learning (M-Fed) method suitable for UAV swarms was explored, and an innovative encoder-decoder architecture was designed to enhance knowledge sharing among UAVs performing different tasks. Firstly, a direct knowledge-sharing mechanism was established for UAVs performing the same tasks, enabling effective knowledge fusion of the same tasks through direct aggregation. Secondly, for UAVs performing different tasks, the encoder parts were extracted from the encoder-decoder architectures of all UAVs to construct a global encoder. Finally, during the training process, the information from both the local encoder and the global encoder was integrated into the loss function. Iterative updates were then performed to gradually align the local decoder with the global decoder, achieving efficient cross-task knowledge sharing. Experimental results demonstrate that compared to traditional methods, the proposed method improves the performance of UAV swarms by 1.79%, 0.37%, and 2.78% on three single tasks, respectively. Although there is a slight decrease of 0.38% in performance on one task, the overall performance is still significantly increased by 2.38%.
-
在近几十年里，深度神经网络凭借其在多个任务领域的卓越表现，已然成为无人机智能应用不可或缺的核心技术. 无人机在农业、采矿、公共安全、能源巡视等领域的广泛应用，都高度依赖于深度神经网络对各类复杂任务作出的精准判断. 这些任务涵盖了目标识别、语义分割、图像解析示例、目标检测、深度估计、轨迹预测等[1]诸多方面. 随着新应用需求的不断涌现，针对每种特定任务构建专用的深度学习模型已成为业内通行的解决方案. 因此，为满足多样化的任务需求，深度学习模型的种类和数量正在急剧增长.
尽管目前存在一些能力强大的大模型，但由于无人机计算能力的局限性，实际应用仍然需要针对特定类型的任务定制模型. 这需要大量的训练数据和计算资源，对单个无人机用户来说是一项艰巨的挑战. 因此，联邦学习作为一种解决本地数据稀缺、计算能力有限，同时保护用户数据隐私[2]的方法被提出. 在联邦学习中，用户无需像传统的模型训练那样共享其本地数据，而是仅通过共享模型参数来构建全局模型，从而提高单个无人机任务执行的效能. 无人机联邦学习的研究主要关注无人机的能量损耗[3]问题. 研究者们从节能[4-5]和可持续性[6]等方面入手，对无人机高效应用联邦学习进行了深入探究，为在无人机上应用联邦学习奠定了坚实的基础.
传统的联邦学习方法通常只应用于具有相同模型结构并执行相同任务的无人机之间. 然而，在实际应用中，无人机往往需要执行多个任务. 在智慧农业领域，无人机不仅需要对农作物进行准确识别，还需要对农作物的位置和距离进行判断，以便进行精准施肥. 在无人机安防领域，无人机需要能识别重点目标并对人物身体部位进行区分. 在这种情况下，无人机群中存在大量执行多种任务并各自拥有本地数据的无人机，为持续提高无人机任务执行效能，需要不断对模型进行训练. 这种分布式场景与联邦学习思想相契合，然而，传统的联邦学习方法无法直接应用于多任务场景. 因此，构建适用于多任务场景的联邦学习框架是必要的. 传统的联邦学习方法在面对多任务场景时面临挑战，主要是由于任务数据稀缺性和任务模型限制所导致的，具体而言：
1） 任务数据稀缺：由于特定任务的专业性较高且无人机用户数量有限，收集和生成足够的训练数据变得颇具挑战性. 因此，对于本地数据资源有限的无人机用户所执行的特定任务，传统的联邦学习方法在构建高性能任务模型时仍会面临困难.
2） 任务模型限制：传统的联邦学习方法要求无人机用户执行相同的任务并拥有相同的模型结构. 换言之，当无人机用户希望参与联邦学习系统时，必须与执行相同任务并拥有相同模型结构的一组无人机用户合作. 虽然知识蒸馏[7]为无人机用户提供了使用不同结构模型进行操作的可能性，但在执行不同任务的无人机群中的应用仍然存在重大挑战. 这种对联邦学习系统内任务同质性的要求对无人机群施加了很大的约束，从而减弱了联邦学习适应无人机群的能力.
为应对上述挑战，学者开始深入研究多任务问题. 文献[8]认为，多任务学习与单任务学习具有相同的输入，但不同任务的输出却有所区别；该文献试图捕捉任务之间的相关性，提取共性知识，从而提高多任务输出的效能. 基于此，文献[9-12]假设任务之间的相关性是先验已知的. 然而，文献[13-16]则认为任务之间的相互关系是未知的，需要通过数据来探索. 本文主要关注前一种观点，因为根据任务的具体属性，在单个系统中设置彼此相关的任务是可行的. 多任务学习方法可以在不同任务之间转移公用知识，这种特性使得其特别适合于联邦学习，尽管存在这种潜力，但现有的多任务联邦学习方法在适应分布式场景和异构模型之间的多任务学习方面存在一定的局限性.
为了在无人机群中实现多任务异构模型之间的联邦学习，本文提出一种基于编-解码器结构的多任务联邦学习方法（multi-task federated learning method based on encoders and decoders structure，M-Fed）. 该方法旨在超越传统联邦学习所固有的任务模型限制，实现执行不同任务无人机之间的协作和相互学习，以缓解任务数据稀缺的问题. 无人机用户无需考虑任务限制，只需要按照服务器要求统一模型组件即可参与联邦学习.
已有研究主要探讨了在具有相同模型和执行相同任务的无人机之间进行本地训练和联邦学习. 然而，本文提出的M-Fed在传统联邦学习基础上面临着2个新的挑战：1） 开发一个框架实现多任务无人机集群的联邦学习；2） 在异构模型之间高效地共享知识. 为应对这些挑战，设计一个适用于多任务无人机集群的联邦学习框架，以最大限度地提取异构模型之间的公用知识，同时确保在不影响本地任务的情况下进行知识转移.
1. 问题描述与方法设计
为深入研究无人机群在多任务环境下联邦学习的有效性，本文提出的M-Fed方法与其他方法的差异如图1 所示. 图中，不同颜色象征着各异的任务，数字①～⑥表示不同的无人机实体. 本地训练与传统的联邦学习方法均受限于相同任务间的协作，而M-Fed方法打破了这一桎梏，无人机能够超越任务的界限，自由参与到联邦学习的进程中. M-Fed不仅拓宽了无人机的应用范围，还提升了联邦学习的灵活性与效率.
图 1 无人机群M-Fed方法与其他典型方法比较Figure 1. Comparison of M-Fed method for UAV swarms with other typical methods1.1 无人机群多任务联邦学习问题描述
传统联邦学习的基本目标是通过整合来自多个无人机的本地模型，形成一个统一的全局模型. 可以将其描述为
{argminwn1NN∑n=1f(Sn;wn),G0=A(F(w1),F(w2),⋯,F(wN)), (1) 式中：N为无人机数量，Sn为无人机n的本地数据和标签集，wn为无人机n的模型参数集合，f(·)为损失函数，F(wn)为无人机的本地模型函数，A(·)为聚合函数，G0为全局模型函数.
在传统联邦学习框架中，每架无人机都利用其本地数据进行独立训练. 通过无人机群与服务器间的多次迭代交互，再借助聚合函数，各无人机的本地模型得以巧妙地融合成一个全局模型. 这一过程旨在最小化无人机群的总体损失，并在不直接共享数据的前提下实现知识共享. 然而，传统联邦学习的一个显著限制是要求所有无人机采用相同的模型结构，这在处理多任务场景时显得尤为不切实际.
针对无人机群多任务联邦学习的场景，存在K个不同的任务（K⩽N），每架无人机负责执行一个特定的任务，但不同无人机也可能分配到相同的任务. 每架无人机都持有一个本地数据集Sn，该数据集包含本地数据及其对应的数据标签对. 针对每个任务，无人机都拥有一个与之对应的本地模型，其模型结构为Mk，k=1,2,⋯,K. 若无人机执行相同的任务，则其模型结构也是相同的，这意味着模型参数之间存在一一对应的关系. 反之，执行不同任务的无人机其模型结构各异，参数之间无法形成直接的映射关系. 此外，无人机的损失函数也不再是统一的，而是根据具体任务k来确定的，记作fk(Sn;wn). 对于执行任务k的无人机，其模型函数为Fk(w)，w为模型参数集合. 在传统联邦学习中，模型聚合是一个核心步骤. 当所有无人机执行相同任务时，由于模型结构相同，模型聚合相对简单，可以采用平均聚合或加权平均聚合等方法. 然而，在多任务场景下，这种直接的模型聚合方法变得不再适用. 原因在于不同任务下的无人机模型结构存在差异，导致无法直接进行聚合. 因此，在多任务联邦学习的背景下，需要重新思考模型聚合的策略. 为处理不同结构模型之间的聚合问题，必须考虑任务之间的关系，并探索新的聚合方法. 这样的方法需要能够适应不同模型结构之间的差异，同时有效地整合各个无人机的模型更新，以促进全局模型的学习和优化.
M-Fed方法的核心思想是利用不同模型之间的公用知识，即不同任务之间的相似性，来提升无人机模型的性能. 通过这一策略，M-Fed方法能够更有效地整合各种任务信息，从而优化无人机模型的表现.
1.2 无人机群多任务联邦学习框架搭建
如图2所示，M-Fed方法框架主要由无人机群和服务器两大核心部分构成. 在无人机参与多任务联邦学习的过程中，需对其原有模型进行结构性调整，即改造为包含编码器和解码器的复合模型. 编码器部分由服务器统一确定，以确保在模型融合过程中的一致性；解码器则根据具体任务需求进行个性化定制，满足多样化的任务处理要求. 无人机主要负责本地训练任务，利用各自的私有数据进行模型训练，完成后将模型参数上传至服务器. 服务接收到参数后，对执行相同任务的模型进行聚合操作，生成任务全局模型. 随后，服务器从每个任务全局模型中提取编码器组件，并将其整合成一个编码器全局模型. 服务器完成模型聚合和编码器提取后，将任务全局模型分发给对应任务的无人机，并将编码器全局模型广播给所有无人机. 无人机接收到从服务器发送的2个模型后，将本地模型同步为任务全局模型，将编码器全局模型加入到本地损失函数中，通过迭代优化使得本地编码器模型与编码器全局模型参数逐渐逼近，实现全局模型知识向无人机本地模型的有效共享.
在无人机进行本地训练时，其本地模型会经历预定次数的迭代过程. 在此过程中，编码器全局模型保持固定不变. 然而，这种固定性可能会在一定程度上影响无人机的收敛效率. 为解决这一问题，引入自适应参数机制动态管理编码器全局模型与无人机模型之间的交互作用. 当无人机模型的参数发生显著变化时，自适应参数会降低编码器全局模型的影响权重；而当无人机模型的参数趋于稳定时，则会增加其影响权重. 通过这种动态调整策略，能够更有效平衡编码器全局模型与无人机模型之间的关系，从而提升整体的学习效率.
1.3 无人机群多任务联邦学习算法设计
M-Fed的目标是通过在多个任务模型之间传递知识来提升其整体性能. 这种方法不仅关注共享知识的提取与整合，还着重考虑知识传递可能对各个任务模型带来的潜在负面影响. M-Fed要求所有无人机模型均采用编码器-解码器架构. 在编码器部分，模型负责提取输入数据的特征信息，并将其转换为固定长度的向量表示. 为确保知识在不同任务间的有效传递，所有无人机模型的编码器结构保持一致. 然而，在解码器环节，模型需要将编码器输出转换成特定任务的所需输出. 因此，解码器的设计需要根据具体任务进行定制. 这意味着，处理不同任务的无人机模型，其解码器部分可能会有所差异. 在这架构下，无人机执行任务的范围并不会受限于单一任务类型.
首先，对于执行相同任务的无人机组，可以利用传统的联邦学习技术进行模型训练，形成任务全局模型. 形式上，参与者可以通过联邦平均最小化其损失函数的平均值，该算法表示为
{argminwn∈Rd1NN∑n=1fk(Sn;wn),Gk=A(Fk(w1),Fk(w2),⋯,Fk(wN))， (2) 式中：Gk为任务k的全局模型，d为维度.
通过在传统联邦学习框架内对执行同一任务k的所有无人机进行模型训练与聚合，最终能够获取K个针对不同任务的全局模型.
在多任务无人机群场景中，为实现跨任务的知识共享，采取了以下策略：不同任务的无人机群会上传其任务全局模型中结构相同的模型编码器部分，利用聚合算法构建出一个编码器全局模型. 然后，在传统联邦学习框架的基础上，按式（3）进行优化，以实现任务间的有效知识转移.
min∑k‖ (3) 式中：{w_{\mathrm{E},k}}为任务k的全局模型中编码器部分的参数，g为编码器全局模型的参数.
通过这种方法，能够使不同任务模型的编码器部分在参数空间上相互接近，进而实现跨任务的知识传递.
在多任务联邦学习系统中，各无人机均可通过其本地数据集{S_n}访问相应的数据和标签. 无人机的模型架构包含编码器和解码器两部分. 其中，所有无人机的编码器结构保持一致，而解码器结构则根据各自承担的任务类型进行个性化设计. 每架无人机利用其本地数据集训练出独特的本地模型函数{F_k}({w_n}). 对于执行相同任务的无人机群，系统会依据式（2）并采用聚合算法，构建针对该任务的全局模型. 这一过程表示为
\min \;{f_k}(w) = \frac{1}{{\left| {{S_n}} \right|}}\sum\limits_{i = 1}^{\left| {{S_n}} \right|} {\frac{1}{2}} {({y_i} - {F_k}({x_i}))^2}, (4) 式中：{x_i}、{y_i}分别为 {S_n} 中的数据、标签对， \left| {{S_n}} \right| 为数据集S_n 的总量.
这一过程可以解释为：利用执行任务k的无人机i的模型参数{w_n}来预测与数据集{S_n}相关的损失. 为了使得任务k的损失函数最小化，参数w的更新规则为
w = w - \alpha \nabla f(w) , (5) 式中： \alpha 为学习率，用于控制参数更新的步长； \nabla f(w) 是损失函数 f 关于参数 w 的梯度，包含了损失函数对每个模型参数的偏导数.
无人机执行特定轮次的本地训练后，借助传统聚合方法，使执行相同任务的无人机能够共同构建任务全局模型函数{F_k}(w)，最终形成 K 个任务全局模型函数.
在处理多种相关性任务时，尽管每个任务的目标各异，但模型的浅层参数通常展现出一定的通用性[17]. 鉴于此，本文通过整合这些浅层参数，使相关无人机在执行不同任务时能够实现知识的有效共享. 首先，构建一个全局的任务模型函数集合；接着，从这个集合中提取出所有任务全局模型函数中的编码器部分，并运用聚合函数进行整合，最终形成了编码器全局模型. 这一过程如式（6）所示.
g = A({F_{{\mathrm{E}},1}}\;({w_{\mathrm{E}}}),\;F_{{\mathrm{E}},2}\;(w_{\mathrm{E}}), \cdots, {F_{{\mathrm{E}},K}}\;({w_{\mathrm{E}}})), (6) 式中：{w_{\mathrm{E}}}为模型编码器部分的参数集，{F_{{\mathrm{E}},k}}(·)为任务k的模型函数的编码器部分.
为将编码器全局模型中的融合知识有效传递给每架无人机，在无人机训练过程中引入正则化项，鼓励无人机的本地编码器模型向编码器全局模型对齐，从而实现知识共享. 这一思想在式（3）中得到具体体现，修改后的损失函数为
{f_k}(w) = {f_k}(w) + \lambda {\left\| {{w_{\mathrm{E}}} - g} \right\|_2}, (7) 式中：\lambda 为超参数.
{w_{\mathrm{E}}}的结构与g的结构是等效的，并且可用于规范计算. \lambda 作为本地模型与编码器全局模型之间的调节器，其作用至关重要，随着\lambda 趋近于0，算法将变为具有相同任务的无人机之间的传统联邦学习. 而随着\lambda 值的增加，关注点又重新回到全局目标上. 为增强训练过程，可以灵活地调整\lambda 值，以更好地平衡本地模型与编码器全局模型之间的关系，从而达到更好的学习效果. 在训练初期，由于本地模型的参数需经历较大波动，如果此时编码器全局模型与本地模型过于紧密地对齐，可能会导致训练效率降低. 因此，此时应该选择较小的\lambda 值. 然而，随着训练的进行，本地模型开始趋于收敛，参数的变化将逐渐变得平稳，此时，通过适当增加\lambda 值，可以增加全局模型对任务模型的影响，促进本地编码器与编码器全局模型更紧密地对齐.
M-Fed算法包括2个阶段：1） 本地训练阶段. 通过损失函数的多轮迭代，无人机将服务器发送的编码器全局模型g与本地编码器在参数层面逐步拉近，进而实现不同任务间公共知识的有效共享. 2） 服务器参数聚合阶段. 在接收到所有无人机上传的参数后，服务器首先根据任务对模型进行聚合，获取任务全局模型参数集合；接着，构建编码器全局模型 g ，这一过程是通过提取所有任务全局模型的编码器部分并进行聚合来实现的；最后，服务器将任务全局模型和编码器全局模型发送至对应的无人机. M-Fed算法流程如下：
1） 输入：\mathcal{K} ，任务集合；T，聚合轮数；\mathcal {N} ，无人机集合；m，本地训练轮数；\mathcal{N}_k ，执行任务k的无人机集合，k\in \mathcal{K} ；\lambda ，超参数；\alpha ，学习率；g，编码器全局模型；w_k^{(0)} ，初始参数集合，k\in \mathcal {K}
2） for t = 0,1, \cdots ,T - 1 do
服务器根据任务 k 将第t次聚合的参数w_k^{(t)} 下发给对应任务的无人机
3） w_k^{(t)} \to {\mathcal {N}_k} ,\;k \in \mathcal {K}
服务器将全局骨干模型g下发给所有无人机
4） g \to \mathcal{N}
5） for 无人机n \in \mathcal{N}同时do
利用本地数据训练本地模型m轮
6） w_n^{(t + 1)} = w_n^{(t)} - \left( {\alpha \Delta f\left( {w_n^{(t)}} \right) + \lambda {{\left\| {w_{{{\mathrm{E}},n}}^{(t)} - g} \right\|}_2}} \right)（{w_{{\mathrm{E}},n}}是无人机n参数的编码器部分）
7） 发送\varDelta _{k,n}^{(t)} = w_n^{(t + 1)} - w_n^{(t)}给服务器
end for
8） 通过聚合函数A将执行任务k参数进行聚合，形成任务全局模型集合
{w_k^{(t + 1)}} \leftarrow A\left( {w_k^{(t)},\left\{ {\Delta _{k,n}^{(t)}} \right\}} \right),\; n \in {{\mathcal{N}_k}} ,\;k \in \mathcal{K} ,
聚合函数A将所有无人机的编码器部分参数进行聚合，形成编码器全局模型
9） g \leftarrow A\left( {\left\{ {w_{{\mathrm{E}},k}^{(t + 1)}} \right\}} \right),\;k \in \mathcal {K} 是w_k^{(t+1)} 的编码器部分
end for
10） 输出 {w_k^{(T - 1)}} ,\; k \in \mathcal {K}
与传统联邦学习中的优化目标相似，构建任务全局模型旨在为无人机提供直接从其中学习任务知识的机会. 同时，无人机还能够从编码器全局模型中学习共用知识，这不仅能从执行相同任务的其他无人机中汲取经验，更能从执行不同任务的无人机中汲取多样化的信息，从而进一步提升模型效率. 任务全局模型的构建旨在为无人机提供直接从任务全局模型中学习任务知识的机会. 此外，通过从编码器全局模型中学习共用知识，无人机可以进一步提高模型效率.
2. 实验结果及分析
2.1 数据准备与实验设置
本研究选用PASCAL-Context数据集分割版本作为实验对象. 该数据集是密集预测任务领域中备受推崇的基准之一，尤其适用于多任务无人机群方法的验证[18]. 该数据集包含10581张训练图像和1449张验证图像. 为体现多任务特性，选取4个任务进行实验分析：语义分割、人体部位分割、显著性估计以及语义边界检测.
模型设置：模型的编码器部分由服务器确定，选用ResNet-18编码器. 采用DeepLabV3 + 和Atrous Spatial Pyramid Pooling（ASPP）模块作为本文的模型解码器. 执行不同任务的模型之间的差异仅在于模型出口处，根据任务分类的数量，设定对应数量的出口.
无人机本地执行完5个轮次后，会进行一次聚合. 变量阈值 \lambda 是通过模型聚合轮数来评估的，并呈现指数增长趋势，逐渐增强其影响. 4个任务的编码器模型配置保持相同，ResNet-18其他组件（如解码器、损失函数和优化器）则根据具体任务而有所不同. 解码器、损失函数和其他相关方面遵循所分配任务的要求. 每架无人机进行100个轮次的训练，整个模型使用PyTorch在4个RTX 2080Ti GPU上进行训练.
2.2 实验评估指标
语义边界检测评估任务的指标是optimal dataset scale/F-measure（odsF）[19]. 为使用odsF指标，本文为所有图像设置相同的阈值，即选择F1-measure为固定阈值并将其应用于所有图像，表示为
I_{{\mathrm{odsF}}}=\frac{2 {P}_{{\mathrm{r}}} {R}_{{\mathrm{e}}}}{{P}_{{\mathrm{r}}} + {R}_{{\mathrm{e}}}}\text{，} (8) 式中： {P_{\mathrm{r}}} 为精准率， {R_{\mathrm{e}}} 为召回率.
语义分割、人体部位分割和显著性估计使用mean intersection over union （mIoU）来评估任务. mIoU定义为
I_{{\mathrm{mIoU}}} = \frac{1}{c}\sum {\frac{{P \cap G}}{{P \cup G}}} , (9) 式中：P为预测值，G为真实值，c为类别总数.
2.3 实验结果及分析
为验证所提出方法的有效性，在实验中将M-Fed算法与传统方法进行比较. 传统方法包括局部训练算法和经典联邦学习方法. 在局部训练算法中，本文为每个客户端都执行了本地训练，并从中选取表现最优的结果作为代表值进行展现. 选择4个任务，每个任务有5架无人机参与训练，总共有20架无人机. 数据在20架无人机之间分散，没有重叠. 所采用的硬件设备旨在模拟20架无人机共同参与联邦学习的场景. 为确保实验的有效性与可行性，选用基础模型结构，并将数据集均匀分割为20份，以适应无人机所搭载的计算平台的参数限制. 这样的设计能够充分模拟实际无人机联邦学习的环境，从而为研究提供有力的实验支撑.
实验结果如表1所示. 表中：增量反映了相较于局部训练方法，其他方法在各任务上实现的提升量平均数；加粗数字为最优值.
表 1 PASCAL-Context数据集实验结果Table 1. Experimental results on PASCAL-Context dataset方法 编码器 语义分割 人体部位分割 显著性估计 语义边界检测 增量/% 局部训练 ResNet-18 38.36 49.03 55.74 60.90 0 经典联邦学习 ResNet-18 49.71 52.66 59.09 61.20 10.87 M-Fed ResNet-18 50.60 52.46 59.31 62.90 13.25 由表1可知：
1） 提出的M-Fed方法在3个任务中均获得了最高分数，总体上相较于经典联邦学习方法有所提升. 具体而言，在语义分割任务中实现了1.79%的部分改善；显著性估计任务中提高了0.37%；而在语义边缘任务中则提升了2.78%. 然而，在人体部位分割任务中，该方法出现了0.38%的降低.
2） 局部训练结果显示了每架无人机在单独使用本地数据进行训练时，在该任务中所能获得的最佳性能. 显然，M-Fed可显著提升性能，远超过单独的局部训练效果. 例如，在语义分割任务中，通过M-Fed在训练期间间接共享参数，mIoU值提高29.59%. 同样地，M-Fed促进了不同任务之间的模型间参数信息的传递.
3） M-Fed方法通过从其他任务中充分转移知识，语义分割任务、显著性估计任务和语义边缘任务得到了适度的优化；而人体部位分割任务则表明，吸收转移信息更为困难，但并未过多牺牲原始系统的能力.
在PASCAL-Context数据集的实验中，M-Fed方法在不同任务上展现出了多样化的表现. 这可能是由于本文实验仅选用了ResNet-18作为编码器，其参数数量的限制可能一定程度上影响了M-Fed方法的性能. 随着编码器模型参数量的增加，M-Fed方法的实验结果可能会有所不同. 因此，本文从多角度出发，深入验证M-Fed方法的有效性. 如表2所示，对PASCAL-Context数据集进行量化评估，直观地展示实验结果.
表 2 PASCAL-Context数据集的量化结果Table 2. Quantitative results on PASCAL-Context dataset
具体而言，M-Fed方法在各任务中均表现卓越，并在多个方面超越基准方法. 在语义分割任务中，M-Fed展现出与经典联邦学习方法相当的效果，相较于局部训练方法，能够更准确地辨别出不同动物个体. 人体部位分割任务中，尽管M-Fed的数值得分稍逊于经典联邦学习算法，但从量化结果中可见，M-Fed在边缘处理上更为精准. 在显著性估计任务中，M-Fed聚焦于关键物体，显著减少了环境干扰. 而在语义边缘检测任务中，M-Fed的精细处理尤为突出，特别是在人物腿部轮廓和远处地形边界的划分上，展现出更精细的划分能力.
M-Fed方法巧妙地实现了任务间的知识共享，使得无人机能够不仅从相关任务中汲取可泛化的知识，还能专注于各自的特定任务，从而显著提升整体任务表现. 这一特性让M-Fed在多个任务中均展现出强大的性能优势.
3. 结 论
本文提出一种基于编-解码器结构的无人机群多任务联邦学习方法，允许无人机在多任务条件下参与联邦学习. 与传统的联邦学习方法相比，M-Fed方法在处理无人机任务和模型一致性方面有所创新. 实证结果验证了所提出M-Fed方法的有效性. 并得到主要结论如下：
1） 提出的M-Fed方法通过编码器-解码器结构实现无人机多任务联邦学习，允许无人机在不同任务下参与联邦学习，同时保持任务和模型结构的一致性，并通过实验得到验证.
2） 为减少M-Fed在联邦学习初期的负面影响，引入可变阈值策略，有效控制M-Fed的参与度，从而提高训练效果.
3） M-Fed方法展示了良好的可嵌入性和与常规方法的兼容性，其灵活性和通用性使其成为解决无人机多任务联邦学习问题的有力工具.
尽管M-Fed方法可以有效提升模型性能，但面临以下限制：
1） M-Fed方法在处理低相关性任务时可能出现的性能下降.
2） M-Fed要求参与任务的无人机采用相同的编码器架构.
后续研究将致力于解决这些限制，使得无人机群适应更广泛的任务场景.
-
图 1 无人机群M-Fed方法与其他典型方法比较
Figure 1. Comparison of M-Fed method for UAV swarms with other typical methods
表 1 PASCAL-Context数据集实验结果
Table 1. Experimental results on PASCAL-Context dataset
方法 编码器 语义分割 人体部位分割 显著性估计 语义边界检测 增量/% 局部训练 ResNet-18 38.36 49.03 55.74 60.90 0 经典联邦学习 ResNet-18 49.71 52.66 59.09 61.20 10.87 M-Fed ResNet-18 50.60 52.46 59.31 62.90 13.25 
下载: 导出CSV
-
[1] 王志红,程尚. 无人驾驶场景多任务感知算法研究[J]. 武汉理工大学学报,2023,45(8): 140-146. doi: 10.3963/j.issn.1671-4431.2023.08.021WANG Zhihong, CHENG Shang. Research on multitask perception algorithms for unmanned driving scenarios[J]. Journal of Wuhan University of Technology, 2023, 45(8): 140-146. doi: 10.3963/j.issn.1671-4431.2023.08.021 [2] 杜家豪,秦娜,贾鑫明,等. 基于联邦学习的多线路高速列车转向架故障诊断[J]. 西南交通大学学报,2024,59(1): 185-192.DU Jiahao, QIN Na, JIA Xinming, et al. Fault diagnosis of multiple railway high speed train bogies based on federated learning[J]. Journal of Southwest Jiaotong University, 2024, 59(1): 185-192. [3] 姚献财,郑建超,郑鑫,等. 面向联邦学习的无人机轨迹与资源联合优化[J/OL]. 计算机工程与应用,2024:1-12 [2024-04-28]. http://kns.cnki.net/kcms/detail/11.2127.TP.20230 509.1840.007.html. [4] SHEN Y, QU Y B, DONG C, et al. Joint training and resource allocation optimization for federated learning in UAV swarm[J]. IEEE Internet of Things Journal, 2023, 10(3): 2272-2284. doi: 10.1109/JIOT.2022.3152829 [5] MO X P, XU J. Energy-efficient federated edge learning with joint communication and computation design[J]. Journal of Communications and Information Networks, 2021, 6(2): 110-124. doi: 10.23919/JCIN.2021.9475121 [6] PHAM Q V, LE M, HUYNH-THE T, et al. Energy-efficient federated learning over UAV-enabled wireless powered communications[J]. IEEE Transactions on Vehicular Technology, 2022, 71(5): 4977-4990. doi: 10.1109/TVT.2022.3150004 [7] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[J]. Computer Science, 2015, 14(7): 38-39. [8] XU D, OUYANG W L, WANG X G, et al. PAD-net: multi-tasks guided prediction-and-distillation network for simultaneous depth estimation and scene parsing[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 675-684. [9] CHEN J H, ZHOU J Y, YE J P. Integrating low-rank and group-sparse structures for robust multi-task learning[C]//Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. San Diego: ACM, 2011: 42-50. [10] ARGYRIOU A, EVGENIOU T, PONTIL M. Multi-task feature learning [C]//Conference on Advances in Neural Information Processing Systems. [S.l.]: MIT Press, 2007: 41-48. [11] EVGENIOU T, PONTIL M. Regularized multi: task learning[C]//Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Seattle: ACM, 2004: 109-117. [12] KIM S, XING E P. Statistical estimation of correlated genome associations to a quantitative trait network[J]. PLoS Genetics, 2009, 5(8): e1000587.1-e1000587.18. [13] JACOB L, BACH F, VERT J P. Clustered multi-task learning: a convex formulation[C]//Proceedings of the 21st International Conference on Neural Information Processing Systems. New York: Springer-Verlag, 2008: 745-752. [14] ZHANG Y, YEUNG D Y. A convex formulation for learning task relationships in multi-task learning[C]// Proceedings of the Twenty-Sixth Conference on Uncertainty in Artificial Intelligence. [S.l.]: AUAI Press, 2010: 733-742. [15] GONALVES A R, VON ZUBEN F J, BANERJEE A. Multi-task sparse structure learning with gaussian copula models[J]. The Journal of Machine Learning Research, 2016, 17(1): 1205-1234. [16] ZHOU F, SHUI C J, ABBASI M, et al. Task similarity estimation through adversarial multitask neural network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(2): 466-480. doi: 10.1109/TNNLS.2020.3028022 [17] KOKKINOS I. UberNet: training a universal convolutional neural network for low-, mid-, and high-level vision using diverse datasets and limited memory[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 5454-5463. [18] 赵佳琦,张迪,周勇,等. 基于深度强化学习的遥感图像可解释目标检测方法[J]. 模式识别与人工智能,2021,34(9): 777-786.ZHAO Jiaqi, ZHANG Di, ZHOU Yong, et al. Interpretable object detection method for remote sensing image based on deep reinforcement learning[J]. Pattern Recognition and Artificial Intelligence, 2021, 34(9): 777-786. [19] MARTIN D R, FOWLKES C C, MALIK J. Learning to detect natural image boundaries using local brightness, color, and texture cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(5): 530-549. doi: 10.1109/TPAMI.2004.1273918 -
下载:
下载:
点击查看大图
计量
- 文章访问数: 635
- HTML全文浏览量: 107
- PDF下载量: 151
- 被引次数: 0