|
在内容应用中，各客户端视同接受不同的模子架构，举例部分客户端使用卷积神经荟萃，而其他客户端则接受 Transformer，变成典型的模子异构场景，这进一步加多了联邦学习的优化难度。 为解决上述困难，来自中国信通院泰尔英福公司、清华大学等高校的合资盘问团队，提倡了一种基于表征纠缠的联邦学习框架（Federated Representation Entanglement，FedRE）。 该框架在保证模子性能的前提下，灵验保护数据心事并裁汰通讯支出，同期可适配模子异构与模子同构两类联邦学习场景。
论文标题：FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning 论文相连：https://arxiv.org/pdf/2511.22265 代码仓库：https://github.com/AIResearch-Group/FedRE 动机：如何兼顾联邦学习的模子性能、数据心事与通讯支出？ 在模子异构场景下，多个客户端接受不同架构的表征提真金不怕火器（如 ResNet，ViT），但分类器架构保握一致（即任务一致），因此无法像 FedAvg 那样径直进行模子参数的团员。 为解决这一问题，一个可行念念路是愚弄客户端表征在管事器端测验全局分类器，同期兼顾心事保护与通讯遵循。 一种朴素的次第是 FedAllRep，该次第将每个客户端的悉数样本表征上传至管事器具于测验全局分类器。 由于冒失充分愚弄悉数样本的表征，该次第常常冒失取得较好的模子性能（如 Figure 2 左图所示），但其通讯支出较大，况且容易受到表征逆向袭击进而泄露心事。 为缓解此问题，FedGH 接受类别原型动作客户端学问上传至管事器测验全局分类器。 该次第冒失灵验裁汰通讯老本并增强心事保护才能。但由于类原型主要描画类别中心信息，可能导致全局分类器过度情怀类别原型，进而变成较为明锐的有缱绻规模（如 Figure 2 中间所示），最终影响模子性能。
上述次第的局限性启发了 FedRE 的瞎想，其引入纠缠表征动作一种新的客户端学问示意相貌。 具体而言，在每个客户端，FedRE 通过立地加权的相貌，畴前自不同类别的土产货表征交融为一个纠缠表征，并生成对应的纠缠标签编码。 随后，每个客户端仅需上传一个纠缠表征过甚纠缠标签编码至管事器，用于测验全局分类器。 由于纠缠标签包含跨类别的监督信号，世界杯比分且在每一轮通讯中王人会再行采样权重以加多万般性，全局分类器在测验过程中冒失同期接头多个类别，从而幸免对单一类别过度自信，学习到愈加平滑的有缱绻规模（如 Figure 2 右图所示）。 此外，一个纠缠表征交融了客户端的悉数土产货表征，加多了表征逆向袭击的难度；同期，每个客户端仅上传一个纠缠表征，也进一步裁汰了通讯支出。 次第：FedRE 举座责任经过是什么？ 如图所示，FedRE 框架主要包含三个要领： 第一，各客户端愚弄土产货数据完成局部模子测验更新。
第二，各客户端对土产货悉数表征进行团员（具体次第请参考原文，可接受多种战略），生成长入的纠缠表征，同期团员对应的标签编码变成长入的纠缠标签编码，并上传至管事器。 终末，管事器愚弄收到的纠缠表征测验全局分类器，并将更新后的全局模子下发给各客户端，用于替换局部模子的分类器，参加下一轮迭代。 履行：性能、心事和通讯支出的评估遵循如何？模子性能评估 Table 1 展示了模子异构缔造下的履行松手（模子同构松手请参原谅文附录）。 举座来看，FedRE 取得了较为优异的性能推崇，并优于 FedGH。 这在一定进度上标明，相较于基于类别原型的次第，接受纠缠表征测验全局分类器可能愈加灵验。
心事保护评估 为评估心事保护才能，诀别对原始表征、类别原型与纠缠表征进行表征逆向袭击重建原始样本。 Figure 4 展示 TinyImageNet 松手：原始表征可较了了规复概述，存在较高袭击风险；类别原型可一定进度上规复类别信息（如鱼类概述）。 而纠缠表征重建松手险些不行辨识，标明其通过多类别信息交融权贵裁汰了样本可规复性。
通讯支出评估 Table 2 不错看到，FedRE 在上传阶段的通讯支出最低，因为每个客户端只需上传一个纠缠表征过甚对应的标签编码。 在播送阶段，其通讯支出与基于分类器的次第（如 LG-FedAvg）和基于原型的次第（如 FedProto）简短止境。 转头与瞻望 在数据成分畅通与心事合规条目日益严格的布景下，如何兼顾数据价值挖掘与明锐信息驻扎，已成为行业濒临的中枢挑战。 为此，本文提倡 FedRE 次第以解决模子异构的联邦学习问题，在性能、心事保护与通讯支出之间结束了较为平衡的衡量，为数据成分安全畅通提供了一种可行旅途。 一键三连「点赞」「转发」「注重心」 接待在挑剔区留住你的主义！ — 完 — 咱们正在招聘别称眼疾手快、情怀 AI 的学术裁剪实习生 � � 感有趣的小伙伴接待情怀 � � 了解确定 6686体育官方网站入口
� � 点亮星标 � � 科技前沿进展逐日见世界杯比分 |
