偷偷撸 联邦学习中的隐讳问题接洽进展
大数据的发展鼓动东谈主工智能迎来的新的岑岭， 可是也带来了新的问题. 一是算力问题偷偷撸， 更加庞杂的数据范围和更加复杂的学习模子对磨练开采和集群的算力提议了更高的要求: 二是数据问题， 磨练高精度的学习模子需要大范围高质料的数据复旧， 触及数据采集、数据清洗和数据标注等预处理责任. 高质料数据不时意味着贵重的众人学问和大宗的东谈主力物力进入. 不同团体乃至不同业业间不愿相互孝敬自身数据， 从而形成了数据源之间的壁垒， 导致灵验的数据得不到整合愚弄. 除利益问题外， 隐讳问题近几年引起了群众的关注， 如Facebook和喜达屋等机构的信息表露事件叫醒了群众的隐讳保护意志， 也给各行业敲响了警钟. 2017年《中华东谈主民共和国采集安全法》和《中华东谈主民共和国民法总则》厚爱实施， 要求采集运营者不得表露、更正、残害其收罗的个东谈主信息; 2018年欧盟实行通用数据保护条例(general data protection regulation， GDPR)也将隐讳保护带入法律解释， 经管企业对用户数据的荒诞征集和使用. 这些在加强用户隐讳保护的同期， 也一定进程阻遏了数据的分享和畅达， 业界急需一种新的数据愚弄模式， 保证原始数据不出土产货也能被灵验使用.
散布式机器学习(distributed machine learning， DML)的出现为措置算力问题提供了一种措置念念路， 而针对数据问题， 接洽东谈主员提议了联邦学习(federated learning， FL)的倡导. 联邦学习与散布式机器学习比较， 模子磨练和推理的方法并无本体别离， 而在数据集的总计权和隐讳性等方面有着不同的假定和要求. 散布式学习的初志是将归拢个任务分派到多个策动节点， 通过策动并行化提高模子磨练效能， 不同节点上数据集不时采样于归拢个数据源， 具有相似的散布和范围; 而联邦学习更侧重于对异质化的数据集进行学习， 不同策动节点上的数据可能具有完全不同的散布， 数据范围可能收支几个量级， 同期要求对各节点的土产货数据集进行一定进程的隐讳保护. 总的来看， 散布式学习是归拢个利益团体对归拢个任务进行切分和部署从而提高策动效能， 不同开采间的数据交换是透明的; 而联邦学习是不同的团体为了共同利益进行配合， 土产货数据集不时发达出差异化特征， 况且要求任一团体无法告成获取或盘曲感知其他团体的土产货数据.
Google于2017年提议的算法FedAvg[1]被浩繁以为是春联邦学习的第一次厚爱探索， 其主要孝敬在于指出了大宗去中心化的数据存储于转移开采， 却因隐讳问题得不到愚弄的问题. 进一步的， 将若何收罗和磨练这些数据定性为一个科学问题和接洽标的. 联邦学习系统(federated learning system， FLS)[2]不时包含一个中央办事器和多个客户端， 磨练公约过程的一般环节可总结如下.
(1) 中心在末端节点麇聚集当场聘请一部分节点;
(2) 被选中节点下载刻下的全局模子参数;
(3) 被选中节点使用土产货数据更新全局模子参数;
(4) 被选中节点将更新的模子参数汇总到中心;
(5) 中心通过特定算法团员数据， 并更新全局模子参数;
(6) 迭代执行上述5步直到模子敛迹至期许值.
其中， 模子的磨练方法与传统聚集式学习无较大别离， 而若何对数据进行处理、传输和聚集， 从而驻守隐讳表露， 是本文的接洽要点. 文件[1]笔据各末端的土产货数据集范围， 对其上传的模子参数进行加权平均. 该方法幸免客户端告成上传土产货数据， 一定进程上保护了用户隐讳.
可是， 越来越多接洽标明， 此般平常的团员公约会表露隐讳， 坏心对手不错进行重构障碍， 灵验还原用户的土产货数据[3-5]. 事实上， 除了告成获取用户磨练数据外， 对手还可通过悉心构造的隐讳障碍， 获取用户数据的成员信息[6-8]、属性信息[9，10]、类代表信息[11，12]. 这对学者和接洽东谈主员提议了新的要求， 若何设计灵验的隐讳防护方法， 并在隐讳保护、算法效能、模子精度间取得平衡， 成为联邦学习系统中一个重要的接洽点. 磨练好的模子将被常常地部署到用户节点， 包括各类角落开采和转移开采， 这类开采自身的安全景况无法得到保证. 该过程中办事商的模子和用户的预测样本都是各自的中枢财富， 对手能在推理过程中实施模子逆向[13]、成员推断[7]等障碍， 因此相同需要设计保护隐讳的安全推理方法.
联邦学习中的隐讳保护是一个交叉性极强的接洽标的， 要系统地厘清隐讳胁迫并提议防护方法需要跨学科的奋力. 为达到表面安全性， 当今有大宗责任引入密码学本领保护模子的磨练和推理过程， 如安全多方策动(secure multi-party computation， MPC)、同态加密(homomorphic encryption， HE)、函数加密(functional encryption， FE)和差分隐讳(differential privacy， DP)等. 以SGX为代表的简直执行环境(trusted execution environment， TEE)相同为联邦学习中的隐讳保护提供了措置念念路.
本文主要接洽联邦学习中隐讳问题， 总结相干接洽进展. 第1节先容联邦学习的界说， 特质和分类; 第2节分析联邦学习系统的隐讳胁迫模子和隐讳障碍风物; 第3节先容和对比当今主流的隐讳保护本领， 过火应用于联邦学习的环节问题; 第4节分类梳理应今典型的联邦学习隐讳保护决策; 第5节针对现存责任中的问题， 提议将来的挑战和瞻望; 第6节对全文进行总结.
1 联邦学习联邦学习又称配合学习(collaborative machine learning)， 是区别于聚集式和散布式机器学习的一种新场景， 在节点范围、数据散布、隐讳保护等方面有着昭彰的特征. 机器学习模子磨练的本体是措置一个优化问题， 传统的优化问题过火措置方法不行告成套用于联邦学习场景. 本节主要先容了联邦学习的界说及特征， 阐述了其与传统机器学习场景的异同， 形貌了一个典型联邦学习过程， 临了春联邦学习进行了分类.
1.1 定 义联邦学习是一种机器学习场景， 多个客户端在一个或多个中央办事器的匡助下配合措置一个机器学习问题. 每个客户端的原数据存储在土产货且分歧听说输. 中央办事器通过对客户端上传的参数更新进行团员以达到学习想法.
现实应用场景中联邦学习是由任务驱动的， 图1展示了FLS中学习模子的生命周期以及各类参与变装[14]， 当特定问题被识别和建模后， 由模子工程师发布任务并起初无缺的学习过程， 临了对生成的模子进行测试分析和现实部署. 其典型责任流如下.
Fig. 1 The lifecycle of an FL-trained model and the various actors in a federated learning system[14]
图 1 联邦学习系统中的模子生命周期及各类变装[14]
(1) 问题识别与任务界说: 模子工程师识别现实应用中的特定问题， 形貌为联邦学习系统中的任务， 并聘请对应的机器学习模子.
(2) 客户端协商: 中央办事器率领客户端在土产货存储必要的磨练数据. 事实上， 现实情况中客户端不时已存储所需数据， 如讯息发送软件已存储了用户键入的文本讯息， 相片管理软件已存储了用户近期相片.
(3) 原型模拟: 模子工程师可创建模子原型架构， 并使用代理数据进行超参测试与优化.
(4) 模子学习: 中央办事器和客户端进行无缺联邦学习过程， 可使用不同的超参生成多个优化模子.
(5) 模子评估: 模子经充分磨练达到预期亏蚀后， 工程师对模子进行分析评估， 并挑选好的备选模子. 评估风物不错是使用圭臬数据集进行测试， 或使用客户端土产货数据进行集结测试.
(6) 模子部署: 待发布模子被选出后将经过一系列圭臬模子发布过程， 临了部署到用户节点或办事云霄， 该过程与传统聚集式机器学习相易.
1.2 特 点 1.2.1 联邦学习与散布式学习联邦学习源于散布式优化(distributed optimization)繁衍出的一个特殊场景——联邦优化(federated optimization)[15-18]， 因此联邦学习和散布式机器学习有许多相似之处， 两者都基于多个策动节点对分散存储的数据集进行散布式的模子磨练， 许多学者把联邦学习看作散布式学习的一种蔓延和特殊样式[15， 18， 19]. 两者的区别主要有以下3点.
(1) 数据. 在散布式优化中， 策动节点数一般远小于数据点的数量， 每个节点打听取自相易散布的当场样本， 且领有相易量级的样本数. 而在联邦优化中， 磨练数据具有以下的异质化特征:
● 常常散布. 数据点存储于大范围的节点麇聚集， 且策动节点的数量可能庞杂于单个节点存储的平均样本数.
● 非零丁同散布. 每个节点上的数据可能都取自不同的散布， 即任一节点的土产货数据都不行代表总计这个词数据集的散布.
超碰在线● 体量不平衡. 各节点可能领有不同数量级的磨练样本数量.
(2) 参与节点. 在散布式学习中， 参与节点不时属于归拢团体， 运业绩况褂讪， 领有弥散且平衡的策动智力和存储空间. 而在联邦学习中， 不同节点不时属于不同的利益团体， 对土产货数据有完全自治权， 且通讯受限的现象较为常见， 如转移开采等末端频繁离线， 联网速率慢， 通讯代价高. 另外， 节点景况杂沓不皆， 大宗角落节点并莫得弥散算力和存储空间.
(3) 隐讳保护. 散布式学习可分为两类[20]: 面向蔓延性的散布式学习和面向隐讳保护的散布式学习. 其中， 前者旨在措置数据和模子范围束缚增长带来的蔓延性问题， 提高磨练效能和减小磨练支出[21-25]; 此后者旨在保护用户隐讳和数据安全， 联邦学习可视作后者的一种特殊样式， 参与节点范围更大， 且来自不同团体， 因此扩大了对手的潜在障碍面， 加多了隐讳保护的难度.
1.2.2 典型框架传统机器学习可视作如下优化问题:
$ \mathop {\min }\limits_{w \in {\mathbb{R}^d}} f(w) \; \text{where} \; f(w) \triangleq \frac{1}{n}\sum\limits_{i = 1}^n {{f_i}(w)} $ (1)其中， $ f(w) $ 为亏蚀函数， 给定模子参数 $ w $ ， $ {f_i}(w) $ 是在第 $ i $ 个数据点上预测对应的亏蚀.
文件[1]基于SGD提议了首个厚爱的联邦学习算法FedAvg， 主要分为中央团员和局部磨练两部分， 参与节点包括一个中央办事器S和K个客户端构成的麇集 $ \mathcal{C} = {\left\{ {{C_k}} \right\}_{k \in \left[ K \right]}} $ . 总计这个词过程分为多个通讯轮， 每一轮中客户端 $ {C_k} $ 在其土产货数据集 $ {\mathcal{P}_k} $ 上使用局部SGD同形势磨练局部模子. 中央办事器则对各客户端上传的模子参数进行团员. 具体地， 记来自客户端 $ {C_k} $ 的参数为 $ {w^k} $ ， 其中 $ k \in {\mathcal{C}_t} $ ， $ {\mathcal{C}_t} $ 为第t轮 $ {m_t} $ 个参与客户端构成的子集. 对于客户端 $ {C_k} $ ， 设其土产货磨练数据集有 $ {n_k} $ 个数据点， 其中 $ {n_k} = \left| {{\mathcal{P}_k}} \right| $ . 因此， 联邦学习环境下的优化问题可重界说为:
$ \mathop {\min }\limits_{w \in {\mathbb{R}^d}} f(w) \;\text{ where}\; f(w) \triangleq \sum\limits_{k = 1}^{{m_t}} {\frac{{{n_k}}}{n}{F_k}(w)} ， {F_k}(w) \triangleq \frac{1}{{{n_k}}}\sum\nolimits_{i \in {\mathcal{P}_k}} {{f_i}\left( w \right)} $ (2)FedAvg针对的是单办事器妥协全局磨练过程的场景， 虽无法涵盖总计应用场景及模式， 但为学者们的深远接洽提供了一个规范. 该范式下， 局部磨练过程与中心化学习基本一致， 接洽者主要围绕中央团员过程张开优化， 如为加强隐讳保护引入安全团员[26-28]， 为陶冶通讯效能对团员值进行有损压缩[16， 29]， 为达到差分隐讳进行噪声添加和更新剪裁[30]. 可是， 对手相同围绕团员过程张开障碍， 一方面通过窃取其他节点的上传数据来分析原数据的相干特征， 另一方面通过上传悉心构造的坏心数据影响全局模子或其他节点的局部模子. 在这些障碍战术下， 越来越多的团员方法被阐明是不安全的， 因此若何设计一个高效安全的团员方法成为当今的接洽要点和热门.
1.3 分 类 1.3.1 按数据散布分类记矩阵 $ {D_i} $ 为第 $ i $ 个参与方的数据， 每行暗意一个样本对象， 每一列暗意一种数据特征， 部分样本对象还带有标签. 设第 $ i $ 个参与方的样本对象空间为 $ {S_i} $ ， 特征空间为 $ {\mathcal{F}_i} $ ， 标签空间为 $ {\mathcal{L}_i} $ . 笔据磨练样本在不同参与方之间的散布特质， 可将联邦学习分为3类[20].
(1) 横向联邦学习(horizontal federated learning， HFL). 参与方领有不同的样本对象， 而数据特征基本相易， 即 ${\mathcal{F}_i} = {\mathcal{F}_j}，\; {\mathcal{L}_i} = {\mathcal{L}_j}，\; {S_i} \ne {S_j}， \;\forall {D_i}， \;{D_j}，\; i \ne j$ . 适用于数据特征重复较多， 而样本重复较少的场景. FedAvg便是针对横向联邦学习的典型学习算法.
(2) 纵向联邦学习(vertical federated learning， VFL). 参与方领有基本相易的样本对象， 而数据特征不同， 即 ${\mathcal{F}_i} \ne {\mathcal{F}_j}， \;{\mathcal{L}_i} \ne {\mathcal{L}_j}，\; {S_i} = {S_j}，\; \forall {D_i}，\; {D_j}，\; i \ne j$ . 适用于样本重复较多， 数据特征重复较少的场景. 参与方间需要先进性隐讳实体匹配， 安全地对皆共有样本， 然后通过加密本领磨练模子.
(3) 联邦迁徙学习(federatde transfer learning， FTL). 参与方的样本对象和数据特征都有较大差异， 即 ${\mathcal{F}_i} \ne {\mathcal{F}_j}，\; {\mathcal{L}_i} \ne {\mathcal{L}_j}，\; {S_i} \ne {S_j}，\; \forall {D_i}，\; {D_j}，\; i \ne j$ . 适用于特征和样本重复都较少的场景， 终了跨域学问迁徙.
1.3.2 按参与方类型分类联邦学习的不同应用场景中参与方的数量和个体特征发达出较大差异， 笔据参与节点的数量和节点特征， 可将联邦学习分为两类[14].
(1) 跨筒仓(cross-silo)联邦学习. 适用于大型机构间的配合学习任务， 参与节点领有弥散的策动智力和存储空间， 采集连气儿景况细致， 褂讪在线. 每个节点上的数据范围大， 质料高， 不错是横向或纵向辞别.
(2) 跨开采(cross-device)联邦学习. 适用于大宗转移角落末端开采参与的学习任务， 这些节点的算力较弱， 容量较小， 通讯代价较高， 频繁离线. 每个节点上的数据范围小， 质料高下不一， 一般是横向辞别.
2 联邦学习中的隐讳胁迫隐讳问题是联邦学习的中枢问题. 说起机器学习系统面对的胁迫时， 安全与隐讳不时被同等看待. 隐讳障碍是系统面对的胁迫的一部分， 对手为了窃取用户原数据或磨练好的模子参数等隐讳信息， 发起隐讳障碍. 而安全障碍则是通过妨碍模子正常磨练或教导模子缺陷预测等妙技， 危害系统的准确性和鲁棒性， 当今已有相干接洽考据了投毒障碍(poisoning attack)和扞拒障碍(adversarial attack)在联邦学习场景中的可行性[31-34]. 本文主要关注联邦学习顶用户数据的隐讳保护问题， 对于安全障碍不再张开. 第2.1节分析了不同对手变装存在时的隐讳胁迫模子; 第2.2节总结了联邦学习系统中常见的隐讳障碍.
2.1 对手模子联邦学习系统行为一个散布式系统， 其无缺责任流中不时包含大宗参与者， 向障碍者走漏了多个障碍点. 要分析联邦学习的安全性， 首先要厘清系统面对的隐讳胁迫， 包括判别对手类型， 明确对手障碍想法， 界说和辞别系统内变装， 分析各变装的潜在障碍智力， 归纳对手的障碍战术.
2.1.1 对手想法一个设计完备的信息系统应具备神秘性(confidentiality)、无缺性(integrity)、可用性(availability)， 而隐讳障碍想法则是冒失联邦学习系统的神秘性， 推断和获取系统非主动走漏的信息. 这些信息可分为以下4类[35].
(1) 成员(membership)信息. 给定一个样本， 对手试图判定其是否用于磨练， 进一形势， 笃定其属于哪一个参与方.
(2) 属性(property)信息. 对手试图推断参与方磨练数据的相干属性， 这些特征并非由样本所秀雅的特征和标签告成体现， 与磨练主想法不相干.
(3) 类代表(class representatives). 对于障碍对象的带标签数据集， 对手尝试生成其中某一类数据的典型磨练样本， 而非还原障碍对象的确切磨练数据. 典型样本与同类真实数据具有相易的特征和散布.
(4) 磨练数据. 对手试图靠近甚而还原参与方的磨练数据.
2.1.2 对手类型在隐讳保护和安全策动等领域， 一般计划两种类型的对手.
(1) 半淳厚(honest-but-curious/semi-honest)对手: 在半淳厚对手模子中， 对手会简直盲从并执行通讯公约的过程， 与其他节点交互时不会更正发送的讯息， 但会尝试笔据给与到的讯息推断更多的信息. 此类对手不干扰磨练过程， 不影响模子无缺性和可用性， 通过不雅察和收罗相干信息来达成障碍想法.
(2) 坏心(malicious)对手: 在坏心对手模子中， 对手行为不受限制， 可能不盲从公约， 坏心更正发送的讯息， 从而影响甚而冒失公约过程， 教导其他节点表露更多信息.
在系统设计前必须明确是退却哪一类对手发起的隐讳障碍， 现存的接洽主要基于半淳厚对手假定来设计隐讳保护决策， 在安全多方策动等密码学公约中， 屈膝坏心对手不时需要大宗迥殊的策动和通讯等支出[36]， 难以保证决策的高效性和实用性.
2.1.3 对手变装与传统机器学习不同， 联邦学习触及功能和智力互异的多个参与方， 对手可从多角度侵入并张开障碍. 笔据图1的参与变装， 春联邦学习系统中的对手变装和潜在障碍位置分类如下.
(1) 客户端: 操作家掌执客户端root权限， 可能是正当管理员， 或侵入障碍者. 半淳厚客户端不错在参与的轮次中， 查看来自办事器的总计讯息， 但不会干扰磨练过程. 而坏心的客户端在查看讯息的同期可颖悟扰磨练.
(2) 办事器: 操作家掌执办事器root权限， 可能是正当管理员， 或侵入障碍者. 半淳厚办事器不错查看给与到的总计讯息， 但不干扰磨练过程. 而坏心办事器在查看讯息的同期还可颖悟扰磨练.
(3) 模子工程师和分析东谈主员: 可打听磨练算法输出模子， 坏心的工程师或分析东谈主员能战争到系统的多个输出， 如不同超参下的模子磨练迭代.
(4) 现实需求用户: 可打听部署模子， 坏心用户或被侵入的用户节点对模子领有黑盒打听权限.
其中， 笔据对手是否参与模子磨练， 将坏心的客户端或办事器称为里面对手(inside attacker)， 将只可打听输出模子或部署模子的对手称为外部对手(outside attacker).
2.1.4 对手学问对手学问是指对手对于想法模子过火生成和应用环境所掌执的相干信息， 如模子结构、模子参数、磨练样本散布、决策函数等. 笔据对手掌执学问的些许， 可将其障碍行为分为黑盒障碍和白盒障碍.
(1) 黑盒障碍. 对手莫得模子的相干学问， 只可不雅察到模子的预测终结. 对任何输入数据x， 对手可赢得 $ f\left( {{{x}};{{W}}} \right) $ ， 但无法获知模子权重 $ {{W}} $ 和推理过程的中间策动， 甚而是学习算法和输出模子的结构. 学习是磨练数据所包含的学问向模子提真金不怕火滚动的过程， 对手一般愚弄模子自身的学问追悼性， 通过悉心构造输入， 来分析输出， 从而达到预期障碍想法. 比较白盒障碍， 黑盒障碍中对手的数据可见度低， 障碍准确度不高， 可是危害面更广， 当今一些互联网公司向用户提供预测办事(PaaS)， 如Google Prediction、Microsoft Azure ML、Amazon ML， 使黑盒障碍环境常常存在于日常生存中.
(2) 白盒障碍. 对手掌执模子的结构和权重参数， 甚而其他参与方的磨练数据. 此类对手不时属于里面对手， 掌执细致的局部视图， 有着较高的障碍准确率. 事实上， 具体障碍场景中， 存在介于白盒与黑盒之间的障碍决策， 如对手掌执模子的结构， 但不知谈模子的具体参数[6].
2.1.5 对手智力对手智力是指对手在系统中各阶段所具备的权限， 在数据收罗阶段， 不错是对手告成获取磨练数据的智力; 在磨练阶段， 不错是对手干豫磨练过程、收罗中间终结的智力， 如悉心构造输入影响其他节点， 不雅察该节点输出的变化趋势; 在推理阶段， 不错是对手打听模子接口获取预测终结， 甚而索要模子相干信息的智力. 笔据智力强弱可将对手分为劲对手和弱对手， 劲对手不错参与模子磨练， 获取模子相干参数和用户磨练数据， 弱对手只可通过打听模子， 不雅察特定输出， 收罗赞助信息等盘曲办段完成障碍.
联邦学习系统中， 对手在全过程具备的权限越高， 领有的障碍妙技越多， 其障碍智力就越强. 据此可春联邦学习系统中的变装智力进行排序: 办事器>客户端>分析东谈主员>用户. 办事器和客户端行为里面节点， 除了输出模子外， 还不错查看磨练过程中的团员终结， 其中办事器不错进一步查看各客户端上传的更新值; 用户和分析东谈主员行为外部节点， 能对输出模子进行黑盒打听， 分析东谈主员可能进一步领有白盒权限， 不雅察不同超参下的多个模子. 因此， 办事器一般是劲对手， 用户一般是弱对手， 客户端和分析东谈主员介于两者之间， 依据现实障碍场景进行区分.
2.1.6 对手战术对手的障碍想法一朝笃定， 再笔据对手的变装、学问、智力等性质， 可笃定其具体的障碍战术. 常见的障碍战术有5类.
(1) 重构障碍(reconstruction attack): 对手通过不雅察和抽取模子磨练时期的中间变量及相干特征， 重构出用户的原始磨练数据.
(2) 模子窃取障碍(model extraction attack): 对手窃取磨练好的模子参数或者模子自身. 模子隐讳表露毁伤的是模子领有者的利益， 一般是机器学习平台的办事提供商.
(3) 成员推断障碍(member inference attack): 对手领有模子的黑盒或白盒打听权限， 想法是判定一个特定样本是否属于某用户的磨练集.
(4) 属性推断障碍(property inference attack): 对手推断参与方磨练数据的相干特征， 这些特征并非由样本标签和属性告成体现.
(5) 模子逆向障碍(model inversion attack): 对手通过黑盒或白盒打听模子的输出， 反推磨练数据集的相干信息.
各式障碍战术被提议时， 障碍想法和对手智力互有错杂， 如模子逆向障碍和成员推断障碍中对手都能打听模子输出， 模子逆向障碍和重构障碍中障碍想法都是推断用户磨练数据， 导致不同文件中障碍战术的分类和包含关系产生冲突， 如表1所示. 因此为清亮地梳理联邦学习面对的隐讳胁迫， 本文鉴戒文件[35]， 选取对手障碍想法行为分类依据.
Table 1 Classifications of privacy attacks in different surveys
表 1 不同文件中的隐讳障碍分类
2.2 隐讳障碍
笔据不同的对手模子， 学者们针春联邦学习场景张开接洽， 设计并考据了多种隐讳障碍的可行性和冒失性， 此处选取了13篇近几年高被引(3年内进步20次， 5年内进步100次)的接洽， 如表2所示， 并依据对手障碍想法对这些接洽进行分类、梳理及分析.
Table 2 Typical privacy attacks in federated learning
表 2 联邦学习中的典型障碍
2.2.1 获取类代表
Hitaj等东谈主[12]愚弄扞拒生成采集(generative adversarial networks， GAN)， 设计了一种联邦学习场景下针对深度神经采集的隐讳障碍方法， 该文假定用户间的数据领有互不相易的标签类， 对手变装不错是任何一个客户端， 从系统里面障碍其他客户端， 推断其土产货数据某一类的隐讳信息. 具体地， 对手在磨练的每一轮下载办事器的全局模子， 将其行为判别器并在土产货磨练生成器， 生成与想法客户端土产货数据相似的样本. 对手将这些生成样本打上缺陷的标签， 混入土产货数据参与模子磨练， 从而某种进程上影响全局模子对特定类的识别智力. 为了正确分类这些包含缺陷标签的样本， 想法客户端下一轮磨练中上传的梯度会包含更多与土产货数据相干的信息， 据此对手可进一步优化生成器， 生成更相似的样本. 该文强调纪录级(record-level)差分隐讳并不行灵验屈膝此类障碍， 因为基于GAN的障碍方法旨在推断想法类的典型样本， 而非真实的磨练样本.
Wang等东谈主[11]指出文件[12]的障碍方法存在3个残障: (1) 假定中客户端能改变分享模子架构， 权限过高， 不得当现实应用场景， 且障碍影响了正常的模子磨练; (2) FedAvg算法平均更新值的风物会减小坏心客户端形成的影响， 从而缩短障碍性能; (3) 只可推断类的总体信息， 无法推断特定客户端隐讳. 对此， 作家提议了一种包含多任务判别器的扞拒生成采集mGAN-AI， 同期对数据的真伪、类别和包摄用户进行判别， 愚弄更新值还原每个客户端的典型数据， 并以此监督GAN磨练. 对比文件[12]， 该方法不错答复特定用户的典型数据， 形成用户级隐讳表露.
当数据聚集每个类里面成员相似时， 获取类代表与获取磨练数据将取得临近的障碍恶果， 可是， GAN仅仅生成了类的典型样本， 而非磨练数据自身， 判别器无法灵验区分磨练样本和当场典型样本， 因此这两类障碍有着本体的区别. 举例， 想法类中是某一用户的相片， 对手愚弄生成器输出的相片会呈现相似的脸， 从而判别想法用户的能够形貌， 可是给定一张真实相片， 同期按该类的散布当场生成一张相片， GAN无法辩别哪一张是真实的.
2.2.2 获取成员信息对手不错在推理阶段获取成员信息. 通过打听输出模子和部署模子的接口， 尝试笃定某样本是否属于磨练集， 从而危害用户隐讳， 此时障碍风物与传统机器学习场景相似.
Shokri等[6]对黑盒模子下的成员推断障碍进行接洽， 通过构建障碍模子来识别一札纪录是否属于磨练数据集. 为磨练障碍模子， 作家提议了一种影子磨练本领， 通过3类数据: (1)基于模子的合成数据; (2)基于统计信息的合成数据; (3)含噪声的真实数据， 生成多个效法想法模子行为的影子模子， 由于影子模子的磨练数据集是笃定的， 因此可笔据其输入输出进行监督磨练， 使障碍模子能分辨某纪录是否属于影子模子的磨练数据集. 实验标明磨练好的障碍模子对Google和Amazon的机器学习办事平台(MLaaS)的成员推断障碍准确率可达94%和74%.
上述障碍基于两个假定: 每个影子模子与想法模子具有相易结构; 用于磨练影子模子和想法模子的磨练数据具有相易散布. Salem等东谈主[7]以为该假定要求过高， 限制了现实情况中的障碍范围， 因此设计了3种对手， 逐步放宽假定， 解说了成员推断障碍可能发生于更常常的场景. 其中第3种对手不使用任何影子模子， 无需任何磨练过程， 仅依赖想法模子的预测终结. 该文标明想法模子的后验统计信息， 如熵和最大值， 不错灵验区分红员和非成员数据点. 在实验中， 作家提议了一种阈值聘请的方法， 在多个数据集上进行了灵验的推理障碍.
Yaghini等东谈主[40]指出在面对成员推断障碍时， 磨练数据的不同子集会发达出不一样的脆弱性， 而以往的责任只关注总计这个词数据集的平均隐讳亏蚀. 对此提议了一个量化隐讳表露的框架， 无需对模子的重复磨练和测试， 即可策动每个数据子集的隐讳表露进程， 而该框架也需要对手掌执想法数据集的一些布景学问. 作家对ADULT数据集磨练出的分类器进行测试， 实验标明范围小、代表性不及的子集更容易受到成员推断障碍， 而范围大的子集不易受障碍， 这一规则与分类器的结构无关. 作家进一步指出讲理差分隐讳的磨练算法并不行完全排斥这种差异性.
对手也不错在磨练阶段获取成员信息. 一些学者笔据联邦学习的特质设计了磨练过程的障碍方法， 接洽客户端上传更新值激发的信息表露问题. 此类障碍中对手通过不雅察客户端的上传数据推断特定样本的成员信息， 由于对手学问更多、智力更强， 障碍恶果也更为显贵.
Melis等东谈主[10]标明磨练中坏心参与者不错推断其他参与方的特定样本信息， 该文假定存在 $ K\left( {K \geqslant 2} \right) $ 个节点的学习场景， 对手行为参与节点之一不雅察不同轮次的全局模子， 策动得到每一轮的团员梯度， 对于当然话语处理等任务， 镶嵌层中的非零梯度揭示了哪些词汇在磨练批次中， 从而进一步匡助对手笃定某段文本是否属于磨练集.
Nasr等东谈主[8]对深度神经采集的白盒成员推断障碍进行接洽， 分析标明当模子泛化智力强时， 针对激活函数等中间变量的障碍恶果不好. 对此作家愚弄SGD算法中反向传播的梯度张开障碍， 由于深度神经采集中梯度的范围庞杂于磨练数据自身， 泛化智力不彊， 在面对磨练和非磨练数据时， 梯度的散布会产生较大差异. 文平分析评估了该方法的障碍恶果， 终结标明: (1)半淳厚办事器的障碍奏效能高于半淳厚客户端; (2)跟着磨练轮数增多， 障碍准确率更高; (3)跟着参与者增多， 障碍恶果下落. 另外， 计划坏心对手， 作家设计了一种“梯度上涨”障碍， 在磨练中增大想法数据所产生的梯度， 若该数据在磨练聚集， 由SGD算法的性情后续磨练中对应的梯度会明白减小. 进一形势， 坏心办事器不错针对想法客户端发起隔断障碍， 不向其传输其他客户端的更新， 从而获取该客户端的局部视图， 这种障碍能显贵加多信息表露概率.
2.2.3 获取属性信息Melis等东谈主[10]对属性推断障碍进行了接洽， 主要关注“非预期”特征， 即只对数据集的某一子集成立的特征， 如在用于磨练性别分类器的相片数据聚集， 某特定东谈主物何时第一次出现， 又或是相片中东谈主是否戴眼镜， 这些“非预期”特征与分类器的想法不相干， 也只对一小部分数据成立. 作家以为这些特征更灵验地反应出用户隐讳的表露， 因为对手在参与者不经意的情况下获取了迥殊信息. 同期该文标明， 纪录级的差分隐讳会限制成员推断障碍的奏效能， 但无法辞让属性推断障碍; 而用户级(participant-level)差分隐讳虽能屈膝属性推断， 但在参与方较少时严重影响模子精度. 该障碍方法假定对手掌执带正确标签的迥殊磨练数据， 其标签是对手的想法属性， 如对手想法是推断年事， 则需预先掌执标签为年事的相片数据集. 相似的接洽还有Ganju等东谈主[9]提议的针对全连气儿神经采集的属性障碍， 愚弄文件[6]中的影子磨练本领来磨练想法属性的元分类器(meta classifier). 与文件[10]不同， 该方法作用于推理过程， 障碍的是磨练后的输出模子或部署模子， 且假定对手掌执模子的架构和参数.
当今的属性障碍方法都有一定进程的局限性， 如， 需要迥殊信息的支柱; 障碍的属性与磨练数据自身的特征和标签相干. 前者限制了障碍方法的实用性， 后者让退却机制的设计者有迹可循， 限制了对手的障碍恶果.
2.2.4 获取磨练数据当今学者们在设计联邦学习系统时， 浩繁通过分享模子参数或梯度等更新值来磨练模子[1， 16， 42-45]， 既幸免了走漏土产货数据， 又能达到较好的磨练恶果. 可是越来越多接洽标明， 若不设计终点的隐讳保护机制， 对手能笔据这些更新值重构出用户磨练数据.
Phong等东谈主[4]指出文件[44]中的学习算法存在隐讳表露问题， 在神经采集磨练过程中， 一小部分的梯度即可表露磨练数据的相干信息. 以单个神经元为例， 亏蚀函数界说为预测值 $ {h_{W， b}}\left( x \right) \triangleq f\left( {\displaystyle\sum\nolimits_{i = 1}^d {{W_i}{x_i} + b} } \right) $ 和真实值 $ y $ 之间的距离:
$ J\left( {W， b， x， y} \right) \triangleq {\left( {{h_{W， b}}\left( x \right) - y} \right)^2} $ (3)因此对应梯度为:
$ {\eta _k} \triangleq \frac{{\delta J\left( {W， b， x， y} \right)}}{{\delta {W_k}}} = 2\left( {{h_{W， b}}\left( x \right) - y} \right)f'\left( {\sum\nolimits_{i = 1}^d {{W_i}{x_i} + b} } \right) \cdot {x_k} $ (4) $ \eta \triangleq \frac{{\delta J\left( {W， b， x， y} \right)}}{{\delta b}} = 2\left( {{h_{W， b}}\left( x \right) - y} \right)f'\left( {\sum\nolimits_{i = 1}^d {{W_i}{x_i} + b} } \right) \cdot 1 $ (5)中央办事器通过策动 $ {{{\eta _k}} \mathord{\left/ {\vphantom {{{\eta _k}} \eta }} \right. } \eta } = {x_k} $ 即可赢得用户输入数据， 同期不雅察可得梯度 $ {\eta _k} $ 和输入 $ {x_k} $ 成固定比例， 若 $x = \left( {{x_1}， \dots， {x_k}} \right)$ 为一幅图像， 对手可愚弄梯度生成一幅相同“成比例”的相干图像， 并据此揣测真实值 $ y $ . 作家相同对一般神经采集进行了分析， 实验标明对于手写体数字， 仅3.89%的梯度足以答复用户原始数据.
Zhu等东谈主[5]提议一种愚弄梯度重构磨练数据的障碍方法DLG (deep leakage from gradients). 具体地， 对手生成一双当场的“虚构”数据和标签 $ \left( {x'， y'} \right) $ ， 然后对模子F进行前向及后向的策动， 在赢得对应的虚构梯度 $ \nabla W' $ 后， 并不像普通学习过程一样对模子参数进行优化， 而是优化虚构输入和标签， 使得 $ \nabla W' $ 和真实梯度 $ \nabla W $ 的距离最小化， 当两者距离很小时， $ \left( {x'， y'} \right) $ 和原数据 $ \left( {x， y} \right) $ 高度匹配. 总之， DLG的本体是措置如下优化问题:
$ {x'^*}， {y'^*} \triangleq \mathop {\arg \min }\limits_{x'， y'} {\left\| {\nabla W' - \nabla W} \right\|^2} = \mathop {\arg \min }\limits_{x'， y'} {\left\| {\frac{{\partial L\left( {F\left( {x'， W} \right)， y'} \right)}}{{\partial W}} - \nabla W} \right\|^2} $ (6)作家分别在策动机视觉和当然话语处理两种任务上考据了障碍的灵验性， 终结标明对原数据达到了像素级和句柄级的还原. 另外， 作家对差分隐讳的保护恶果进行实验， 对于输入扰动， 当方差为 $ {10^{ - 4}} $ 或 $ {10^{ - 3}} $ 量级时无法屈膝障碍， 当方差大于 $ {10^{ - 2}} $ 时虽能灵验屈膝障碍， 但噪声已起初影响模子精度. 同期， 作家对两类半精度梯度扰动方法进行实验， 终结标明其不行灵验保护数据隐讳.
基于上述责任， 一些学者对DLG进行了翻新. Zhao等东谈主[3]不雅察到DLG进行数据重构时常常会生成缺陷的标签， 对此提议了翻新算法iDLG (improved DLG)， 计划使用交叉熵损成仇独热码标签的神经采集模子， 作家愚弄输出层各标签概率过火上一层输出值梯度间的关系， 准确找出真实标签y， 在措置优化问题(6)时只需对 $ x' $ 进行更新， 实验标明该方法对x的重构也具备更高准确率. Geiping等东谈主[41]为进一步优化障碍准确率， 将障碍算法的亏蚀函数改为余弦相似度 $ \ell \left( {x， y} \right) = \dfrac{{\left\langle {x， y} \right\rangle }}{{\left\| x \right\|\left\| y \right\|}} $ 并添加TV (total variation)正则项， 同期将数据空间限制在 $ [0， 1] $ ， 且基于iDLG假定已获取真实标签， 从而得到优化问题(7). 进一形势， 该文接洽了模子架构及参数对障碍恶果形成的影响， 以及针对FedAvg的障碍风物.
$ {x'^*} \triangleq \mathop {\arg \min }\limits_{x' \in {{\left[ {0， 1} \right]}^n}} 1 - \frac{{\left\langle {{\nabla _W}{L_W}\left( {x'， y} \right)， {\nabla _W}{L_W}\left( {x， y} \right)} \right\rangle }}{{\left\| {{\nabla _W}{L_W}\left( {x'， y} \right)} \right\|\left\| {{\nabla _W}{L_W}\left( {x， y} \right)} \right\|}} + \alpha TV\left( x \right) $ (7)对于无法参与磨练的对手， 梯度、模子参数等中间参数是不可见的， 可是接洽标明， 仅通过学习系统提供的预测接口， 对手仍能对磨练数据张开障碍. Fredrikson等东谈主[13]提议了针对决策树和东谈主脸识别模子的逆向障碍方法， 以障碍东谈主脸识别系统为例， 假遐想法MLaaS系统会复返不同类标签过火置信度， 作家愚弄梯度下落搜寻联想输入， 使复返的置信度最大化且被归为相易类， 从而靠近和还原真实输入数据. 实验标明， 该方法能灵验还原出启动图片的相干特征， 再由测试东谈主员进行东谈主工鉴别， 能以60%~80%的奏效能匹配真实图片.
3 联邦学习中的隐讳保护本领机器学习领域里面的本领不行很好地屈膝上述各类隐讳障碍， 对此接洽东谈主员将密码学和简直硬件等本领引入联邦学习， 通过密码本领的表面安全性以及简直硬件的物理层面安全来保险用户隐讳. 当今面向联邦学习的隐讳保护触及的本领主要分为3类.
(1) 加密方法: 参与方在不交换明文的情况下， 进行安全的散布式策动. 相干本领包括安全多方策动、同态加密、函数加密等. 此类方法灵验掩饰了策动输入和一些中间变量， 限制了对手获取迥殊学问的智力， 从而影响对手障碍奏效能甚而告成使其障碍战术失效.
(2) 扰动方法: 参与方通过对数据添加噪声等方法获取可量化的隐讳保证. 典型本领为差分隐讳， 保证不同磨练样本对最终模子的影响一定进程上不可区分， 从而屈膝对手获取特定数据的隐讳信息.
(3) 简直硬件: 参与方将数据加密， 在简直执行环境下执行数据解密及指定策动， 通过物理层面的安全性保证对手无法战争原数据或推理相干信息. 典型架构有intel SGX[46]、Sanctum[47]等.
本节将对上述3类中的典型本领进行先容， 包括其界说和特质， 以及应用于联邦学习的环节问题.
3.1 安全多方策动在一个安全多方策动公约中， n个各自持有隐讳数据 ${d_1}， \dots， {d_n}$ 的参与者 ${P_1}， \dots， {P_n}$ 不错策动一个公开函数 $F({d_1}， \dots， {d_n})$ ， 同期保证隐讳数据的神秘性.
安全多方策动发源于Yao[48，49]提议的百万大亨问题， 此后Goldreich等东谈主提议了GMW公约[50]， 解说即便存在坏心对手， 随心函数都不错进行安全策动， Yao决策的中枢本领是欺侮电路(garbled circuit， GC)和不经意传输(oblivious transfer， OT)， 而GMW愚弄玄妙分享(secret sharing， SS)将两方策动(2PC)当然拓展到了多方策动. 另外一些基石性的责任有BGW[51]、BMR[52]等. Ben-OR和Goldwasser等愚弄Shamir玄妙分享构建了BGW公约， 可在域 $ \mathbb{F} $ 上对运算电路(arithmetic circuit)进行策动， 包含加法、乘法、常数乘3种基础运算. 上述公约皆需要正比于电路范围的通讯轮次， 而BMR公约通过一种散布式欺侮电路生成方法， 将通讯轮次降至常数.
笔据函数F的暗意方法和数据 ${d_1}， \dots， {d_n}$ 的分享样式， 安全多方策动的后续接洽主要分为两类.
(1) 基于玄妙分享的运算电路. 用户数据以加法分享(additively sharing)的风物分散到参与节点. 此类公约进行加法、矩阵乘等线性代数运算时十分高效， 而进行比较等运算时支出较大. 代表性责任有BDOZ[53]和SPDZ[54]， 愚弄加法玄妙分享， Beaver 三元组[55]本领， 以及讯息认证码终清亮可屈膝坏心对手的安全多方策动公约.
(2) 基于欺侮电路的布尔电路. 用户数据以布尔分享(boolean-sharing)的风物分散到参与节点. 此类公约进行除法、比较、比特移位和sign()等易暗意为布尔电路的运算时十分高效， 而对于加法、乘法等运算需要迥殊支出. 代表性责任有WRK[56，57]， 作家提议了一种可考据欺侮(authenticated garbling)的本领， 将可考据玄妙分享、Beaver三元组、欺侮电路、BMR电路生成等本领相勾搭， 该公约相同可屈膝随心数量的坏心对手， 实验标明该公约具备极高的效能.
除了上述通用公约， 安全多方策动也繁衍出另一分支， 针对具体问题构造专用决策， 如麇集求交[58]， 电子投票[59]， 不经意多项式策动(OPE)[60]等. 此类公约在特定问题上不时比通用公约更高效， 且具备更圣洁的安全性解说.
安全多方策动应用于联邦学习的环节问题主要在于: (1)需针对策动类型， 选取合适的密码学器用. 安全多方策动是由同态加密、玄妙分享、不经意传输、欺侮电路等多种基础本领构成的概述密码学本领. 面对如全连气儿层等线性运算时， 可使用同态加密加快策动， 面对如激活函数等非线性运算时， 则使用欺侮电路本领对布尔电路进行隐讳策动. (2)优化学习模子和策动公约， 使其恰当密码本领， 从而提高公约效能. 举例将浮点数据进行截断并暗意为定点整型， 使用多项式近似激活函数等. (3)蔓延参与方， 当今学界对安全两方策动的接洽较为练习， 而参与方增多会导致公约通讯复杂度显贵陶冶， 在跨开采联邦学习等场景下， 参与方可能是数百台末端甚而更多， 总计节点间告成进行安全多方策动是不可行的.
3.2 同态加密令讯息空间 $ (M， \circ ) $ 为一个有限(半)群 $ \sigma $ 为安全参数. M上的一个同态加密决策[61]是由多项式时候算法构成的四元组 $ (K， E， D， A) $ ， 其中:
● 密钥生成函数K. 输入 $ {1^\sigma } $ ， 输出加密妥协密密钥 $ ({k_e}， {k_d}) = k \in \mathcal{K} $ ， 其中 $ \mathcal{K} $ 为密钥空间.
● 加密函数E. 输入 $ {1^\sigma }， {k_e} $ 和明文 $ m $ ， 输出密文 $ c\in \mathcal{C} $ ， 其中 $ \mathcal{C} $ 为密文空间.
● 解密函数D. 输入 $ {1^\sigma }， k $ 和密文 $ c \in \mathcal{C} $ ， 输出 $ m \in M $ . 该过程讲理: 若 $ c = E\left( {{1^\sigma }， {k_e}， m} \right) $ ， 则 $ \Pr \left[ {D\left( {{1^\sigma }， k， c} \right) \ne m} \right] $ 可忽略， 也即 $ \Pr \left[ {D\left( {{1^\sigma }， k， c} \right) \ne m} \right] \leqslant {2^{ - \sigma }} $ .
● 同态性. 算法A给与 $ {1^\sigma }， k $ 和 $ {c_1}， {c_2} \in \mathcal{C} $ 行为输入， 输出 $ {c_3} \in \mathcal{C} $ ， 且讲理对总计 $ {m_1}， {m_2} \in M $ ， 若 $ {m_3} = {m_1} \circ {m_2} $ ， $ {c_1} = E\left( {{1^\sigma }， {k_e}， {m_1}} \right) $ ， $ {c_2} = E\left( {{1^\sigma }， {k_e}， {m_2}} \right) $ ， 则 $ \Pr \left[ {D\left( {A\left( {{1^\sigma }， {k_e}， {c_1}， {c_2}} \right)} \right)} \right] \ne {m_3} $ 可忽略.
对于同态性， 若M是加法(半)群， 则称该加密决策是加法同态的， 此时算法A中算符 $ \circ $ 暗意加法; 若M是乘法(半)群， 则称该加密决策是乘法同态的， 此时算法A中算符 $ \circ $ 暗意乘法.
同态加密决策主要分为3类[62，63]: 部分同态加密(PHE)， 类同态加密(SHE)， 全同态加密(FHE). 在密文域中， PHE支柱加法或乘法其中一种的无穷次同态运算; SHE支柱有限次的加法和乘法同态运算; FHE支柱无穷次的加法和乘法同态运算. 3种决策中全同态加密适用面最广， 可是策动支出也最大. 从界说上看， 全同态加密是一种适用于安全策动的欲望决策， 可终了机器学习过程中端到端的隐讳保护， Gentry[64]基于欲望格(ideal lattices)提议的决策初度从表面上终清亮全同态加密， 引入bootstrapping本领措置噪声增长的问题， 可是该过程策动支出很大， 导致决策并空虚用， 对此学者们后续张开许多相干接洽， 但当今仍未能将全同态加密进入现实大范围应用.
同态加密应用于联邦学习的环节问题在于: (1) 不行进行比较、比特位移等策动， 无法支柱激活函数等复杂策动. (2) FHE策动量大， 当今的硬件难以支柱. (3) 许多同态加密决策是一双一的， 无法当然地应用于联邦学习的磨练过程. 一些隐讳保护决策让总计参与客户端分享密钥[4]， 虽然屈膝了坏心办事器的障碍， 但需保证客户端间不会相互窃取密文. 加强多密钥同态加密[65，66]的接洽有但愿措置该问题.
3.3 函数加密一个基于函数f的函数加密决策[67]包含4个算法.
● $\left( {pk， msk} \right) \leftarrow {\rm{Setup}}\left( {{1^\lambda }} \right)$ . 启动化算法创建公钥 $ pk $ 和主密钥 $ msk $ .
● $sk \leftarrow {\rm{Keygen}}\left( {msk， f} \right)$ . 密钥生成算法使用主密钥为函数 $ f $ 生成一个新的私钥.
● $c \leftarrow {\rm{Enc}}\left( {pk， x} \right)$ . 加密算法使用公钥加密讯息x.
● $y \leftarrow {\rm{Dec}}\left( {sk， c} \right)$ . 解密算法使用私钥策动 $ y = f\left( x \right) $ ， 其中x是c对应的明文.
函数加密是公钥加密的引申， 领有私钥的东谈主能在只战争密文c的情况下获取函数f在明文m上的函数值. 函数加密的安全性要求对手从密文c获取的任何信息只可来自 $ f(x) $ . Abdalla等东谈主[68]针对内积的高效策动问题， 基于DDH假定提议了一种多输入函数加密决策(MIFE)， 对应的内积函数形如:
$ f\left( {\left( {{x_1}， {x_2}， \dots， {x_n}} \right)， y} \right) = \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^{{\eta _i}} {\left( {{x_{ij}}{y_{\sum\nolimits_{k = 1}^{i - 1} {{\eta _k} + j} }}} \right)} } $ (8)其中， $ \left| y \right| = \displaystyle\sum\nolimits_{i = 1}^n {{\eta _i}} $ ， n暗意输入个数， $ {\eta _i} $ 是每个输入向量的长度， 且讲理 $ \dim \left( y \right) = \displaystyle\sum\nolimits_{i = 1}^n {\dim \left( {{x_i}} \right)} $ .
函数加密应用于联邦学习的环节问题是无法高效策动复杂函数. 当今不存在实用函数加密决策能支柱高于2次的多项式[69]， 因此函数加密常被用于一些简便函数的隐讳策动， 如团员操作中办事器对客户端上传参数乞降[70]， 从而赢得比安全多方策动和同态加密更高的效能， 但却无法用于神经采集等复杂模子的策动.
3.4 差分隐讳一个当场算法 $ \mathcal{M} $ 具备 $ (\varepsilon ， \delta ) $ -差分隐讳[71]， 若对相邻麇集 $ D $ 和 $ D' $ ， 以及总计 $S \subseteq {{Range}}(\mathcal{M})$ ， 讲理
$ \Pr \left[ {{\cal M}(D) \in S} \right] \leqslant \exp \left( \varepsilon \right) \cdot \Pr \left[ {{\cal M}(D') \in S} \right] + \delta $ (9)其中， 概率取自对 $ \mathcal{M} $ 的当场掷币.
讲理差分隐讳的算法的输出对数据聚集任何特定纪录都不解锐， 对手无法通过输出散布的差异推断一条数据的明锐信息， 因此可用于屈膝成员推理障碍. 差分隐讳属于扰动本领， 即在模子磨练中的某阶段添加一定的当场噪声， 常见的方法包括高斯机制(Gaussian mechanism)、拉普拉斯机制(Laplace mechanism)、二项式机制(binomial mechanism)、指数机制(exponential machanism). 笔据添加噪声的位置可分为以下4类.
(1) 输入扰动: 对磨练数据添加噪声.
(2) 算法扰动: 对算法的中间参数添加噪声.
(3) 想法扰动: 对学习算法的想法函数加噪声.
(4) 输出扰动: 对磨练终结的输出参数加噪声.
与安全多方策动和同态加密等本领比较， 差分隐讳机制的优点是策动复杂度低， 算法终了简便， 便于现实应用: 污点是输出终结的偏差可能导致模子不敛迹， 影响可用性， 终点是对深度学习等复杂模子， 更难平衡模子的可用性和隐讳保护. 其次， 引入噪声会冒失模子自身的稀薄性， 影响模子剪枝等本领的应用. 另外， 参数 $ (\varepsilon ， \delta ) $ 量化了隐讳保护的进程， 可是在现实中不具备可解释性， 在现实任务中， $ (\varepsilon ， \delta ) $ 若何设定并莫得客不雅的率领方法.
差分隐讳应用于联邦学习的环节问题是平衡隐讳性和可用性， 由于策动高效、部署简便等上风， 近几年差分隐讳被常常用于联邦学习的隐讳保护， 可是添加噪声不可幸免会影响磨练的准确性， 导致模子精度缩短甚而不敛迹. 而在横向联邦学习中， 若中央办事器是坏心的， 差分隐讳也不行完全保护磨练过程， 因为当噪声较小时， 用户的磨练数据仍然走漏给对手; 当噪声较大时， 会严重影响模子敛迹性[5]， 而联邦学习处理的不时口角零丁同散布的数据， 自身就面对敛迹性问题[72]， 差分隐讳的引入无疑加重了这一现象.
3.5 简直执行环境简直执行环境(TEE)是CPU中的一块区域， 提供安全隔断执行环境(secure enclave)， 能保证其中数据和代码的神秘性、无缺性等性质. TEE是和操作系统并走运行的零丁执行环境， 并为其提供安全办事， 其中包含了一组API来讲理操作系统和TEE之间的通讯. 运行在TEE中的应用不错打听主处理器和内存的一皆功能， 且被保护不遭遇来自操作系统的坏心障碍， TEE中运行的代码具有如下性质[73].
● 神秘性. 除非代码自身公布一些讯息， 不然其执业绩态是玄妙的.
● 无缺性. 除非代码接受显式输入， 不然其执行过程不受影响.
● 可考据性. TEE不错向良友用户解说一段特定二进制代码正在运行， 并处于何种状态.
比较于密码学本领， TEE的效能更高. 可是， 当今将TEE本领应用于联邦学习存在一些挑战: (1)本领自身存在残障， 易遭遇侧信谈障碍和微架构瞬态执行障碍， 使得简直环境内数据神秘性受到影响[74]; (2)受内存限制， 当表率数量和范围增大时， 为保证页面换进换出时的安全性， 系统支出明白增大[75]， 愚弄TEE执行全过程的策动是不现实的; (3)只可打听CPU资源， 无法保证GPU策动的安全性[76]， 影响了GPU在学习任务中加快策动的应用.
3.6 本领对比与分析上述本领具有不同的特质， 在联邦学习中的应用也有各自的优劣势， 适用于不同的隐讳保护场景. 举例， 安全多方策动、同态加密、函数加密3类加密本领通过掩饰节点间的传输数据， 辞让对手窃取其他节点的通讯讯息， 限制了对手获取迥殊信息的智力， 按捺了对手学问的增长路子， 可是无法辞让一些正当信息的走漏， 如每轮团员终结或最终模子， 对手仍能从这些数据推断信息， 因此这些本领常用于驻守坏心客户端的障碍; 差分隐讳本领通过对传输数据添加扰动， 使得对手无法通过分析中间终结或最终模子判断特定样本是否属于磨练集， 可是无法辞让对手窃取用户通讯内容获取迥殊信息， 因此该本领常用于驻守坏心用户和分析者的障碍; 简直执行环境保证了运行代码的神秘性、无缺性和可考据性， 不错驻守办事器在团员数据时更正数据或策动逻辑， 可是自身空间受限， 适用于数据团员等相对简便的策动， 常被用于驻守坏心办事器的障碍， 表3中对这些本领的特质进行了对比总结.
Table 3 Comparison of several typical privacy-preserving technologies in federated learning
表 3 联邦学习中的典型隐讳保护本领对比
上述隐讳保护本领的本领中枢及优污点各不相易， 接洽者应笔据现实场景选用合适的本领. 事实上， 隐讳保护本领并非相互零丁冰炭不同器， 可将一种本领用于其他本领的优化， 举例， 用PHE匡助MPC在无需第三方的情况下生成乘法三元组[54， 77]; 也可将不同本领相勾搭， 裁长补短， 来设计欲望的隐讳保护决策， 举例， 将加密本领和差分隐讳相勾搭尝试同期措置效能和精度的问题[70， 78]， 虽然这一类决策并未完全练习， 但多本领交融是隐讳保护将来的一种发展趋势.
4 联邦学习中的隐讳保护决策当今， 许多学者基于上述本领探索了联邦学习中的隐讳保护决策， 可按联邦学习类型、隐讳保护本领、参与节点架构、学习模子等进行辞别， 如表4所示. 为保证调研的全面性， 本文选取了60篇傍边涵盖上述各式分类的代表性文件[79-126]， 主要包括: 发表于著明期刊会通议的接洽; 在arXiv等平台发布的近期热门文件; 受东谈主工智能或信息安全社区常常招供的求教或手稿; 应用于医疗、金融等领域等现实场景的接洽.
Table 4 Classification of typical privacy-preserving schemes in federated learning
表 4 联邦学习中的典型隐讳保护决策分类
本文依据作用阶段、防护战术及所用本领， 将这些隐讳保护决策分为6大类: 安全团员机制、安全多方机制、同态加密机制、简直硬件机制、安全预测机制、模子泛化机制. 首先， 前4种机制作用于磨练过程， 安全预测机制作用于推理过程， 模子泛化机制可令两个阶段同期受益. 其次， 磨练过程的4种机制主要区别在于对数据的保护战术， 安全团员机制解任用户数据不出土产货的中枢念念想， 通过交换中间参数进行磨练. 其余3种机制则允许数据加密后传出土产货， 而其特质和应用场景又因经受的本领产生区分: 安全多方机制允许数据通过安全的风物分享以进行模子磨练， 同期保证其在策动过程中的隐讳性， 直至策动终结公布; 同态加密机制愚弄密文策动本领， 保证数据加密后的隐讳性和策动正确性; 简直硬件机制则通过硬件层面的安全保证策动时数据不被破解.
4.1 安全团员机制安全团员机制是由第1.2.2节典型框架繁衍的， 进一步加强隐讳保护的模子磨练方法， 亦然当今横向联邦学习主流的隐讳保护机制. 其典型架构为一个中央办事器和多个客户端， 办事器负责诊治总计这个词磨练过程并选藏全局模子， 时期每个客户端愚弄土产货数据集对全局模子进行磨练， 通过梯度下落等优化算法得到新的梯度或模子参数， 然后由办事器执行数据的安全团员， 如图2所示.
Fig. 2 Secure aggregation scheme
图 2 安全团员机制
由第2.2节可知， 数据团员需要节点间的参数传递， 不时成为对手的打破口， 因此安全团员机制基于当今联邦学习的典型模式， 对团员过程进行安全加固， 通过数据加密和扰动等妙技驻守中间参数表露隐讳， 相干决策的总结如表5所示.
Table 5 Typical privacy-preserving schemes of secure aggregation
表 5 安全团员机制的典型决策
4.1.1 基于数据加密的安全团员
安全团员的一种风物是加密客户端上传的数据， 办事器对密文进行团员， 只向办事器走漏团员的终结， 从而减小走漏个体隐讳的风险. 相干本领有安全多方策动、同态加密、函数加密、公钥加密等.
Bonawitz等东谈主[26]基于半淳厚办事器的假定构造了一种安全团员公约SecAgg， 用以策动多个更新值之和. 其中枢念念想是使用一次一密(one time pad)为每个输入加上欺侮值. 随心两个客户端 $ ({C_u}， {C_v})， u < v $ 间协商当场向量 $ {s_{u， v}} $ ， 记 $ {C_u} $ 的输入向量为 $ {x_u} $ ， 则其策动:
$ {y_u} = {x_u} + \sum\limits_{{C_v} \in \mathcal{C}， v > u} {{s_{u， v}}} - \sum\limits_{{C_v} \in \mathcal{C}， v < u} {{s_{v， u}}} (\bmod R) $ (10)并将 $ {y_u} $ 发送至办事器S， S策动:
$ {\textit{z}} = \sum\limits_{{C_u} \in \mathcal{C}} {{y_u}} = \sum\limits_{{C_u} \in \mathcal{C}} {\left( {{x_u} + \sum\limits_{{C_v} \in \mathcal{C}， v > u} {{s_{u， v}}} - \sum\limits_{{C_v} \in \mathcal{C}， v < u} {{s_{v， u}}} } \right)} = \sum\limits_{{C_u} \in \mathcal{C}} {{x_u}} (\bmod R) $ (11)从而求得正确的团员终结， 况且S无法由 $ {y_u} $ 推知 $ {x_u} $ . 该方法会导致两个问题: (1)客户端间协商 $ {s_{u， v}} $ 需要的通讯复杂度为 $ {\rm O}(|\mathcal{C}| \times |x|) $ ; (2)任一末端 $ {C_u} $ 交换完 $ {s_{u， v}} $ ， 但在向中心提交 $ {y_u} $ 前离线， 都会导致团员终结出错. 对此， 作家引入了伪当场数生成器、Shamir玄妙分享和双重欺侮等方法来措置繁衍的问题. 该公约具有容忍节点掉线， 策动复杂度低， 以及RO模子下屈膝坏心对手等优点. 可是， 该决策中密钥协商和玄妙分享及答复会带来巨大支出， Mandal等东谈主[79]对此进行了优化， 引入非共谋的密钥提供者终了非交互密钥生成， 引入正则图和相邻用户的倡导， 只在相邻用户间协商掩码， 从而终澄骄横效团员.
Phong等东谈主[4]基于AHE提议了一种隐讳保护的团员方法， 总计客户端掌执一双AHE决策的公私钥， 并对办事器守秘， 同期每个客户端与办事器创建TLS/SSL安全信谈， 用以保证密文无缺性和隐讳性. 磨练起初前， 由一个客户端将启动化模子参数加密后发送给办事器， 磨练起初后， 每个客户端下载加密权重参数并解密， 然后用土产货数据进行模子更新， 并将得到的梯度加密发送给办事器， 办事器告成用密文梯度对全局模子进行更新. 该决策在半淳厚办事器的假定下是安全的， 同期不会导致模子精度下落. 访佛的， Zhang等东谈主[80]基于HE和中国剩余定理等本领设计了屈膝坏心办事器的隐讳保护决策， 在保证团员正确性和隐讳性的同期， 愚弄双线性团员签名本领(bilinear aggregate signature)提供数据可考据性， 可纠察并辞让办事器伪造团员终结从而影响模子正常更新.
Phuong等东谈主[81]提议了一种基于对称密钥的隐讳保护决策， 在办事器的妥协下， 客户端间安全地传输权重并更新模子. 该决策中无需使用近似函数替代激活函数， 况且在半淳厚对手假定下能屈膝协谋障碍， 只须一个客户端是淳厚的， 即使办事器与其他客户端共谋， 也无法答复该客户端的数据. 其中枢念念想是愚弄对称密码加密权重并传输， L个客户端 $ {\{ {C_i}\} _{i \in [L]}} $ 分享一个密钥K， 并对办事器S守秘. 当 $ {C_i} $ 收到S发送的加密权重 $ {{Enc}_K}(W) $ ， 愚弄土产货数据 $ (X， Y) $ 更新权重 $ W' \leftarrow W - {{\alpha \cdot \delta J(W， X， Y)} \mathord{\left/ {\vphantom {{\alpha \cdot \delta J(W， X， Y)} {\delta W}}} \right. } {\delta W}} $ ， 并上传 $ {{Enc}_K}(W') $ 至S; S收到后当场或按某既定例则将其发送给另一个客户端 $ {C_j}(j \ne i) $ . 可见该决策中各节点的磨练是串行的， 一定进程上影响合座效能.
4.1.2 基于数据扰动的安全团员安全团员的另一种风物是愚弄差分隐讳， 对客户端的数据添加扰动， 从而使对手无法识别特定客户端孝敬的数据， 笔据添加噪声的位置一般分为中心化模子和土产货化模子两种.
中心化模子中每个客户端将它们未受保护的数据发送给一个简直的中央办事器， 办事器在团员这些数据时添加噪声. Geyer等东谈主[82]提议一种保护客户端级别隐讳的团员决策， 愚弄高斯机制在中心平均客户端的上传参数时添加噪声， 同期愚弄时刻累计本领(moments accoutant)[83]保证当个体孝敬过高时实时住手磨练， 从而保护个体隐讳. 中心化模子可灵验驻守客户端和用户等变装的推断障碍， 可是由于办事器能看到客户端上传的准确数据， 这类决策无法屈膝坏心办事器的障碍.
土产货化模子中每个客户端先对数据添加噪声， 再将其发送给一个不简直的中央办事器进行团员. Agarwal等[84]提议了一种通讯高效且讲理差分隐讳的散布式SGD算法cpSGD， 计划客户端不信任办事器的场景， 愚弄二项式机制对上传梯度进行扰动， 从而使办事器的输出模子讲理差分隐讳. Choudhury等东谈主[85]计划联邦学习在医药领域的应用， 愚弄差分隐讳完成含隐讳数据的二分类任务， 在客户端土产货磨练时， 先对想法函数加上扰动然后优化模子. 作家将该方法用于感知机、支柱向量机和逻辑顾忌(logistic regression， LR)这3种模子. Wei等东谈主[86]相同提议了一种基于土产货化差分隐讳的联邦学习框架NbAFL， 同期分析了模子的敛迹性并得出了以下论断: (1)模子敛迹性与隐讳保护强度存在矛盾， 成负相干; (2)固定隐讳保护强度， 加多参与方的数量不错提高模子敛迹发达; (3)给定隐讳保护强度， 对于模子敛迹性存在最优的磨练轮数.
4.1.3 勾搭加密与扰动的安全团员上述两类决策存在各自的残障， 基于数据加密的决策效能较低， 且无法灵验屈膝模子API处发起的推断障碍， 而基于数据扰动的决策当噪声方差较小时仍会走漏原数据的信息， 方差较大时导致模子可用性丧失， 终点是参与方数量多， 而数据量小时， 精度下落明白. 对此， 一些接洽东谈主员提议了勾搭加密与扰动的安全团员决策.
Truex等东谈主[78]愚弄DP和AHE提议一种联邦学习决策， 为决策树(decision trees， DTs)， 卷积神经采集和支柱向量机3种模子设计了安全团员算法， 办事器笔据学习模子向客户端质询相干的数据样式， 如对于决策树， 办事器肯求讲理特定条件的样本个数， 对于神经采集， 办事器肯求刻下模子权重. 客户端在土产货扰动数据， 再通过门限版块的 $ (n， t) $ -Paillier加密来团员扰动后的数据. 门限加密允许不少于t个客户端进行密文解密， 因此对相易的隐讳预算 $ \varepsilon $ ， 每个客户端添加噪声的方差可降为原本的 $ {1 \mathord{\left/ {\vphantom {1 {(t - 1)}}} \right. } {(t - 1)}} $ ， 从而提高了模子准确性. 访佛的， Hao等[87]愚弄DP和AHE设计了神经采集的安全团员决策， 在半淳厚办事器与多个客户端协谋时， 仍能保护磨练数据隐讳.
Xu等东谈主[70]勾搭MIFE和DP， 提议了一种高效联邦学习框架HybridAlpha， 主要包括5种算法: Setup、PKDistribute、SKGenerate、Encrypt、Decrypt; 和3种变装: 简直第三方(trusted third party， TTP)、客户端、团员办事器. 公约起初时， TTP运行前3个算法进行启动化和函数密钥的分发， 然后每个客户端愚弄Encrypt加密土产货的模子权重， 临了团员器运行Decrypt解密得到总计加密权重的均值. 为了屈膝推理障碍， 作家为TTP添加了一个抗推理模组， 同期客户端加密土产货数据前需添加噪声. 相较于文件[78]， 该决策在不影响模子发达的情况下， 磨练时候平均减少了68%， 数据传输量平均减少了92%. 文件中使用的MIFE本领只支柱线性函数运算， 因此该决策只可进行诸如乞降等线性团员运算.
4.2 安全多方机制安全多方机制是指参与方通过安全多方策动、同态加密等本领告成构建一个多方策动公约， 共同磨练机器学习模子的方法. 其环节在于为学习算法中每个底层算子选取合适的密码学器用， 并针对性地进行优化. 笔据参与节点架构区分， 本文将当今基于安全多方机制的联邦学习磨练决策分为两类: 外包策动架构和去中心化架构. 其中， 外包策动架构中客户端行为数据领有者， 将学习任务外包给办事器， 办事器行为策动节点进行模子磨练; 去中心化架构中， 参与方既是数据领有者亦然策动执行者， 在无简直第三方协助的情况下完成磨练任务.
4.2.1 外包策动架构外包策动架构中数据领有者将磨练集通过玄妙分享本领安全地发布至多个策动节点， 由策动节点共同完成磨练任务. 其典型架构为 $N\;(N \geqslant 2)$ 个办事器和m个客户端， 如图3所示， 磨练起初前， 客户端将土产货数据集玄妙分享至N台办事器， 然后办事器间基于分享份额执行MPC公约进行磨练. 总计这个词过程中， 客户端完成数据分享后无需参与磨练， 由办事器完成主体策动任务， 在办事器不共谋和半淳厚对手的假定下， 单一办事器无法由土产货份额获取磨练数据的相干信息.
Fig. 3 Outsourced training scheme
图 3 外包磨练机制
由第3.1节可知， 对于不同类型的策动， 应选取合适的电路暗意和数据分享方法来减少迥殊支出. Demmler等东谈主[77]提议了一种两方安全策动框架ABY， 同期支柱运算分享， 布尔分享以及Yao分享3种数据分享风物. 文中愚弄蔓延不经意传输(OT extension)进行密码学操作的高效预策动， 并设计了3种分享份额的相互转机方法， 显贵提高了策动效能. 作家在隐讳麇集求交、生物特征匹配和模幂运算3种应用上解说了该混杂公约的高效性. Mohassel等东谈主[88]在ABY的基础上， 设计了隐讳保护机器学习系统SecureML， 该系统基于2-办事器模子， 包含两阶段公约， 在线阶段办事器间依据磨练算法对份额进行策动， 离线阶段通过OT、LHE (linearly HE)等本领生成Beaver三元组. 为对系统进行优化， 作家在乘法中对浮点数进行截断并暗意为有限域上的整数; 设计了新的线性激活函数; 将磨练数据向量化， 从而缩短策动复杂度. 该系统在线性顾忌、logistic顾忌以及局域网下的神经采集磨练中具备较高效能. 可是， 由于办事器间交互频繁、通讯量大， 广域网下神经采集的磨练暂未达到实用圭臬.
ABY提供了3种数据分享风物以提高面对不同策动时的执行效能， 但莫得友好的编程接口， 形成了编码东谈主员和密码学者间的界限. Chandran等东谈主[89]针对这一问题提议了一种高效易编程的2PC框架EzPC， 用户无需暄和密码学层面的细节， EzPC编译器会笔据高层运算符的运算代价， 为不同的子运算自动聘请合适的电路暗意. 同期， 作家使用安全代码辞别(secure code partitioning)的本领措置面对复杂函数时内存容量不够的问题.
模子精度是策划学习算法的重要想法， SecureML为了策动效能， 在磨练神经采集时使用一种线性分段函数替代原有的激活函数， 这种方法会导致一定的精度亏蚀. Liu等东谈主[90]基于2PC、HE和SIMD等本领设计了一个2PC框架MiniONN， 提议了一种苍茫神经采集(oblivious neural network)本领， 不改变神经采集的结构， 而是为一些基本运算设计了安全公约， 包括线性变换、常见的激活函数、池化操作等. Rouhani等东谈主[91]提议了一个可蔓延及可解说安全的深度学习系统DeepSecure， 主要基于GC执行深度学习中的策动， 包括各式非线性函数， 减少精度亏蚀. 并针对深度学习的特质用一个预处理环节对GC进行优化， 幸免不消要的策动和通讯支出.
此类责任的另一个接洽要点是提高磨练效能. SecureML中为提高离线阶段的效能， 引入了简直第三方匡助生成Beaver三元组. 鉴戒此念念想， Riazi等东谈主[92]基于OT、GC、GMW、SS等本领提议一个混杂安全策动框架Chameleon， 借助简直第三方进行OT预策动， 生成乘法三元组， 以及优化向量点乘运算. 实验标明Chameleon的运行效能比CryptoNets[93]陶冶了133倍， 比MiniONN陶冶了4.2倍. Agrawal等东谈主[94]则从机器学习和安全策动两个角度对磨练过程进行优化， 基于GC、COT (correlated OT)等本领提议了一个两方策动框架QUOTIENT， 用以磨练包含全连气儿层、卷积层和残差层的深度神经采集， 作家在安全策动框架中终清亮正则化及动态步长， 进一步陶冶了模子精度. 对比SecureML， QUOTIENT的模子精度陶冶了约6%， WAN模式下的磨练效能陶冶了进步50倍. 可是相较于现实应用需求， 该方法中CNN磨练仍然较慢， 且会产生较大的通讯包袱.
一些接洽也对参与办事器的数量进行了拓展. Mohassel等东谈主[95]提议了三办事器策动公约ABY3， 在3PC场景下终清亮分享十进制数乘法和分享份额转机， 并进行相干优化. 举例， 提议延迟重分享本领减小通讯复杂度， 基于广义三方OT策动分段多项式函数等. Wagh等东谈主[96]针对神经采集磨练提议了一种三方安全策动框架SecureNN， 文中为CNN中的常见策动分别设计了安全策动公约， 包括线性运算、卷积、ReLU、最大池化层、正则化等， 这些运算可被高效组合形成复杂采集. 作家设计了新公约措置Yao分享和GC策动带来的高额通讯支出， 实验标明， 比较于SecureML、MiniONN、Gazelle[97]、Chameleon等系统， SecureNN的运行效能陶冶了6–113倍.
4.2.2 去中心化架构去中心化架构中总计参与方既是数据领有者亦然策动执行者， 且无需简直第三方， 其架构如图4. 外包策动决策中不时需要引入第三方匡助加快策动[88， 92]， 故需添加第三方的可靠性假定， 而现实应用中其正当性和可靠性难以保证， 可能带来迥殊风险， 因此设计仅依赖参与方自身的去中心化学习方法， 是联邦学习的一个重要接洽标的.
Fig. 4 Decentralized training scheme
图 4 去中心化磨练机制
数据挖掘领域中已有学者接洽去中心化架构的模子学习方法， 参与方各自领有隐讳数据， 愚弄安全多方策动配合进行聚类、分类等任务. 针对纵向辞别的数据集. Vaidya等东谈主[98]提议了一种保护隐讳的k-means聚类算法， 基于MPC、HE、安全置换算法(secure permutation algorithm)设计了一系列子算法， 如门限查验、策动最近簇等， 参与方在不走漏隐讳的情况下， 能对数据进行距离比较等运算， 该决策在半淳厚对手模子下屈膝隐讳表露. 但该决策需要较高的策动支出且在大数据集的情况下可蔓延性不彊， 文中无实考据明其高效性. 针对横向辞别的数据集， Gheid等东谈主[99]以为引入密码学原语会缩短聚类算法的性能， 对此设计了一种专用MPC决策， 用一个多方加和公约来安全地求均值， 灵验提高了公约执行效能. Prasad等东谈主[100]针对数据挖掘任务顶用户因惦记隐讳表露不提供正确数据的问题， 提议了一种保护隐讳的朴素贝叶斯分类器， 措置完全散布式环境下对闹翻和连气儿数据的分类问题， 并通过AHE保护数据传输过程中的隐讳安全. 针对横向和纵向两类联邦学习任务， Samet等东谈主[101]为后向传播(BP)算法和极限学习机(ELM)设计了安全公约， 笔据不同的参与方数量， 作家在两方策动中使用HE， 而为多方策动设计了专用子公约. 作家基于文件[102]中的安全标量积公约， 移除了对简直第三方的需求， 并将熵函数替换为分段线性函数， 以便在2PC公约中高效策动. 这一类决策在想刑场景下能赢得较高的效能和精度， 可是处理的模子复杂性不高， 通用性较差， 无法使用与神经采集等复杂模子.
加劲对手假定会导致迥殊的策动和通讯支出， 因此当今大多基于MPC的隐讳保护决策只可屈膝半淳厚对手， 而Zheng等东谈主[103]针对线性模子提议了一种屈膝坏心对手的学习系统Helen， 作家将该系统适用的场景称为竞争配合学习(coopetitive learning)， 多个团体配合磨练一个模子， 但不败露我方的数据， 同期每一方都可能偏离公约侵害他东谈主隐讳. Helen使用轮换标的乘子法(ADMM)替代SGD， 显贵减小了MPC的同步操作次数; 使用零学问解说(zero-knowledge proof， ZKP)保证磨练过程中参与方持久使用归拢个数据集未进行更正; 愚弄奇异值认识将数据降维， 从而幸免MPC中矩阵求逆等上流的运算. 文顶用基于SGD和SPDZ的磨练方法行为基线， 在每方领有10K个数据点， 90个特征的四方策动中， 对照方法耗时约3个月， 而Helen耗时不到3小时. Sharma等东谈主[104]愚弄SPDZ提议了一套安全且高效的联邦迁徙学习决策， 在两方间进行学问迁徙， 该决策可蔓延至多方情形， 且保证即便存在大多数坏心对手的情况， 仍能保护淳厚节点的数据隐讳.
还有一类决策并不告成应用密码器用， 而是通过法子策动并由安全信谈传输权重的风物达到相似恶果， 对手答复客户端梯度或样本的难度异常于求解NPC问题. Phuong等东谈主[81]针对MLP、CNN等模子提议了一种去中心化联邦学习方法， 该决策中假定总计参与方间有TLS安全信谈， 一个参与方用土产货数据磨练全局模子， 并将模子权重安全传输至下一节点， 按此风物束缚更新全局模子， 参数的传递法子不错预先商定， 也不错当场选取. 由于每个参与方土产货磨练需要多个mini-batch， 因此顶点协谋情况下， 窃取唯一淳厚节点梯度的问题异常于求解子集和问题(subset sum problem). 相似的， Chang等东谈主[105]将法子磨练并传递权重的风物用于医疗领域的图像识别任务.
4.3 同态加密机制同态加密机制是指愚弄同态加密本领保证参与方间只进行密文传输的隐讳保护方法. 由第3.2节可知， 现存的同态加密决策不易告成应用于诸如跨开采横向联邦学习等触及大范围节点的场景. 当今同态加密机制主要用于两方的纵向联邦学习和联邦迁徙学习.
对于纵向联邦学习， 一般假定参与方是半淳厚的， 同态加密机制一般分为两个环节.
(1) 隐讳实体匹配[106，107]. 参与两边A和B先找出具有相易id的样本对象， 以确保磨练起初前数据集包含的样本对象一皆匹配. 该过程除了两边匹配的数据集外， 不应表露其他信息
(2) 加密模子磨练. 参与两边通过同态加密本领加密和交换中间终结， 用于策动梯度， 具有标签的一方还需要策动亏蚀. 明白， 为保护各自数据隐讳， 两边不行分享归拢密钥对， 因此该过程一般需要引入一个简直第三方C创建和分发密钥， 并协助中间终结的交换. 土产货加密梯度和亏蚀计动完成后， A， B两边加上一个加密的当场掩码再上传给C， 驻守其解密终结并窃取信息. 临了C进行解密将欺侮后的梯度明文发还， A和B去除掩码得到真实梯度， 据此更新模子.
笔据上述过程， Yang等东谈主[20]提议了一种安全联邦线性顾忌算法， Cheng等东谈主[108]提议了安全联邦陶冶树算法， 两种方法磨练出的模子都是无损的， 与聚集学习场景下的算法具有相易准确度.
由于同态加密自身的性质， 面对非线性模子时， 一般需要对策动的函数进行多项式近似. Hardy等东谈主[109]基于AHE提议了一种纵向联邦学习算法， 两个数据持有者A， B在办事器C的妥协下， 对数磨练数据进行实体匹配(entity resolution)并磨练logistic顾忌二分类模子 $ \theta \in {\mathbb{R}^d} $ ， 该算法屈膝半淳厚对手， 且精度与明文磨练相易. 底下对磨练过程的中枢——梯度策动进行诠释， 假定A和B已完成实体匹配， 得到纵向辞别的共稀有据集 $ X = [{X^A}|{X^B}] \in {\mathbb{R}^{n \times d}} $ ， A掌执标签向量 $ y $ . 令 $ x $ 为 $ X $ 的一转， $ {x_A} $ 中下标暗意取 $ x $ 中只包含A特征的部分， 对 $ {x_B}， {\theta _A}， {\theta _B} $ 同理. 模子在磨练集 $ S $ 上的平均亏蚀为 $ {\ell _S}(\theta ) = \dfrac{1}{n}\displaystyle\sum\nolimits_{i \in S} {\log (1 + {{\rm{e}}^{ - {y_i}{\theta ^{\text{T}}}{x_i}}})} $ ， 则对大小为 $ s' $ 的batch $ S' \subset S $ 有:
$ \nabla {\ell _{S'}}(\theta ) = \frac{1}{{s'}}\sum\limits_{i \in S'} {\left( {\frac{1}{{1 + {{\rm{e}}^{ - y{\theta ^{\text{T}}}x}}}} - 1} \right){y_i}} {x_i} $ (12)由于AHE无法告成策动公式(12)， 作家愚弄其二次Taylor张开行为近似 $\nabla {\ell _{S'}}(\theta ) \approx \dfrac{1}{{s'}}\displaystyle\sum\nolimits_{i \in S'} {\left(\dfrac{1}{4}{\theta ^{\text{T}}}{x_i} - \dfrac{1}{2}{y_i}\right){x_i}}$ ， 同期为驻守C获取梯度信息， A、B需为加密梯度乘上一个掩码 $ {m_i} $ 如下:
$ \left[\kern-0.15em\left[ {\nabla {\ell _{S'}}(\theta )} \right]\kern-0.15em\right] \approx \frac{1}{{s'}}\sum\limits_{i \in S'} {\left[\kern-0.15em\left[ {{m_i}} \right]\kern-0.15em\right]\left( {\frac{1}{4}{\theta ^{\text{T}}}{x_i} - \frac{1}{2}{y_i}} \right){x_i}} $ (13)于是， 梯度的安全策动方法如表6所示， 该过程中A， B之间发送的明文唯独模子 $ \theta $ 和batch标号 $ S' $ ， C能获取加掩码后的梯度 $ \nabla {\ell _{S'}}(\theta ) $ .
Table 6 Secure gradient computing algorithm in ref[109]
表 6 文件[109]中的安全梯度策动算法
对于联邦迁徙学习， 参与两边面对样本对象和特征重复较少的问题， 该场景下， 学习算法的目的是从信息丰富的源域A向信息穷乏的想法域B迁徙学问， 共同成就灵验模子并为B的样本提供预测标签. 其中枢在于: (1)选取合适的模子生成源域和想法域的隐式表征; (2)愚弄合适的预测函数为想法域预测标签. Liu等东谈主[110]基于AHE提议了一种安全的联邦迁徙学习框架， 用神经采集生成数据域的隐式表征， 用二阶泰勒多项式近似策动亏蚀函数. 该方法无需第三方参与， A和B各自创建一双AHE密钥加密传输的中间终结. 由于临了策动得到的加密梯度仍需对方解密， 相同需要添加一个掩码进行欺侮， 驻守梯度障碍. 磨练完成后， 以相同的本理会线愚弄采用的预测函数对B的样本进行安全标签预测. 该决策愚弄HE的性情在两方间进行迁徙学习， 当触及多方学习任务时， 则需要进一步探索其他方法.
4.4 简直硬件机制简直硬件机制是指愚弄TEE保证学习算法在不简直环境下安全运行的隐讳保护方法. 其架构为一台带TEE的中央办事器和多个客户端， 对手可能限定办事器和客户端， 但无法不雅察和更正简直环境的里面状态. TEE的空间受限， 只可执行有限的代码段， 而在外部执行的代码仍可能受到对手的监控、推断和更正， 是以此类方法的环节在于对学习算法进行悉心设计和革新， 保证简直硬件能容纳中枢代码， 且与内存、硬盘等外部环境的交互不会表露隐讳信息.
Ohrimenko等东谈主[111]基于SGX提议一种允许多方进行集结学习的隐讳保护决策， 其基本架构如图5所示， 多个数据领有者各私用不同的密钥加密隐讳数据， 然后上传至云霄数据中心并分享密钥， SGX在里面解密且合并数据集， 并执行各方商定的学习算法， 临了输出加密模子. 该文设计了比较赋值、排序等一系列基础糊涂算子， 进一步为SVM、k-means聚类、矩阵认识、神经采集、决策树5种模子提议了糊涂化算法， 这些算法执行过程中的内存援用、磁盘打听和采集传输的法子与隐讳数据无关. 因此即使对手限定了数据中心除SGX外的总计硬件， 不雅察到算法与外部环境的交互内容， 仍然无法推断客户端的输入. 文中作家假定终止办事障碍和侧信谈障碍不会发生， 从而躲藏TEE自身的脆弱性问题.
Fig. 5 Privacy-preserving collaborative learning scheme based on TEE[111]
图 5 基于简直执行环境的隐讳保护配合学习决策[111]
上述决策本体上是愚弄加密本领和简直执行环境， 将数据聚集到办事器并进行磨练， 同期保证全过程的数据隐讳不过泄. 而Lin等东谈主[112]则基于参数团员的磨练方法作念出了翻新， 作家以为当今联邦学习中的隐讳保护决策浩繁存在两个问题: (1)引入加密本相识显贵加多策动和通讯复杂度; (2)引入扰动本相识影响模子精度， 同期妨碍模子剪枝等本领的应用. 对此提议一种基于SGX的隐讳保护框架ESMFL， 起初时办事器启动化一个受信任的执行空间， 每个客户端向办事器发送良友解说肯求(remote attestation request)， 当办事器解说了土产货的软硬件环境后， 两者协商对称密钥. 每个客户端愚弄土产货数据集磨练模子得到参数更新， 加密后发送至办事器， 在简直空间内解密并进行团员， 磨练过程中客户端的参数更新仅自身和劝诫证的SGX飞地可见， 灵验辞让了对手窃取隐讳. 同期为提高磨练效能和减少通讯支出， 作家针对土产货磨练过程提议了一种基于ADMM优化算法的剪枝本领， 实验标明在MNIST和CIFAR-10数据集上， ESMFL比较FedAvg通讯支出分别减少了34.85%和15.68%.
由于TEE空间受限， 应用于执行更容易受隐讳障碍的策动环节， 以深度神经采集为例， Mo等东谈主[113]提议一种隐讳走漏的量化方法， 分析采集每一层包含些许隐讳信息， 其中隐讳信息是指某样本麇集是否属于磨练集. 该文标明当先几层采集不时只记着了样本的总体特征， 而临了几层记着了特定图像的环节特征， 另外， 临了几个卷积层的神经元能表露更多对于磨练数据的信息， 因此作家使用TEE保护这些层的策动， 从而屈膝白盒成员推理障碍.
4.5 安全预测机制安全预测机制是指愚弄加密和简直硬件等本领掩饰推理过程顶用户输入数据， 从而保护用户隐讳的方法. 当磨练终结得到可用模子后， 一个重要应用场景是将模子部署至云霄， 由办事提供商向用户提供预测办事(prediction-as-a-service， PaaS). 该场景下， 既要保护推理过程的策动正确性， 又要驻守用户数据被办事提供商窃取.
4.5.1 基于MPC的安全预测方法具备隐讳保护的PaaS可当然地看作一个安全两方策动的过程， 如图6. 办事商和用户分别提供模子和待预测数据行为输入， 用户得到预测标签行为输出.
Fig. 6 Private prediction based on 2PC
图 6 基于两方策动的安全预测
由于预测的底层算子麇集不时是磨练算子麇集的一个子集， 许多接洽在设计基于MPC的安全磨练公约时， 也终清亮安全预测过程. 如前文中的SecureML[88]支柱线性顾忌、logistic顾忌和神经采集的安全预测; QUOTIENT[94]支柱深度神经采集的安全预测; Barni等东谈主[114]基于HE、OT和GC终清亮线性分支表率(linear branching program， LBP)的安全策动. Chaudhari等提议了一种高效3PC框架ASTRA[115]， 允许办事商对用户提供预测办事时， 将推理策动外包给3个非共谋办事器， 并可同期屈膝半淳厚和坏心对手. 该决策沿用线下-线上的两阶段MPC方法， 且线上阶段具有极高的效能， 在半淳厚和坏心对手假定下， 每个乘窍门分别只需传输2个和4个元素， 具有比ABY3更高的吞吐量.
4.5.2 基于HE的安全预测方法同态加密提供密文策动的性情自然切合安全预测机制的需求. 用户加密待预测数据并上传， 办事商对密数据进走运算并复返加密终结， 用户对终结进行解密从而获取预测标签， 如图7所示.
Fig. 7 Private prediction based on HE
图 7 基于同态加密的安全预测
Bost等东谈主[116]为超平面决策、朴素贝叶斯和决策树3种分类算法设计了安全策动公约， 并可通过AdaBoost勾搭这3种分类器， 从而提高预测恶果. Dowlin等东谈主[93]基于leveled HE决策YASHE[117]提议了一种神经采集的密文预测系统CryptoNets， 在MNIST数据集上达到99%的准确率. Sanyal等东谈主[118]基于FHE提议了一种加快密文预测的方法TAPAS， 鉴戒神经采集二值化和稀薄化的念念想， 同期并行化密文策动， 从而提高推理速率. 访佛的， Bourse等东谈主[119]基于FHE提议了一种神经采集密文策动框架FHE-DiNN， 其策动复杂度与采集深度成线性关系. 该文相同使用了二值神经采集(binarized neural networks)， 并愚弄Chillotti等东谈主[120]提议的FHE构造方法， 在bootstrapping阶段扩大讯息空间， 并使用sign函数激活神经元. 比较于CryptoNets， 该方法由于将采集闹翻化， 在MNIST数据集上的准确率缩短了2.6%， 但大幅陶冶了数据预测效能.
4.5.3 勾搭MPC和HE的安全预测方法为充分提高公约效能， 学者们不时将GC、SS、OT、HE等本领勾搭起来. 前文中的MiniONN[90]和Gazelle[97]都终清亮神经采集的安全预测， 对比CryptoNets， MiniONN的通讯延迟降至1/230， 数据传输量降至1/8; Gazelle的通讯延迟降至1/10000， 数据传输量降至1/7440. Wu等东谈主[121]基于HE和OT终清亮决策树和当场丛林的安全策动， 可屈膝半淳厚和坏心对手. 该文基于GC提议一种决策树的专用策动公约， 对客户端掩饰决策树结构， 策动表率从办事端给与决策树的一个“形貌” $ \tau $ ， 从客户端给与一个特征向量 $ x $ ， 输出 $ \tau (x) $ . 该方法比通用2PC公约高效. 况且， 由于针对决策树策动作念了专项优化， 该方法也比措置一般化LBP问题的方法[116]更高效. Chen等东谈主[122]终清亮一个屈膝半淳厚对手的两方k隔邻搜索公约SANNS， 愚弄AHE策动数据点间距离， 愚弄DORAM[123]安全地取回数据点， 愚弄GC终了top-k聘请算法， 该公约能在包含千万条款的数据集上高效运行.
4.5.4 基于TEE的安全预测方法具备简直执行环境的云霄办事器向用户提供良友证色泽， 可提供受信任的安全预测办事. Hunt等东谈主[124]基于SGX设计了一套MLaaS系统Chiron， 允许用户向办事商提供数据进行模子磨练， 磨练过程中， 用户不走漏磨练数据， 办事商不走漏磨练算法和模子结构. 同期， 为用户提供了模子的黑盒打听权限， 可保证推理过程顶用户隐讳不表露. Acs等东谈主[125]提议了一种安全预测方法， 将机器学习模子部署到客户端， 而非办事端， 从而幸免了用户频繁查询产生的采集通讯， 同期愚弄SGX保证末端用户不行审查部署模子的具体细节.
Grover等东谈主[126]为深度学习设计了一套实用的安全预测系统Privado， 与上述责任不同， 该文假定模子由一个模子总计者提供， 如图8所示. 模子总计者将模子对应的二进制代码发送至支柱SGX的云办事器， 两边进行良友解说并创建安全信谈， 模子总计者将加密的权重发送至安全飞地. 然后， 用户相同和云办事器间进行良友解说和信谈创建， 用户将加密后的输入发送至办事器进行推理策动， 随后收到加密输出. Privado在保证用户输入隐讳的同期也保证了模子权重不被表露.
Fig. 8 Private prediction based on TEE[126]
图 8 基于简直执行环境的安全预测[126]
4.6 模子泛化机制
学习模子易受隐讳障碍的压根原因是泛化性不彊， 磨练过程是信息从磨练数据向模子滚动的过程， 因此模子在某种进程上“记着”了原数据中的相干信息， 终点当过拟合时， 其面对磨练数据和非磨练数据发达出明白差异[6-8]. 对此， 从模子自身开端， 驻守过拟合能灵验屈膝推理障碍， 常见的方法有以下5种.
(1) L1&L2正则化[6]: 在亏蚀函数加上处分项， L1正则化添加权重的十足值之和， L2正则化添加权重的平方和， 其中正则化参数 $ \lambda $ 是超参数.
$ {L_1}\left( {x， y} \right) \triangleq \sum\limits_{i = 1}^n {{{\left( {{y_i} - {h_w}\left( {{x_i}} \right)} \right)}^2} + \lambda \sum {\left| w \right|} } $ (14) $ {L_2}\left( {x， y} \right) \triangleq \sum\limits_{i = 1}^n {{{\left( {{y_i} - {h_w}\left( {{x_i}} \right)} \right)}^2} + \lambda \sum {{w^2}} } $ (15)然后针对新的亏蚀函数进行参数优化.
(2) dropout[127]: 在神经采集的每轮模子迭代中， 当场丢弃某些神经元过火连气儿边， 其中每个节点的移除概率 $ p $ 是超参数. 由于每轮的模子都包含不同的神经元组合， dropout可看作一种模子集成方法.
(3) 早停(early stopping)[128]: 将部分磨练集行为考据集， 在磨练的同期通过考据集不雅察模子发达， 当模子发达存下落趋势时立即住手磨练.
(4) 数据扩增(data augmentation)[129]: 通过旋转、平移、放缩、添加噪声等方法加多磨练样本， 更大的数据集范围不时意味着具备更强泛化智力的模子.
(5) 模子堆叠(model stacking)[7]: 将多个不同类型的学习器分层堆叠， 且分别在互不相交的数据集上进行磨练. 由于各学习器见过的数据不同， 最终模子在保证预测准确率的同期， 有更低的过拟合倾向.
模子泛化机制在黑盒场景下， 面对半淳厚对手时具有较好的发达. 可是迎面对坏心对手， 或对手具有白盒障碍权限时， 若分歧模子自身或交互中的信息进行保护， 也曾容易发生隐讳表露.
4.7 总 结笔据隐讳性、高效性、可蔓延性、适用场景等方面， 对本节隐讳决策的横向对比总结如表7所示.
Table 7 A summary of privacy-preserving schemes
表 7 隐讳保护决策总结
(1) 安全团员机制允许客户端在土产货进行磨练， 终清亮数据并行， 将算力和存储空间的需求分担到了各策动节点， 在深度学习等任务中极为高效， 且具有可蔓延性高、容忍节点掉线等优点. 可是， 每轮磨练中客户端与办事器间的交互更易引起隐讳表露， 因此对中间变量的保护提议了更高的要求. 另外， 要求客户端自身具有一定的策动和存储智力. 此类决策得当包含大范围节点的跨开采横向联邦学习场景.
(2) 安全多方机制通过加密妙技掩饰了策动的中间变量， 只走漏最终输出， 具有极强的表面安全性. 外包策动架构的决策由于客户端无需参与磨练过程， 因此相同可容忍用户掉线， 且具备高可蔓延性. 此类决策中， 玄妙分享的数据可通过MPC公约执行随心策动， 适用于随心场景. 可是由于策动压力一皆聚集于办事器集群， 当磨练数据总体范围很大时， 因未能充分愚弄客户端的策动智力以及密码公约自身的复杂性， 磨练效能会显贵缩短. 而去中心化架构的决策中， 总计参与节点亦然策动节点， 策动和通讯包袱较重， 对节点要求很高， 得当参与节点为大型机构的跨筒仓联邦学习场景.
(3) 同态加密机制应用于两方的纵向和迁徙学习场景， 加密参与方之间总计通讯内容， 具有很强的隐讳性. 由于参与方的限制以及同态加密本领自身的策动支出， 得当应用于跨筒仓联邦学习， 可蔓延性不彊.
(4) 简直硬件机制愚弄TEE保证了在不简直办事器良策动的隐讳性， 相较于密码学决策效能较高， 由于TEE自身空间受限， 当今此类决策不支柱多方参与且数据集范围较大的场景， 可蔓延性较弱. 且TEE自身易受侧信谈障碍， 不具备密码学公约的表面安全性.
(5) 安全预测机制可看作一个隐讳保护的两方策动场景， 第3节中的多数本领都不错应用于此， 其特质主要随应用的本领而产生差异. 此类决策适用于任何场景， 如跨开采联邦学习中输出模子部署到云霄向用户提供办事， 或跨筒仓联邦学习中一个机构向其他机构提供预测办事.
(6) 模子泛化机制通过对模子自身或磨练方法的革新增强其隐讳性， 比较于上述机制， 总体复杂度较低， 效能高， 在现实应用中不时能取得较好的恶果， 且泛用性强， 与其他隐讳保护本领相兼容.
5 将来挑战及瞻望当今联邦学风气处于接洽起步阶段， 不同于传统机器学习中的隐讳问题， 新的障碍样式和场景需求对隐讳保护提议了更严苛的挑战. 本文勾搭现存责任中的问题， 指出联邦学习中隐讳保护面对的挑战， 并提议将来值得接洽的标的.
5.1 平衡隐讳保护、模子精度、算法效能的矛盾保护用户隐讳是联邦学习的中枢， 可是跟着隐讳保护进程的增强， 会不可幸免地提高学习算法的复杂性， 并引入迥殊的策动和通讯支出， 从而缩短模子精度和算法效能. 因此， 若何加强隐讳性、可用性和高效性， 同期平衡好三者间的关系， 成为联邦学习隐讳保护的一大挑战. 将来可从如下几个方面开展责任.
(1) 从隐讳保护本领开端， 措置其里面短板， 并进行针对性优化. 以加密本领为例， 其瓶颈在于策动和通讯支出过大影响可用性， 如MPC中OT和SS本领通讯复杂度较高， FHE本领策动复杂度极高， 这些都影响了隐讳保护决策的合座效能. 对此不错张开两类接洽: 一方面是笔据具体的机器学习任务进行本领优化， 如QUOTIENT[94]愚弄文件[130]中基于整数的磨练和推理方法设计对应的2PC公约， 从而无需对磨练数据进行截断， 同期提高算法效能. 另一方面是对器用自身的优化， 如在MPC中设计混杂电路从而提高综算策动效能[131]. 事实上， 当今的MPC公约未在确切的大范围数据集上运行， 举例， WRK[57]是当今基于欺侮电路最高效的公约之一， 可是当电路范围增大时， 该公约的内存耗费会显贵陶冶[132]. 因此密码学器用要确切面向大数据应用， 需要优化和平衡自身的时空复杂度.
(2) 从系统设计开端， 勾搭多种本领， 弥补本领短板. 隐讳保护本领中， 加密本领不错灵验保护算法的中间变量， 但不行掩盖数据自身的统计特征; 差分隐讳不错屈膝对手对特定样本的识别， 但行为一种有损运算， 会形成精度亏蚀; TEE在保证代码执行安全的同期， 具备较高的效能， 可是自身易受各类侧信谈障碍. 因此， 若何笔据给定场景和具体任务， 有针对性地选用并勾搭这些本领， 形成一个完备且实用的隐讳保护联邦学习系统， 值得进一步接洽.
(3) 从模子开端， 从本体上加强模子的隐讳保护智力. 在关注磨练和推理过程中数据和通讯的隐讳保护时， 若何提高模子自身的泛化智力， 亦然一个重要的接洽点. 愚弄正则化本领驻守过拟合， 不错灵验减小模子在成员和非成员数据集上发达的差异性， 这一类方法不错兼容第3节中随心一种隐讳保护本领， 因此值得开展常常接洽.
(4) 从机器学习表面开端， 提高算法效能. 联邦学习对于采集带宽、策动参与方的内存和算力等都提议了较高的要求， 尤其是面对深度神经采集等复杂模子. 当今有一些责任使用模子压缩本领[133-135]， 在保证模子精度的同期， 灵验减少磨练和推理过程的策动支出. 若何将这些本领与隐讳保护决策相勾搭， 提联邦学习系统的合座性能， 亦然一个值得接洽的标的.
(5) 从应用场景开端， 针对现实需求选取合适的安全假定及对应隐讳保护决策. 当今大多隐讳保护决策只可屈膝半淳厚对手， 而抵坏心对手的决策不时需要包袱迥殊的策动和通讯代价. 设计系统前须明确应用场景和需求， 合理缩短安全假定， 从而减小决策复杂度.
5.2 成就隐讳表露和隐讳保护进程的度量圭臬联邦学习的隐讳障碍和隐讳保护方法相互扞拒、相互促进， 成螺旋上涨的发展趋势， 可是仍未成就起斡旋的隐讳度量圭臬.
从合座来看， 穷乏春联邦学习系统隐讳保护的评估圭臬， 接洽东谈主员无法准确评判设计决策的恶果， 用户也无法获知自身在系统内的受保护进程. 当今已有学者张开隐讳量化问题的接洽[136]， 尝试系统化地策划用户在系统中享有的隐讳保护进程， 以及不同本领提供的保护量. 解任此类责任的念念路， 针春联邦学习系统构建斡旋完善的隐讳保护度量圭臬， 不仅成心于完善系统的评价想法， 也成心于隐讳障碍和隐讳保护决策的迭代接洽.
从局部来看， 穷乏系统内各环节隐讳表露风险的评估体系， 举例， 安全团员机制需要办事器团员客户端的上传参数， 添加输入欺侮等方法诚然能掩饰用户的上传数据， 但办事器仍能不雅察到每轮的团员终结， 并据此发掘用户上传参数的统计特征， 甚而发起白盒推断障碍. 若何评估走漏此类中间参数带来的隐患， 需要进一步接洽. 另外， 接洽东谈主员无法量化引入特定本领对隐讳保护的增强进程， 成就完善的隐讳度量体系有助于率领隐讳保护本领的聘请和局部优化.
5.3 接洽去中心化架构的联邦学习隐讳保护决策当今的联邦学习算法大多依赖简直或半淳厚的第三方， 举例， 安全团员机制需要中央办事器进行参数团员; 基于外包策动架构的安全多方机制需要多个办事器运行安全多方策动公约; 同态加密机制需要简直第三方协助加密磨练; 简直硬件机制需要支柱TEE的办事器执行简直策动.
可是这种架构在现实应用中可能出现各式问题: (1)不存在顺快慰全假定的简直第三方， 如安全团员机制中办事器被对手侵入， 外包架构的安全多方机制中办事器协谋等; (2)第三方节点故障， 如安全团员机制中办事器失效， 不正确的全局模子进一步损坏各客户端的土产货模子. 因此， 如安在参与方互不信任， 且无第三方协助的情况下完成联邦学习， 是将来接洽中的一个挑战.
当今有一些去中心化架构的隐讳保护决策已在第4.2.2节中进行盘问， 可是， 其中大都只面向小范围参与节点. 文件[81]和文件[103]表面上允许大范围节点参与学习， 但在现实应用中都面对可蔓延性问题， 前者需要安全多方策动和零学问解说， 策动复杂度和通讯复杂度高， 当参与方增多时， 效能明白缩短; 后者是串行的法子学习过程， 无法愚弄并行化陶冶算法效能， 也无法很平正理大范围节点的场景. 因此， 沿着这些责任进一步增强决策可蔓延性， 缩短决策复杂度， 是一个可行的接洽标的. 另一种念念路是引入区块链终了学习过程的去中心化[137]， 愚弄区块链的泰斗性和防更正性去除对简直第三方的需求.
5.4 接洽面向转移角落开采的联邦学习隐讳保护决策各类转移角落开采存储着海量数据， 将这些数据愚弄起来挖掘有价值的信息， 是一个很有风趣风趣的课题， 可是这些开采大多面对在线时候不褂讪、策动和存储智力受限、通讯景况欠安等问题. 如安在这些限制下完成联邦学习， 同期提供隐讳保护是个不小的困难. 事实上， 当今学者已对此开展了一些接洽， 可是并不及以全面的措置这些问题. 举例， 文件[26]设计了容忍用户掉线的隐讳保护决策， 只需保证中央办事器的褂讪性， 可是仍需要客户端存储无缺模子并执行优化算法， 且参与节点间需进行多轮通讯， 这对参与节点设定了门槛， 部分不讲理条件的末端无法参与到联邦学习中.
当今， 基于外包策动架构的安全多方机制和简直硬件机制有但愿措置上述问题， 角落开采完成隐讳数据分享后， 无需承担策动任务， 极大减小了包袱. 可是这两种机制都需要保证策动办事器的淳厚性和可靠性， 一朝策动办事器沉湎或故障， 会导致数据失贼或模子缺陷. 相较而言， 安全团员机制和基于去中心化架构的安全多方机制中， 末端确切享稀有据自治权， 不将原始数据以任何样式送出土产货， 但末端仍需包袱策动任务， 因此需进一步接洽减小策动和通讯复杂度的方法.
总的来说， 在开采智力受限的前提下， 隐讳保护本领为联邦学习系统引入了迥殊的策动和通讯支出， 进一步加重了节点包袱， 因此， 设计实用化的面向转移角落开采的联邦学习隐讳保护决策， 是将来的一个挑战.
5.5 加强纵向联邦学习和迁徙学习的隐讳问题接洽当今隐讳障碍和隐讳保护决策大都针对横向联邦学习， 而纵向联邦学习和联邦迁徙学习的相干文件较少. 举例， 安全团员机制便是横向联邦学习的隐讳保护决策， 该场景下总计用户的数据特征都是相易的， 具有一定对称性. 而在纵向联邦学习中， 用户数据样式分歧称， 可能唯唯一方领稀有据标签， 当今并不显现该用户在隐讳障碍中是否具有更强的障碍智力， 或是在隐讳保护中是否应受到更强的保护， 迁徙学习场景更加重了这种分歧称性. 诸如斯类的问题还有许多， 故将来需要加强这两种场景下隐讳障碍和隐讳保护决策的接洽.
5.6 加强图像数据的隐讳保护与数值型的数据集不同， 联邦学习中图像类数据更容易受到隐讳障碍， 由第2.2.1节可知， 对手试图获取类代表时， 可愚弄GAN生成与原数据具有相似散布的数据， 当想法数据是用户照一忽儿， 对手可生成极其相似的图片， 从而识别想法东谈主物， 而对于数值型数据， 复现相似散布的类代表无法达到相易的障碍恶果. 因此一些传统的隐讳保护本领不行告成用于保护图像数据的隐讳， 举例， 由于对手的想法不是识别和恢答复始数据， 差分隐讳等本领无法屈膝此类障碍. 接洽新的方法和本领来保护图像数据的隐讳， 是很有风趣风趣的标的.
5.7 措置参与方的激励问题和成就公正性准则数据是有价值的， 隐讳保护机制保证了参与方孝敬数据过程的奥秘性， 却莫得提供相应激励， 终点是在跨开采联邦学习场景中， 参与方不行因孝敬数据赢得告成的求教， 从而丧失参与的能源. 举例Google等公司但愿收罗用户手机的文本纪寄托于磨练词预测模子， 从长久来看有助于总计用户赢得更好的输入体验， 而由于穷乏告成的激励机制， 且参与学习过程自身存在策动、通讯和存储支出， 即使数据隐讳得以保证， 许多用户仍会终止参与联邦学习. 进一步的， 参与节点间的公正性准则有待成就， 在集结学习过程中， 需要准确策划每个参与方的孝敬， 如土产货数据的数量和质料， 以及对全局模子精度的孝敬度， 并笔据参与方孝敬赐与等比例的求教， 这也有助于促进参与方赓续提供高质料的数据. 因此， 在保护用户隐讳的前提下， 成就行之灵验的激励机制和公正性准则， 是保证用户积极参与联邦学习的环节.
6 总 结联邦学习的出现存效措置了数据孤岛的问题， 充分挖掘了角落开采、转移开采中存储数据的价值， 可是对手可通过隐讳障碍获取磨练数据的相干信息， 严重胁迫了正常的磨练和推理过程， 危害参与方的隐讳权利， 为联邦学习的系统设计及相干圭臬的制定带来了巨大挑战.
本文深远分析了联邦学习的界说、特质和分类， 形貌了联邦学习系统可能面对隐讳障碍的对手模子和障碍类型， 总结并分析了隐讳障碍和隐讳保护的最新接洽偷偷撸， 春联邦学习中的隐讳保护方法进行归纳和抽象， 并指出了现存决策中存在的问题， 探讨了将来的挑战和值得接洽的标的. 总之， 在平衡好隐讳保护、模子精度和算法效能的前提下， 若何笔据特定应用场景设计有针对性的隐讳保护决策， 最小化用户隐讳表露风险， 是一个持久的挑战， 需要赓续跟进与接洽.