笔记内容来自多本书籍、学术资料、白皮书及ChatGPT等工具,经由自己阅读后整理而成。
相关研究表明,联邦迁移学习不需要主服务器作为各参与方间的协调者,旨在让模型具备举一反三能力,在各参与方样本空间以及特征空间均存在较少交叉信息的情况下,使用迁移学习算法互助地构建模型,可解决标签样本少和数据集不足的问题,例如,某国电商平台与其他国家银行间的数据迁移场景,联邦迁移学习可以很好地解决数据交流问题。联邦迁移学习模式使用某参与方在当前迭代中已训练好的模型参数,迁移到另外一个参与方上,协助其进行新一轮模型训练。联邦迁移学习的主要步骤如下:
(1)参与方根据自身数据集,构建本地模型,获得数据表征,以及一组中间结果,加密后发送给其他参与方;
(2)其他参与方利用接收到的中间结果计算模型的加密梯度和损失值,加入掩码后发给原参与方,解密并更新各自的模型。
不断重复以上的步骤,直至损失函数收敛。在此过程中,相当于每个参与方都利用了其他参与方的当前模型和数据潜在的表征来更新各自的本地模型,买现了迁移学习的联邦模式,即联邦迁移学习。一般而言,联邦迁移学习还可以分为以下几种:
基于样本的联邦迁移学习
各参与方通过有选择地调整用于训练的样本权重来减少不同参与方样本之间分布的差异性,协同地训练得到一个联邦迁移模型。
基于特征的联邦迁移学习
通过最小化不同参与方之间的样本分布差异性或特征差异性来协同学习一个共同的特征空间,并以此特征空间来降低分类类别数或回归误差来实现联邦迁移模型的构建。
基于参数的联邦迁移学习
各参与方利用其他参与方的模型信息或先验关系来初始化或更新本地模型,以此借鉴其他参与方的数据表征和知识。
基于相关性的联邦迁移学习
对不同参与方的知识或特征空间进行相关性映射,并按照相关性顺序来利用其他参与方的知识映射更新本地模型,以此借鉴更多的知识。
总之,相较于传统的迁移学习,联邦迁移学习最大的特点是:基于多参与方的数据表征进行建模,但各参与方的原始数据不允许流向其他参与方,有效保护用户数据的隐私性和安全性。
除此之外,还有基于 Python 实现的视觉横向联邦开源框架 FedVision、基于 TensorFlow 的 TFF 框架、百度公司的 PaddleFL 框架、华控青交的 PrivPy 隐私计算平台、MesaTEE 安全计算平台 Teaclave、Conclave 查询系统、……
上面所述的横向联邦学习,典型案例是手机的输入法预测技术和视觉目标检测技术。纵向联邦学习中,典型案例则是银行和电商平台联合训练的推荐系统。企业之间多以纵向联邦学习的方式为主。
总的来说,联邦学习未来的发展可着眼于以下几个方面:
面向资源受限场景的应用研究
联邦学习的本质是一个分布式机器学习框架,网络通信是分布式节点间共同训练机器学习模型的重要基础,然而以边缘计算为代表的资源受限生产环境普遍存在。网络连接状态直接影响通信效率,需要设计灵活的本地模型更新方式、部分联邦学习参与方的选择机制、负载容错机制、模型压缩方法、模型协同训练方式,以解决存储、计算、网络连接、续航能力等资源受限带来的应用问题。
面向云边端一体化的联邦学习
由于 5G 通信、边缘计算等技术的发展,云边端一体化架构已成为信息技术服务的趋势;同时,泛在连接的终端促使大量异构终端接入联邦学习体系;如何高效融合资源,改进联邦学习的架构、机制、模式是重要的研究方向。
联邦学习的数据建模
数据联邦学习面临大量跨设备、非均匀、非独立同分布数据,需要在保证准确性和公平性前提下解决异构数据建模的非凸优化问题;同时,深入研究元学习和多任务学习等方法有助于数据的统计异质性建模。此外,基于异构数据的联邦学习要提升共享模型训练过程的收敛性。
严格的隐私安全
造成数据孤岛的一个重要原因就是数据隐私安全限制,而联邦学习可为各参与方提供数据隐私保护,将私有数据保留在本地。然而这需要在更精细级别上定义隐私,例如,本地或全局级别的隐私,以保证不同场景下联邦学习模型的准确性。此外,可以通过区块链的共识机制解决联邦学习参与方间的信任问题,建立最小信任模型。
合理的激励机制
在企业之间的联邦学习合作落地进程中,设计一个合理的、被广泛认可的纵向联邦学习激励机制,让参与到联邦建模的设备能获得额外的汇报,是迫切的需求,有着重要的商业意义。
与区块链联合
联邦学习旨在创造价值,而区块链旨在表示和转移价值。有以下两种基本结合方式,即攻击溯源和收益分配。第一种结合是利用区块链的记录不可被篡改的特性,对联邦学习合作方可能面临的恶意攻击进行追溯和惩罚。例如,多个参与方进行联邦学习的同时,部署区块链用于记录联邦学习的数据指纹(包括建模样本、推理样本、交互信息),而对应的原始数据存储于参与方本地。当发现有样本遭受恶意攻击时,由参与方或者第三方组成调查组,依据区块链记录的指纹对原始数据进行核验。第二种结合是利用区块链的价值表示和转移功能,对联邦学习服务所创造的价值进行记账和收益分配。例如,多个参与方进行联邦学习的同时,部署区块链用于记录服务的接口调用日志指纹、各个参与方的贡献、该服务所产生的收益,并通过智能合约自动将收益分配给各个参与方。
关于联邦学习,除了以上提及的横向联邦学习、纵向联邦学习和联邦迁移学习,还可以扩展延伸以下两个方向:
2023年10月份新开了一个GitHub账号,里面已放了一些密码学,隐私计算电子书资料了,之后会整理一些我做过的、或是我觉得不错的论文复现、代码项目也放上去,欢迎一起交流!Ataraxia-github
文章浏览阅读1.1k次,点赞2次,收藏20次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:SSM + mybatis + Maven + Vue 等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。2.IDE环境:IDEA,Eclipse,Myeclipse都可以。_学科竞赛管理系统开发与应用
文章浏览阅读1.5k次。function dx=shuangzhou(t,x,Tmh,Tmp,Mh,Ihx,Ihy,Ihz,Ihxy,Ihxz,Ihyz,Mp,Ipx,Ipy,...Ipz,Ipxy,Ipxz,Ipyz,g,xh,yh,zh,xp,yp,zp,xhp,yhp,zhp,xch,ych,zch,u,v,w,...p,q,r,theta,varphi,Ch,Cp,Kp)A=p*cos(x(1))*cos(x(2..._错误使用+
文章浏览阅读611次。语法结构 1.捕获异常语法结构: 红框:使用try{}块来抛出异常蓝框:使用try{}块来抛出异常橙框:由于对循环体中的异常进行了捕获处理,所以该行代码可以执行 2.try…catch…finally异常处理结构中,try语句块是必须的, catch和finally语句块至少出现一个。 3.注意:如果try语句块包含的是检查时异常,则在没有..._java子异常与父异常如何补获
文章浏览阅读299次。方法1.GameObject中选择Particle System,即可在场景中创建粒子系统对象方法2.先create empty ,再到Component中选择Effects后,选择Particle System,即为该空物体添加了粒子系统组件。_unity particle system 实例化
文章浏览阅读1k次,点赞2次,收藏3次。基本上Bresenham画线算法的思路如下:// 假设该线段位于第一象限内且斜率大于0小于1,设起点为(x1,y1),终点为(x2,y2).// 根据对称性,可推导至全象限内的线段.1.画起点(x1,y1).2.准备画下个点。x坐标增1,判断如果达到终点,则完成。否则,由图中可知,下个要画的点要么为当前点的右邻接点,要么是当前点的右上邻接点.2.1.如果线段ax+by+c=0与x=x1..._easyx线条粗细
文章浏览阅读7.7k次。酷睿i5-1035G1是一款高效的四核SoC,适用于基于Ice -Lake-U 系列的笔记本电脑和超极本 。它集成了四个Sunnycove处理器内核(由于HyperThreading而支持8个线程),主频为1(基本) – 3.7(单核Turbo)GHz。选锐龙i5-1035G1 还是R7 4800U 哪个好 https://list.jd.com/list.html使用Turbo Boost,2个内核可以达到3.6 GHz,所有4个3.3 GHz。据英特尔称,Sunnycove内核的IPC数量增加了1_r74800u和i51035g1哪个好
文章浏览阅读765次。OpenGL SuperBible 7th 源码编译_superbible7-media github
文章浏览阅读794次,点赞14次,收藏18次。wireshark下载、安装、使用教程
文章浏览阅读288次。MXNet 粗糙的使用指南写于2020年3月24日,最新的CUDA版本为10.2MXNet简介MXNet是一个(跟TF与Torch相比特别小众的)多平台神经网络框架。优点:灵活,多平台,可移植性强。工业界常用框架。缺点:复杂,难以入门,基本没有教材。只能依靠代码来学习代码。框架介绍MXNet现在存在两种界面:symbol与gluon。Symbol的设计思路与T..._iou loss mxnet
文章浏览阅读1.3k次。接上一篇文章ipa包砸壳,接下来讲一下代码混淆。混淆代码,我们需要生成两个文件confuse.sh和func.list。confuse.sh是一个脚本文件,里边定义了混淆的一些算法,以及需要混淆方法的路径。func.list是我们列举的一些需要混淆的方法。当然系统的方法不能混淆,不然一些库文件方法没办法正确加载。1、首先,终端cd到文件目录,并且利用指令touch生成这两个文件touch confuse.shtouch func.list不出意外,文件目录里已经有这两个文件了。_ipa包混淆
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。