自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(118)
  • 资源 (12)
  • 收藏
  • 关注

原创 【论文】利用移动性的比例公平蜂窝调度测量和算法

我们开发了利用移动性的预测有限视界PF调度框架。我们提供了来自3G网络的广泛信道测量结果,并表征了由移动性引起的信道状态趋势。我们发现用户的信道状态具有高度可重复性,并利用这一点开发了数据速率预测机制。然后,我们提出了一些利用预测机制的信道分配估计算法。我们的基于跟踪的模拟考虑了由预测和信道分配估计算法组合而成的框架实例。它们表明该框架可以将吞吐量提高15%到55%,与传统的PF调度器相比,同时提高了公平性。

2023-11-12 11:54:04 484

原创 神经网络画图?PPT就够了

在写项目文档或者论文,甚至是开组会的时候都需要画出模型的图片,但一些高端的画图软件或网站不太会用,而且我们画的模型又没有很复杂,大可不必花太多时间。但问题是一些免费的画图工具效果不佳,要么图片不好看,要么就得从头到尾一点点设计,好一点像亿图这样的软件又得花钱,花了钱但又用不了几次。那还不如用PPT画,这份PPT共160页,所有的素材均可编辑,效果如下。照着模板改又快又好。

2023-10-20 13:17:42 1896 2

转载 中央服务器优化算法

2023-08-25 21:40:53 201

原创 FATE框架中pipline基础教程

FATE主要将表格数据作为其标准数据格式。然而,通过使用NN模块的数据集功能,可以在神经网络中使用非表格数据,如图像、文本、混合数据或关系数据。NN模块中的数据集模块允许自定义数据集,以便在更复杂的数据场景中使用。介绍Homo NN模块中数据集功能的使用,并提供如何自定义数据集的指导。我们将以MNIST手写识别任务为例来说明这些概念。准备 MNIST Data这是MNIST数据集的简化版,共有十个类别,根据标签分为0-9个文件夹,对数据集进行了采样以减少样本数量。!数据集。

2023-08-23 22:17:18 469

原创 第十八章:联邦学习与其他前沿技术

2023-08-20 10:17:39 62

原创 第十七章:联邦学习加速方法

2023-08-20 10:17:06 186 1

原创 第十六章:联邦学习系统的通信机制

2023-08-20 10:16:18 92

原创 第十五章:联邦学习攻防实战

联邦学习的后门攻击案例联邦学习的模型压缩案例联邦学习的差分隐私案例联邦学习的同态加密案例联邦学习的参数稀疏化案例

2023-08-20 10:15:40 126

原创 第十四章:构建公平的大数据交易市场

2023-08-20 10:11:16 23

原创 第十三章:联邦学习智能用工案例

2023-08-20 10:10:36 28

原创 第十二章:联邦学习医疗健康应用案例

2023-08-20 10:07:53 189

原创 第十一章:联邦学习在智能物联网中的应用案例

2023-08-20 10:05:31 135

原创 第十章:联邦学习视觉案例

代码传送门

2023-08-20 09:53:29 88

原创 第九章:联邦个性化推荐案例

2023-08-20 09:52:38 35

原创 第八章:联邦学习在金融保险领域的应用案例

联邦学习作为一种保障数据安全的建模方法,在保险、金融等行业中的应用前景十分广泛,因为这类行业昔谝受到更为严格的监管和隐私保护法律法规的约束,跨部门或者跨枧构之间的数据,无法被直接共卓进行机器学习模型训练。因此,信助联邦学习来训练一个联邦模型不失为一种有效的解决方案。以智慧零售业务为例,智慧零售业务涉及的数据特征。通常可以分为用户资产属性、用户个人偏好,以及产品特征三大部分。这三种数据特征很可能分散在三个不同的部门或企业中。

2023-08-16 10:26:25 429 1

原创 第七章:联邦学习实战资源

AngelFL的系统架构如图7-5所示,从图中可以看到,AngelFL联邦学习平台构建在Angel之上,其核心组件是Angel-PS参数服务器,整个系统是一个"去中心化“的联邦学习框架,无须依赖可信第三方,以Angel的高维稀疏训练平台作为底层,抽象出"算法协议"层,供实现各种常见机器学习算法。TensorFlow-Federated〔下面简称为TFF)是由Google开源的、基于TensorFlow实现的一款联邦学习平台架构,当前主要针对横向联邦学习的场景,特别是针对Android移动终端。

2023-08-16 10:03:02 278

原创 第六章:用FATE从零实现纵向线性回归

本章利用FATE从零开始实现一个简单的纵向线性回归模型,本章以实验为主。与第5章一样,本章的实验运行在FATE单机版环境上,因此要求读者预先安装FATE单机版。FATE单机版的安装步骤可参考4.2节或FATE的GitHub官方文档。

2023-08-16 09:51:05 72

原创 第五章:用FATE从零实现横向逻辑回归

本节我们使用由威斯康星州临床科学中心开源的乳腺癌肿瘤数据集(链接5-2)来测试横向联邦模型,数据集已经内置在sklearn库中,可以直接加载查看。执行代码后显示前5行的数据如图5-1所示。可以看到,数据一共由569个样本构成,每一个样本数据一共有31列,其中第1~30列表示30维的特征数据,第31列表示标签数据(用1表示良性肿瘤,0表示恶性肿瘤)。

2023-08-16 09:48:36 117

原创 第四章:微众银行FATE平台

2019年2月,微众银行AI团队对外发布自主研发的开源项目FATE,它是一款基于Python开发的联邦学习平台,也是全球首个工业级的联邦学习开源框架。自发布以来,FATE经过多次重大更新,已经形成了一套完整的生态系统。当前FATE包括以下主要功能:提供了一种基于数据隐私保护的分布式安全计算框架(数据隐私保护也是FATE在设计过程中的首要考量目标);为机器学习、深度学习、迁移学习等常用算法提供了高性能的安全计算支持;

2023-08-16 09:47:22 586

原创 第三章:用Python从零实现横向联邦图像分类

但应该注意的是,PyTorch在设计时为了节省内存,没有保留中间节点的梯度值,因此,如果用户需要使用中间节点的梯度,或者自定义反向传播算法(比如Guided Backpropagation,GBP),就需要用到PyTorch的Hooks机制,包括register_hook和register_backward_hook。此外,每一轮参与联邦训练的客户端数目(k值)不同,其性能也会有一定的差别,k值越大,每一轮参与训练的客户端数目越多,性能越好,但每一轮的完成时间也会相对较长。

2023-08-16 09:45:43 193 1

原创 第二章:联邦学习的安全机制

KeyGen表示密钥生成函数。对于非对称同态加密,一个密钥生成元g被输入KeyGen,并输出一个密钥对{pk,sk}=KeyGen(g),),其中pk表示用于对明文进行加密的公钥(public key),sk表示用于对密文进行解密的私钥(secret key)。对于对称同态加密,只生成一个密钥sk=KeyGen(g),用于加密和解密操作。Enc表示加密函数。对于非对称同态加密,一个加密函数以公钥pk和明文m作为输入,并产生一个密文cEncpkmcEncpk​m作为输出。

2023-08-16 09:44:37 345

原创 第一章:联邦学习概述

1.1 数据资产的重要性1.2 背景1.3 定义1.4 分类联邦学习是:利用分散的数据集,通过隐私保护融合数据信息,协调构建全局模型的一种分布式训练方式。在模型训练过程中,模型的相关信息(如模型参数、模型结构、参数梯度等)能够在各参与方之间交换(交换方式可以是明文、数据加密、添加噪声等),但本地训练数据不会离开本地。有两个(或以上)的联邦学习参与方协作构建一个共享的机器学习模型。每一个参与方都拥有若干各自希望能够用来训练模型的训练数据。

2023-08-16 09:42:04 109

原创 supervisor因为依赖安装失败的解决方法

大部分博客都是单独安装supervisor ,给出的方案都是用python3,用python3安装自然可行,可是执行时调用的是python2。然后又出现python2没有pip和setuptools的报错,安装却进一步发现无论如何都安装不上pip和setuptools。这里给出一种解决方法

2023-08-13 14:00:55 362

原创 Ubuntu安装Docker(完整详细)

在Ubantu系统上安装docker的教程,详细介绍了安装流程,记录了遇到的一些问题,以及解决方法

2023-08-12 22:43:51 2980 1

原创 模拟行走机器人-python

leetcode第874题

2023-07-19 10:48:56 700

原创 包含每个查询的最小区间-python

leetcode第1851题

2023-07-18 16:04:56 119

原创 【论文】attention is all you need

在这篇文章中说明了注意力机制如何设计的,以及提到了transformer模型,以及模型效果。

2023-06-11 15:49:26 946

原创 【论文】通过基准分析优化联邦人员重新识别的性能

这篇文章主要介绍了一种名为"FedReID"的新型联邦学习框架,用于解决人员再识别(Person ReID)中的隐私保护和数据分布不均、数据不符合独立同分布等问题。

2023-06-04 15:35:58 617

原创 用Numpy实现简单的神经网络

实现最简单的神经网络。在此次练习中,体会神经网络的一层如何构造,体会反向传播和梯度下降法对网络更新的作用,最后探讨了小批量随机梯度下降的使用。

2023-06-04 11:25:36 1242 2

原创 简单做一下 银川第九届数模A题

2023银川数模A题,简单利用随机搜索做一下

2023-05-17 08:16:00 1813 1

原创 【C语言】程序阅读题

C语言的程序阅读题100道,代码可以直接运行,还有必要的解析

2023-03-24 17:01:35 5236 2

原创 数学建模练习——图与网络

数学建模基础练习——图与网络

2023-02-11 20:20:22 163

原创 数学建模练习——动态规划

数学建模基础练习——动态规划

2023-02-10 20:05:43 151

原创 数学建模练习——非线性规划

数学建模基础练习

2023-02-07 23:08:40 262

原创 数学建模练习——整数规划

数学建模基础练习

2023-02-06 20:39:35 88

原创 数学建模练习——线性规划

数学建模练习第一章——线性规划

2023-01-29 16:47:29 91

原创 120题120分 2023数学二部分【已完结】

120题120分的数二部分

2022-11-20 14:22:13 393

原创 python安装第三方库出错的通用解决方法

简单的介绍几种pip安装失败的解决办法

2022-06-20 17:08:24 2120

原创 浅析原神为什么成功

本文从目前游戏市场入手分析原神诞生的时代背景,通过爬取评论和调查问卷的形式研究用户喜欢原神的原因以及分析影响用户游戏时长的因素,最后对“同类型的二次元发行商和手游大厂能否再做一个原神”这样问题进行分析,最后得出目前国内游戏圈再做一个原神几乎不可能这一结论,但是未来2,3内会出现很多类原神游戏。...

2022-06-15 11:24:52 593

原创 高校学生数学建模竞赛能力测评考试初试练习题库

在捕鱼业的产量模型中,捕捞过度包括哪种? ( B )A. 物理学捕捞过度B. 生态学捕捞过度C. 人为捕捞过度D. 自然捕捞过度人群中分为健康者和病人两类. 时刻 t 这两类人在总人数中所占的比例分别记为s(t)和i(t). 在疾病传播期内所考察地区的总人数为N,总认为人口的出生率与死亡率相同,并且新生婴儿全为易感染的健康者,记平均出生率为n. 每个病人每天有效接触的平均人数是常数l. 当病人与健康者有效接触时,使健康者受感染变为病人,每天被治愈的病人数占病人总数的比例为常数m. 病人被..

2022-05-27 17:44:58 4408 1

神经网络画图,PPT素材

在写项目文档或者论文,甚至是开组会的时候都需要出模型的图片,但一些高端的画图软件或网站不太会用,而且我们画的模型又没有很复杂,大可不比花太多时间。 但问题是一些免费的画图工具效果不佳,要么图片不好看,要么就得从头到尾一点点设计,好一点像亿图这样的软件又得花钱,花了钱但又用不了几次。 那还不如用PPT画,这份PPT共160页,所有的素材均可编辑。照着模板改又快又好。

2023-10-20

联邦学习的参数稀疏化案例

稀疏化策略本质上模型压缩的一种,同样是通过传输少量的参数,一方面减少服务端与客户端之间的网络带宽;另一方面也能够防止全局模型参数泄露。 稀疏化是指,在本地联邦训练的过程中,每一个客户端中保存一份掩码矩阵,且只由0和1构成。当客户端本地训练结束之后,将向服务端上传模型参数与掩码矩阵进行相乘,只有不为0的参数值才会上传。 经过参数稀疏化之后,模型的性能表现为,随着掩码矩阵中0的数量越来越多,稀疏化的模型性能在开始迭代时会有所下降,但随着迭代的进行,模型的性能会逐步恢复到正常状态。

2023-08-18

联邦学习的同态加密案例

同态加密(HE)的概念最初由Rivest等人在1978年提出。同态加密提供了一种对加密数据进行处理的功能, 是一种允许对密文进行计算操作,并生成加密结果的加密技术。在 密文上获得的计算结果被解密后与在明文上的计算结果相匹配,就如同对明文执行了一样的计算操作。 同态加密又可以分为全同态加密、些许同态加密和半同态加密三种形式。这其中,由于受到性能等因素的约束,当前在工业界主要使用半同态加密算法。 此处讨论在联邦学习下,以半同态加密作为安全机制,实现在加密状态下的Logistic Regression训练,[Paillier半同态加密算法](paillier.py)是由Pascal Paillier在1999 年提出,是一种加法半同态加密。

2023-08-18

联邦学习的差分隐私案例

与集中式差分隐私相比,在联邦学习场景下引入差分隐私技术,除了考虑到**数据层面**的隐私安全之外,还需要考虑到**用户层面**(称为user level或者client level)的安全问题。 注意:差分隐私在添加噪音数据后,前面几轮的迭代可能不稳定。读者可以自行设置conf.json中的超参数值:如梯度裁剪参数"c",噪音参数"sigma"等。看看不同的超参数值对结果的影响。 DP-FedAvg的算法,是指将联邦学习中经典的Federated Average算法和差分隐私技术相结合 ,具体来说,它主要包括本地客户端参数裁剪和服务端聚合添加噪音。

2023-08-18

联邦学习的模型压缩案例

研究表明,大部分深度神经网络模型,在模型训练的过程中,都存在着权重参数冗余的问题,即在所有参数中,对模型性能起到重要作用的,往往只有很少的一部分(比如5%)权值。基于这个思想,在深度学习中,我们常常使用剪枝、量化、蒸漏等模型压缩手段来压缩模型,以达到模型性能与模型复杂度之间的平衡。 联邦学习在训练的过程中,影响其训练效率的一大因素就是服务端与客户端之间的模型参数交换。因此,我们可以利用模型压缩的思想,在传输的过程中,只传输部分的参数数据,一方面随着传输数据量的减少,能够有效降低网络传输的带宽消耗;另一方面,可以防止模型参数被窃取,由于只传输了部分参数数据,这样即使攻击者获取了这部分数据,由于没有全局信息,因此,也很难利用模型反演攻击来反推出原始数据,从而有效提升了系统的安全性。

2023-08-18

联邦学习的后门攻击案例

后门攻击是联邦学习中比较常见的一种攻击方式,攻击者意图让模型对具有某种特定特征的数据做出错误的判断,但模型不会对主任务产生影响,本节我们将讨论一种在横向联邦场景下的后门攻击行为。 这里我们介绍两种带有后门的毒化训练数据集: 第一种方式:我们不需要人为手动修改图片数据,图片具有明显的某种特征,如所有的图片都是红色的小车,红色和小车就是其特有的特征。我们期望将所有具有红色特征的小车都识别为小鸟。 第二种方式:在原始图片中,人为添加某种特征信息,如我们在原始图片添加红色的条纹,我们期望模型将带有红色条纹的图片数据都识别为小鸟。 对于正常的客户端,其本地训练过程是一个常规的梯度下降过程。 对于恶意客户端,其本地训练需要保证一方面模型训练后在毒化的数据集和正常的数据集上都能取得好的效果;另一方面,为了防止模型出现太大的偏差,需要保证当前训练的本地模型不会过于偏离全局模型。

2023-08-18

联邦学习计算机视觉案例

使用外部的公开数据集直接使用外部常见的目标检测数据集,如PASCAL VOC、MS COCO来自行运行代码(可能由于数据集的不同,需要自行修改深度学习模型)。 使用flask_socketio来作为服务端和客户端之间进行通信的框架。 分别使用YOLOv3和Faster R-CNN两个模型,在联邦学习场景下,测试对街道数据集进行联合建模的结果比较。 目前联邦视觉系统已经有下面的两种实现方式: - 采用flask_socketio来作为服务端和客户端的通信方式实现。 - 基于PaddleFL的实现,详细的实现过程,可以参考https://github.com/FederatedAI/FedVision。 此处采用第一种方式实现服务器和客户端的通信。

2023-08-18

用FATE从零实现纵向线性回归

利用FATE从零开始构建一个简单的纵向线性回归模型,经过本章的学习,应该能够了解利用FATE进行建模的基本流程。 为了能够有效的模拟纵向联邦的案例,我们首先在本地将Boston Housing数据集切分为纵向联邦的形式,假设当前我们有两方参与纵向联邦训练,我们首先从Boston Housing数据集中抽取前406条作为训练数据,后面100条作为评估测试数据。 用FATE构建纵向联邦学习Pipeline,涉及到四个方面的工作: * 数据转换输入 * 加密样本对齐 * 模型训练 * 模型评估 与横向联邦一样,利用FATE构建纵向联邦同样是通过在dsl和conf文件中进行配置,本文件夹中,已经准备了两个不同的配置。 FATE主要支持的是使用dsl和conf配置文件来构建联邦学习模型,而在之后的最新版本中,FATE也进行了很多方面的改进,特别是最新引入了pipeline的建模方式,更加方便,可以参考(https://github.com/FederatedAI/FATE/tree/master/examples/pipeline)。

2023-08-15

用FATE从零实现横向逻辑回归

介绍使用FATE从零开始构建一个简单的横向逻辑回归模型,经过本章的学习,能够了解利用FATE进行横向建模的基本流程。使用威斯康星州临床科学中心开源的乳腺癌肿瘤数据集来测试横向联邦模型,在本地将乳腺癌数据集切分为特征相同的横向联邦形式,当前的breast数据集有569条样本,我们将前面的469条作为训练样本,后面的100条作为评估测试样本。用FATE构建横向联邦学习Pipeline,涉及到三个方面的工作: 数据转换输入、模型训练、模型评估(可选)。将切分的本地数据集文件转换为FATE的文件格式DTable,使用组件的方式来构建联邦学习,而不需要用户从新开始编码,FATE构建联邦学习Pipeline是通过自定义dsl和conf两个配置文件来实现,最后执行训练命令。

2023-08-14

用Python从零实现横向联邦图像分类

模拟联邦学习实现图像分类。服务端包括定义构造函数、定义模型聚合函数定义模型评估函数。客户端包括定义构造函数、定义模型本地训练函数。当配置文件、服务端类和客户端类都定义完毕,我们将这些信息组合起来。每一轮的迭代,服务端会从当前的客户端集合中随机挑选一部分参与本轮迭代训练,被选中的客户端调用本地训练接口local_train进行本地训练,最后服务端调用模型聚合函数model_aggregate来更新全局模型。

2023-08-12

银川第九届数模A题参考代码

简单做一下银川第九届数学建模比赛A题,差不多是一个tsp问题 第一题利用蚁群算法搜索最优路径 第二题利用PSO做特征选择,用第一问的蚁群算法计算时间花费作为适应值 第三题利用DE做特征选择,用景点数目做适应值,在特征选择上需要用到第一问的蚁群算法计算钱的花费,看是否需要踢掉一些景点

2023-05-10

【PHP】防止网站被cc攻击系统

本源码仅支持php程序,类似百度云加速防CC访问机制,就能拦截一般的CC攻击了。

2022-08-22

数学建模常用的36个模型以及对应优秀论文

数学建模常用的36个模型有: 因子分析 优劣解距离法 元胞自动机 支持向量机 逐步回归 主成分分析 微分方程 线性规划 相关系数 小波分析 蚁群算法 遗传算法 排队论 神经网络 时间序列ARMA 投影寻踪综合评价 图论Dijkstra模型 图论floyd算法 逻辑回归 马尔科夫链 蒙特卡洛模拟 模糊综合评价 模拟退火 拟合模型 方差分析 灰色关联分析 灰色预测 聚类模型 决策树 粒子群算法 博弈论 层次分析法 插值法 典型相关分析 动态规划 多元回归

2021-09-08

数学建模常用模型论文汇总(6)

在(6)部分中包含以下模型: 因子分析 优劣解距离法 元胞自动机 支持向量机 逐步回归 主成分分析

2021-09-08

数学建模常用模型论文汇总(5)

在(5)部分中包含以下模型: 微分方程 线性规划 相关系数 小波分析 蚁群算法 遗传算法

2021-09-08

数学建模常用模型论文汇总(4)

在(4)部分中包含以下模型: 排队论 神经网络 时间序列ARMA 投影寻踪综合评价 图论Dijkstra模型 图论floyd算法

2021-09-08

数学建模常用模型论文汇总(3)

在(3)部分中包含以下模型: 逻辑回归 马尔科夫链 蒙特卡洛模拟 模糊综合评价 模拟退火 拟合模型

2021-09-08

数学建模常用模型论文汇总(2)

在(2)部分中包含以下模型: 方差分析 灰色关联分析 灰色预测 聚类模型 决策树 粒子群算法

2021-09-08

数学建模常用模型论文汇总(1)

在(1)部分中包含以下模型: 博弈论 层次分析法 插值法 典型相关分析 动态规划 多元回归

2021-09-08

经济学通论习题集.pdf

经济学通论,西方经济学习题集(带答案)

2021-04-22

数据结构课后答案.rar

此为数据结构课本的习题答案,包含绪论,线性表,栈和队列,串,递归,数组和广义表,树和二叉树,图,查找,内排序,外排序等12章的答案。

2020-05-18

大学物理实验目录及正文.rar

大学物理实验共7章,第一章 绪论,第二章 物理实验的基本知识,第三章 物理实验中常用的测量方法,第四章 预备物理实验,第五章 基础物理实验,第六章 综合物理实验,第七章 设计与研究性物理实验 。

2020-05-08

数据结构课程全课件(ppt)

程序为数据结构加算法,没有数据,运算将没有意义,在学习算法之前应该先学会如何存储数据,那么数据结构就是必要的。课程涉及到线性表,栈和队列,串,稀疏矩阵,树和二叉树等等以及它们所涉及的基本操作和代码实现。刚学时很痛苦,之后越学越爽。

2020-04-18

智能科学与技术导论课件全集

智能科学与技术的导论,简要介绍人工智能的发展历史,在各方面的应用,以及一些有关Al的基本知识。课程的目标是了解学科的基本内容,包括概念、思想、方法前沿及难题等,拓展知识面,提高学生的思维能力

2020-04-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除