- 博客(138)
- 收藏
- 关注
RSS订阅
原创 深度学习模型提升性能的策略
文章目录角度1缺乏可用于训练的数据过拟合欠拟合训练时间长角度2从数据上提升性能从算法上提升性能从算法调优上提升性能从模型融合上提升性能角度1缺乏可用于训练的数据一般来说，数据越多，模型的性能就越好。缺乏数据的问题是，我们的深度学习模型可能无法从数据中学习模式或功能，因此它可能无法在未看到的数据上提供良好的性能。我们可以利用数据增强技术来代替花费数天时间来收集数据。数据增强是在不实际收集...
2020-04-28 14:12:45
12737
2
原创 卷积层 池化层 反卷积 上池化 扩展卷积 门卷积
文章目录卷积层定义特点池化层特点上采样反卷积/转置卷积卷积层定义首先需要了解图像是个什么东西？通道 常用于表示图像的某种组成。一个标准数字相机拍摄的图像会有三通道 - 红、绿和蓝；你可以把它们看作是互相堆叠在一起的二维矩阵（每一个通道代表一个颜色），每个通道的像素值在 0 到 255 的范围内。灰度图像，仅仅只有一个通道。在本篇文章中，我们仅考虑灰度图像，这样我们就只有一个二维的矩阵来表...
2020-04-05 23:13:10
9759
原创 vue 面试总结
生命周期BeforeCreate 数据观测初始化事件还未开始 el 和 data 并未初始化进行初始化事件，进行数据的观测，可以看到在created的时候数据已经和data属性进行绑定，无el选项Created 完成数据观测，属性和方法的运算，初始化事件，el属性还没有显示出来判断对象是否有el选项。如果有的话就继续向下编译，如果没有el选项，则停止编译，也就意味着停止了生命周期，直到在该v...
2020-04-01 16:18:49
10113
7
原创 有趣的Python的方法和包
这里无关机器学习深度学习模式识别等一系列高端的知识，纯粹就是一些KK写py时候碰到的有意思的，有点秀的方法，可以让rookie看了觉得会出BUG????????MENU解包用法单行if-else迭代器传入函数中不用加括号orand解包用法类似这样a,b,c = [‘a’, ‘b’, ‘c’]单行if-elsea = 1b = 3 if a == 1 else 2print('it is one'...
2019-11-01 11:51:01
469
原创 联邦学习 - 基础知识+白皮书+杨强教授讲座总结+同态加密+ 差分隐私
联邦学习概念分类横向联邦学习纵向联邦学习联邦迁移学习优势概念联邦机器学习又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模分类针对不同数据集，联邦学习分为横向联邦学习（horizontal federated learning）、纵向联邦学习（vertical federated l...
2019-10-06 10:51:02
25559
5
原创 Three scenarios for continual learning
Three scenarios for continual learningStandard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning.Three Continual Learning ScenariosThese scenarios
2021-08-23 17:28:21
606
原创 No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID DataExisting Methods for non-IID dataclient drift mitigation通过修改Local 参与者的目标，因而Local模型可以在一定程度上保持与全局模型的一致aggregation scheme通过提升服务器端模型融合方案data sharing通过引入公开数据集或
2021-06-24 12:36:43
770
1
原创 Multi-Center Federated Learning
Multi-Center Federated LearningMotivation现有的联合学习方法通常采用单个全局模型来通过汇总其梯度来捕获所有用户的共享知识，而不管其数据分布之间的差异如何。但是，由于用户行为的多样性，将用户的梯度分配给不同的全局模型（即中心）可以更好地捕获用户之间数据分布的异质性。MethodologyMulti-center Aggregation原始联合学习使用一种中央模型将聚合结果存储在服务器中，这称为单中心聚合。 用户的行为数据通常是多种多样的，这意味着最佳的本地模
2021-06-24 07:52:48
834
原创 NeurIPS 2019 Federated Learning Accepted Paper
Improving Federated Learning Personalization via Model Agnostic Meta LearningProblemsFL applications generally face non-i.i.d and unbalanced data available to devices, which makes it challenging to ensure good performance across different devices with a
2021-04-13 07:45:47
492
原创 Federated Model Distillation with Noise-Free Differential Privacy
Federated Model Distillation with Noise-Free Differential PrivacyExisting WorkFedMDEach model is first trained on the public data to align with public logits, then on its own private data.CronusIn contrast, Cronus mixes the public dataset (with soft l
2021-03-22 16:26:14
1231
1
原创 ICLR2021 - Federated Learning Paper
Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint LearningProblemsTwo practical scenarios of Federated Semi-Supervised Learning (FSSL):each client learns with only partly labeled data (Labels-at-Client scenario) 客户端有数据 用户端
2021-03-01 10:39:34
2513
1
原创 Attention Is All You Need论文阅读
Attention Is All You NeedProblemsRNN（或者LSTM，GRU等）的计算限制为是顺序的，也就是说RNN相关算法只能从左向右依次计算或者从右向左依次计算，这种机制带来了两个问题：循环模型通常是对输入和输出序列的符号位置进行因子计算。 通过在计算期间将位置与步骤对齐，它们根据前一步的隐藏状态ht−1h_{t-1}ht−1和输入产生位置t的隐藏状态序列hth_tht。这种固有的顺序特性阻碍样本训练的并行化，这在更长的序列长度上变得至关重要，因为有限的内存限制样本的批次大
2021-02-15 21:42:50
468
原创 Ask, acquire, and attack: data-free UAP generation using class impressions
Ask, acquire, and attack: data-free UAP generation using class impressionsProblems深度学习模型容易受到输入的具体的噪音（input specific noise），定义为对抗扰动（adversarial perturbations）。此外，这些对抗性扰动表现出跨模型的普遍性（可转移性）。这意味着相同的对抗扰动样本对不同结构模型都能起作用存在着input specific noise 叫做通用对抗扰动（Universar
2021-02-10 10:33:17
683
原创 Zero-shot knowledge distillation in deep networks
Zero-shot knowledge distillation in deep networksObjectiveCan we do Knowledge Distillation without (access to) training data (Zero-Shot)?Data is precious and sensitive – won’t be sharedE.g. : Medical records, Biometric data, Proprietary dataFederated
2021-02-03 11:17:13
644
原创 Distilling the Knowledge in a Neural Network分析
Distilling the Knowledge in a Neural Network（2015）ChallengesToo cumbersome to Deploy to the clientOverfittingQ:The conflicting constraints of learning and usingThe easiest way to extract a lot of knowledge from the training data is to learn many diff
2021-01-29 21:14:36
521
原创 Federated Learning: Strategies for Improving Communication Efficiency
Federated Learning: Strategies for Improving Communication Efficiency问题联邦学习的通信效率至关重要，考虑到naive implementation 的联邦学习要求每个client每轮发送一个完整的模型，对于大模型，这是bottleneck：不对称或者不一致的的网络连接上传下载速度，（上传速度远小于下载速度）假设考虑了一个理想的synchronized algorithms for FL：A subset of existing
2020-10-15 15:23:01
1701
7
原创 联邦学习基础知识总结
Federated LearningIntroductionDifferenceStandard machine learning approaches require centralizing the training data on one machine or in a datacenter.And Google has built one of the most secure and robust cloud infrastructures for processing this dat
2020-09-29 09:59:17
1323
1
原创 pix2code总结
KeywordDSL，即领域特定语言，它是一种为解决特定领域问题，而对某个特定领域操作和概念进行抽象的语言。• 外部 DSL，即创建一个专用目的的编程语言。诸如用于 BDD 测试的 Cucumber 也是一种外部 DSL，从某种意义上来说，用于写作的 markdown 也算是一种 DSL。它们通常都需要语法解析器来进行语法分析，并且通常可以在不同的语言、平台上实现。• 内部 DSL，即：指与项目中使用的通用目的编程语言（Java、C#或Ruby）紧密相关的一类 DSL。它是基于通用编程语言实现的，由它
2020-07-08 15:02:11
1480
原创 CS231 Convolutional Neural Networks for Visual Recognition课程笔记
本课程是斯坦福大学CS231 Convolutional Neural Networks for Visual Recognition，由于个人习惯，暂时以pdf形式记录，之后有空会整理成markdown格式，链接如下：课程笔记pdf下载地址
2020-06-28 11:19:51
6954
原创 React学习总结
JSXJSX 基本语法注释{/*I am Annotation */}标签多行标签需要有一个父元素包裹表达式如果想在JSX中使用表达式，需要把表达式放到{}中，其次变量也应该放到{}中函数&对象let user ={ name:'Hwk', age:18}function fun(obj){ Return "name is $(obj.name)"+"......."+"age is $(obj.age)"}function fun(obj){
2020-06-08 15:28:25
325
原创 YOLO4 论文总结
Bag of freebies改变培训策略，或者只会增加培训成本的方法，对测试不影响。数据扩充：光度畸变：调整图像的亮度、对比度、色调、饱和度和噪声几何畸变：加入随机缩放、剪切、翻转和反旋转模拟对象遮挡：random erase，CutOut：可以随机选择图像中的矩形区域，并填充一个随机的或互补的零值hide-and-seek、grid mask：随机或均匀地选择图像中的多个矩...
2020-05-07 19:49:10
7507
原创 目标检测-YOLOv1
文章目录YOLOv1模型对比基本思路网络设计YOLOv1模型对比YOLO 训练和检测均是在一个单独网络中进行，YOLO没有显示地求取region proposal的过程基本思路论文中设置s为7，一个分为49个grid cell，每个gird cell生成两个Bounding boxes网络设计每个cell会有两个bounding box， 选择IOU最大的作为结果可以看到网络的最后...
2020-05-05 21:54:40
311
原创 票据种类
汇票含义和特点含义出票人像付款人签发的要求即期、定期或可以确定的将来事件向指定人或根据其指令向来人无条件支付一定金额的书面命令特点无条件支付支付条件基本当事人为三人：出票人、付款人、收款人汇票收款人抬头限制性抬头-不能转让指示性抬头-背书转让来人抬头-交付转让支票本票...
2020-04-17 13:53:37
674
原创 Semantic Video Segmentation: A Review on Recent Approaches视频语义分割:近年来的研究进展的翻译&思考
文章目录摘要关键字介绍数据集和评估数据集CamVid 数据集NYU-Depth V2 DatasetWild8 DatasetYouTube-Objects DatasetSUNY DatasetVSB100 DatasetSegTrack V2 DatasetCityscapes Dataset评估参数Mean Accuracy per-pixelMean Accuracy per-classM...
2020-04-12 20:03:19
8729
原创 计算机视觉-语义分割论文总结
文章目录FCN 2015创新点CNN VS FCNLoss Function网络结构缺点SegNet 2016DetailAdvantage结构CCNet 2018Why优点结构CA模块原理Affinity操作对D进行softmax操作Aggregation 操作RCCA ?本文按照计算机视觉领域语义分割的相关论文的时间顺序排列，如果没有你想看的，直接关掉就好了语义分割的两大核心问题：What...
2020-04-08 13:45:16
10949
原创 1X1 卷积核 总结
文章目录Before1X1 卷积核定义1x1卷积核作用降维升维增加非线性跨通道信息交互（channal 的变换）1X1的应用GoogleNet看完这个不许再说自己不会了小笨蛋—不如叫我慢慢Before在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念。卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时...
2020-04-07 23:08:09
1250
原创 深度学习面试总结（无序）
文章目录逻辑回归Logistic回归的主要用途常规步骤构造预测函数h构造损失函数J正则化线性回归损失函数线性回归和逻辑回归的比较神经网络中的Epoch、Iteration、Batchsize反向传播深度学习模型中参数量对于全连接网络对于rnn网络对于CNN网络：逻辑回归广义线性模型（generalizedlinear model）如果是连续的，就是多重线性回归；如果是二项分布，就是Logi...
2020-04-06 23:23:33
635
原创 网络与分布式计算-Unit2
文章目录应用层协议原理网络应用程序体系结构进程通信套接字应用层协议定义互联网传输协议服务安全的 TCPWeb与HTTPHTTP概述HTTP连接HTTP请求消息HTTP 响应状态码维护用户-服务状态-cookie应用层协议原理网络应用程序体系结构写程序满足:在 (不同的) 端系统上运行通过网络进行交互例: web服务软件与浏览器软件进行交互无需为网络核心设备写软件网络核心设备...
2020-04-05 19:37:05
228
原创 计算机图形学 总结笔记
文章目录Unit1Chapter4Human visual systemSynthetic Camera ModelOpenGLThe programmer's InterfaceGraphics ArchitecturesInput and InteractionInteractionInput DevicePhysical Input DevicesLogical Devices逻辑设备Inp...
2020-04-02 21:31:25
2114
原创 国际贸易的基本概念
文章目录国际贸易的含义国际贸易的基本统计指标国际贸易的基本分类国际服务贸易国际服务贸易的概念国际服务贸易的特点国际服务贸易的分类国际技术贸易国际贸易引力模型国际贸易的含义国际贸易是指国家和／或地区间的商品交换活动。交换对象－商品狭义:国际间的货物交换广义:国际间的货物交换、与贸易有关的知识产权交换和服务的交换交换的地理范围:国家和／或地区间对外贸易：从一个国家／地区出发...
2020-04-01 17:39:41
1737
原创 网页优化策略 面试
前端网页优化网页内容1、 减少http请求次数捆绑文件: 现在有很多现成的库可以帮你将多个脚本文件捆绑成一个文件，将多个样式表文件捆绑成一个文件，以此来减少文件的下载次数。CSS Sprites: 就是把多个图片拼成一副图片，然后通过CSS来控制在什么地方具体显示这整张图片的什么位置2、 减少DNS查询次数DNS查询也消耗响应时间，如果我们的网页内容来自各个不同的domain (比...
2020-04-01 16:26:06
333
原创 操作系统 前端面试
文章目录进程和线程以及它们的区别进程间的通信的几种方式线程同步的方式什么是死锁？死锁产生的条件？线程有几种状态？分页和分段进程调度策略内存局部性原理进程和线程以及它们的区别进程是对运行时程序的封装，是系统进行资源调度和分配的的基本单位，实现了操作系统的并发；线程是进程的子任务，是CPU调度和分派的基本单位，用于保证程序的实时性，实现进程内部的并发；一个程序至少有一个进程，一个进程至少有一个...
2020-04-01 16:23:33
392
2
原创 Webpack&gulp&Grunt 面试
Webpack概念：本质上，webpack 是一个现代 JavaScript 应用程序的静态模块打包器(module bundler)。当 webpack 处理应用程序时，它会递归地构建一个依赖关系图(dependency graph)，其中包含应用程序需要的每个模块，然后将所有这些模块打包成一个或多个 bundle。webpack 根据模块的依赖关系进行静态分析，这些文件(模块)会被包含到...
2020-04-01 16:21:24
594
原创 CSS 面试总结
1、 插入样式表的三种方法内联样式）Inline style > （内部样式）Internal style sheet >（外部样式）External style sheet > 浏览器默认样式 优先级+作用域+书写顺序2、 盒子标准盒子：Margin(外边距) - Border(边框) - Padding(内边距) - Content(内容)margin是用来隔开元素与...
2020-03-25 09:23:29
151
原创 数据结构-线性表
文章目录线性表的类型定义线性表的顺序表示和实现线性表的链式标识和实现线性表的类型定义线性表（linear list）是最常用且最简单的一种数据结构，简而言之，一个线性表是n个数据元素的有限序列。在稍微复杂的线性表中，一个数据元素可以由若干个**数据项（item）**组成。在这种情况下，常把数据元素称为记录（record），含有大量记录的线性表又称文件（file）。线性表的顺序表示和实现L...
2020-03-22 20:40:05
384
原创 算法导论-概论
文章目录基本概念和术语抽象数据类型的表示与实现算法和算法分析算法算法设计的要求算法效率的度量算法的存储空间需求基本概念和术语根据数据元素之间关系的不同特性，通常有下列4类基本结构：（1）集合 结构中的数据元素之间除“同属于一个集合”的关系外，别无其他关系；（2）线性结构 结构中的数据元素之间存在一个对一个的关系（3）树形结构 结构中的数据元素之间存在一个对多个的关系（4）图状结构或网状...
2020-03-21 20:41:13
219
原创 票据概论
票据的含义与性质票据的含义和特性票据：出票人承诺自己或委托他人在特定时间向某人无条件支付一定金额的书面证据。票据的特性：无因性：票据的法律效力和票据的产生原因是相分离的要式性流通转让性：权力转让不必通知义务人，正当持票人的权利可优于其前手、受让人获得全部票据权利设权性：票据权利义务关系与原始债权债关系之关系票据的功能票据法与票据发展票据法：狭义：专门票据法，形式意义上的...
2020-03-21 10:50:07
111
原创 国际结算概论
国际结算的含义与种类国际计算机构网络联行 Sister bank一家银行总行 Head office、分支Branch、支行Su-branch之间以及分支行间的关系联行包括了国内联行与海外联行分行商业银行设立的、刻意经营完全银行业务的直接营业机构分行不是独立法人，母行对其经营结果承担全部责任分行业务范围以总行为限子行子行是独立的法律实体，母行仅以出资为限承担有限责任子银行业务...
2020-03-21 09:30:20
728
原创 计算机网络面试总结
文章目录时延OSI 开放式系统互联五层协议TCP/IPTCP报文段的首部格式TCP 三次握手四次挥手拥塞控制HTTP请求过程HTTP状态码Cookie & SessionHTTP & HTTPSHTTP/1.x & /2.0GET & POST时延排队时延+处理时延+传输时延+传播时延OSI 开放式系统互联应用层表示层 数据压缩、加密以及数据描述会话层 ...
2020-03-18 10:09:07
152
原创 js 面试总结
文章目录数据类型隐式转换Search & Replace10== ===“10”对象超类for in for of变量提升函数调用Call和Apply闭包Ajax Asynchronous JavaScript and XML（异步的JavaScript 和 XML）延迟加载弹出式消息提醒跨域问题异步回调地狱JS的三大组成部分查找改变创建事件冒泡或捕获jQuery语法jQuery选择器jQ...
2020-03-17 23:27:27
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人