- 博客(16)
- 收藏
- 关注
RSS订阅原创 leetcode 刷题-哈希
给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1]。输入：nums = [2,7,11,15], target = 9。输入：nums = [3,2,4], target = 6。for循环，遍历所有组合，直到匹配到target，复杂度。输入：nums = [3,3], target = 6。
2023-11-16 01:42:28
53
1
原创 优化器简介
1、SGD随机梯度下降。随机的意思是随机选取一个batch进行梯度更新1.1、更新过程学习率ϵk\epsilon_kϵk梯度估计g^=1m∇θ∑iL(f(x(i);θ),y)=1m∂L∂θ\begin{aligned}\hat{g}& = \frac{1}{m} \nabla_{\theta}\sum_iL(f(x^{(i)};\theta), y) \\&=\frac{1}{m}\frac{\partial{L}}{\partial{\theta}}\end{a
2021-09-06 00:46:09
159
原创 机器学习基础——隐马尔可夫模型
隐马尔可夫模型定义：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。对该问题中的数据进行数学定义所有可能的状态集合QQQ，其中NNN为所有可能的状态数：Q={q1,q2,...,qN}Q = \{q_1,q_2,...,q_N\}Q={q1,q2,...,qN}所有可能的观测集合VVV，其中MMM为所有可能的观测数：V={v1,v2,...,vM}V = \{v_1,v_
2021-06-03 22:36:10
261
原创 nlp笔记：超详细(本菜鸡觉得)transformer原理及核心源码笔记(1)
【原文链接】【源码链接】1、Transformer简介 Transformer提出自谷歌2017年的论文(Attention is all your need)不同于之前使用RNN、LSTM、GRU、CNN来作为encoder和decoder，Transformer完全使用注意力机制的模型。之所以选择弃用循环神经网络，是因为循环神经网络的每一次运算，都需要上一时刻的隐藏态数据，导致计算不能并行，增加了计算时间，也浪费了计算机性能。 Transformer的基本模型结构如下图所示，本文会根据论文和源
2021-06-01 22:20:37
514
1
原创 tensorflow-gpu训练gpu占用率、利用率都很低
1问题描述最近用bert训练模型时，发现GPU资源占用很小，小到连bert模型都装不下，然后cpu几乎占满排除了代码问题，数据传输问题，排除了资源选择问题，懵逼了。。。一时也不知道咋回事，之前还没有遇到过。2.问题发现无意间发现了日志报告的一段Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are install之前因为程序能跑，就忽略了警告。。。我真是个憨批。发
2021-04-20 01:35:55
2819
原创 联邦学习：加密算法Paillier,Affine,IterativeAffine
本文介绍联邦学习中用到的几种加密算法的实现过程，不涉及原理。1.知识准备这里要首先介绍加密算法牵扯到的几个基础知识，简单介绍，不讲原理，方便后续理解。1.1 同态加密同态加密的概念：对加密后的数据进行特定形式的代数运算，对运算结果进行解密，得到的结果和对原数据进行相同的代数运算得到的结果相同。换言之，用户可以不经过解密，直接对密文进行运算，而不影响最终的结果。1.2 乘法逆元不是倒数！1.2.1 线性同余方程介绍乘法逆元之前，还要先介绍一下线性同余方程：ax≡b (mod n)\lar
2020-09-22 22:49:24
3761
5
原创 tensorflow2.0学习笔记——模型改进扩展
本文内容为北大tensorflow笔记的课堂笔记1.图像数据增强数据增强就是扩展数据，对图像的数据增强就是对图片进行简单的变形。image_ten_train = tf.keras.preprocessing.image.ImageDataGenerator( rescale=所有数据将乘以该值 rotation_range=随机旋转角度数范围，用来对图像进行随机旋转 widt...
2020-05-05 14:06:28
421
1
原创 论文阅读笔记——软过滤剪枝
【原文】Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks【代码地址】1.神经网络剪枝本篇论文是笔者阅读的第一篇神经网络剪枝论文，选取的2018年的论文，相关概念的理解还不透彻，后续会补充2019年很火的神经网络蒸馏内容剪枝（Pruning）是深度学习的一种技术，目标是为了开发更小、更高效的神经网络...
2020-05-02 13:00:55
829
2
原创 TensorFlow2.0学习笔记——常用基础函数
本章内容参考mooc北京大学课程，tensorflow笔记tf.cast()强制tensor转换为该数据类型tf.cast(张量名，dtype=数据类型)tf.reduce_min()计算张量维度上元素的最小值tf.reduce_min(张量名)tf.reduce_max()计算张量维度上元素的最大值tf.reduce_max(张量名)举例x1 = tf.c...
2020-04-17 11:04:40
283
原创 TensorFlow2.0学习笔记——回调函数callbacks
这里的回调函数介绍得并不详细，只记录了笔者学习过程中用到的，后续随着学习，会逐渐补充。1. 回调函数的理解笔者目前的理解，回调函数是在程序运行中，满足某些要求，就会触发的函数。2. tf.keras.callbacks官网地址点击此处2.1 TensorBoard官网地址点击此处源码点击此处Tensorboard是TensorFlow内置的可视化工具，记录TensorBoard中的...
2020-03-31 12:54:00
1098
原创 sklearn学习-sklearn.prepprocess.StandardScaler
官方文档点此处源码点此处1 api介绍StandardScaler是通过去均值和缩放到方差单位来标准化特征(Standardize features by removing the mean and scaling to unit variance)其方法如下：z=x−μs\largez = \frac{x-\mu}{s}z=sx−μ其中μ\muμ为均值，s为方差...
2020-03-27 22:30:44
294
原创 TensorFlow2.0学习笔记——TensorFlow2.0简介
TensorFlow2.0的基本框架如下图：使用tf.data来加载数据，使用tf.keras构建模型或使用Premade Estimators来验证，还可以使用TensorFlow Hub进行迁移学习，在CPU,GPU或TPU上来运行，保存模型后进行部署。1 模型的开发流程使用tf.data加载数据使用tf.keras构建模型或使用Premade Estimators来验证，还可以使...
2020-03-13 16:46:30
363
原创 机器学习基础-k近邻
本章内容主要基于机器学习实战概述k—近邻算法采用测量不同特征值之间的距离方法进行分类。优点精度高，对异常值不敏感，无数据输入假定缺点计算复杂度高、空间复杂度高适用数据范围数值型和标称型简单来说，就是根据给定的事实，判断样本集中各样本与给定事实的差距，来对样本进行分类。k-近邻算法分类器分类器可以满足的功能是：输入三类信息的数值，计算出该值与已...
2020-03-05 12:47:32
293
原创 机器学习基础-决策树&随机森林
利用特征生成子节点，进行判断实例属性1 ID3算法ID3算法是在每个节点处选取能获得最高信息增益的分支属性进行分裂，就是每一次找到最重要的属性进行分类在每个决策节点处划分分支、选取分支属性的目的，是将整个决策树的样本纯度提升，就是保证每个分支节点下下对应的分类都是唯一的。衡量样本集合纯度的指标是熵1.1 熵和信息增益熵和信息增益是生成节点的主要依据。1.1.1 熵熵在物理学...
2020-03-05 12:37:21
231
原创 假期论文阅读笔记-手写识别SMDLSTM-RNN
原文:Handwritten Chinese Text Recognition Using Separable Multi-Dimensional Recurrent Neural Network.1 摘要文章主要针对长短期记忆神经网络(LSTM)在汉子识别中效果不佳的问题，提出了Separable Multi-Dimensional Recurrent Neural Network(可分离多...
2020-02-19 19:44:31
555
2
原创 动态规划 ——0-1背包问题(1)附代码详细注释
0-1背包问题本文内容来来源于《计算机算法设计与分析》(王晓东著)，是笔者的学习笔记，内容不当处，欢迎留言探讨问题描述：给定n中物品和一背包，物品i的重量是wiw_iwi，价值为viv_ivi，背包容量为c。应如何选择装入背包中的物品，使得装入背包中物品的总价值最大。目标函数：max∑i=1nviximax\sum_{i=1}^{n}v_ix_imaxi=1∑nvixi即装入背包...
2019-12-31 13:08:40
1242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人