- 博客(75)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 An Introduction to Text Representation
文章目录1. Definition of Text Classification Task and Its Application Scenarios2. Text Representation2.1. Word Representation2.1.1. Discrete Word Representation2.1.1.1. One-hot Encoding2.1.1.2. Frequency Encoding1. Definition of Text Classification Task and .
2020-12-13 23:39:11
237
原创 Sequence to sequence入门详解:从RNN, LSTM到Encoder-Decoder, Attention, transformer
文章目录1. 前馈神经网络的缺点2. 循环神经网络RNN2.1. RNN的基本结构与数学定义2.2. 输入输出长度的讨论2.2.1. nx=ny=nn_x=n_y=nnx=ny=n2.2.2. nx=n,ny=1n_x=n,n_y=1nx=n,ny=12.2.3. nx=1,ny=nn_x=1,n_y=nnx=1,ny=n2.2.4. nx=n,ny=mn_x=n,n_y=mnx=n,ny=m，Encoder-Decoder模型3. RNN的复杂变种3.1. GRU(Gated Recur.
2020-09-15 22:50:33
1661
1
原创 一阶线性差分方程通项公式求解
an+1=p⋅an+h(0-1)an+1=p⋅an+h(0-1)其中n是正整数；当p≠0,h=0p=0,h=0时，{an}\{a_n\}{an}是等比数列当p=1p=1p=1时，{an}\{a_n\}{an}是等差数列；特别地，当p=1,h=0p=1,h=0p=1,h=0时，{an}\{a_n\}{an。
2022-09-28 00:39:41
1161
原创 条件概率相关公式笔记
条件概率P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B)如果B1,B2,⋯ ,BnB_1,B_2,\cdots,B_nB1,B2,⋯,Bn是样本空间Ω\OmegaΩ的一个划分，即B1,B2,⋯ ,BnB_1,B_2,\cdots,B_nB1,B2,⋯,Bn不相容且它们的并集是Ω\OmegaΩ,则对于任意的A有：P
2022-04-14 00:40:48
1165
原创 transformer原理及代码实践
文章目录1. transformer的宏观结构解析2. 数据的流动2.1. Encoder部分2.2. Decoder部分3. 代码实现（待补充）参考链接和文献：https://jalammar.github.io/illustrated-transformer/https://blog.csdn.net/qq_28168421/article/details/1203403601. transformer的宏观结构解析transformer的一种典型的seq2seq结构，常用于序列到序列的应用.
2022-03-12 12:36:47
2513
1
原创 pytorch文本任务pipeline
文章目录1. 读取文本数据制作成pytorch专用数据集2. 对句子进行分词得到词库3. 构建DataLoadarhttps://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.htmlhttps://github.com/lankuohsing/pytorch-study/tree/main/utils/text_pipline1. 读取文本数据制作成pytorch专用数据集以读取CSV数据为例，里面每行的数据格式为：l.
2022-03-02 22:53:59
968
原创 如何衡量两个分布的相似性（更新中）
https://blog.csdn.net/fengdu78/article/details/114325589https://www.cnblogs.com/arkenstone/p/5496761.html
2022-01-13 22:43:28
3943
原创 k-sum问题及变种题算法总结(持续更新中)
文章目录1. 青铜级： leetcode-[1\. 两数之和](https://leetcode-cn.com/problems/two-sum/)1. 青铜级： leetcode-1. 两数之和给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。虽然本级是青铜级，但是如果你写两层for循环时间复.
2021-12-06 23:35:00
1171
原创 中文分词算法及python代码实现（持续更新中）
文章目录1. 机械分词算法1.1. 正向最大匹配算法参考链接：https://blog.csdn.net/lcwdzl/article/details/78493637代码源码地址：https://github.com/lankuohsing/Study_NLP1. 机械分词算法1.1. 正向最大匹配算法# In[]custom_dict = set(["机械","分词","方法","机械分词方法", "又","叫","基于","字符串","匹配", .
2021-12-05 23:13:35
3029
原创 数据结构与算法之原地操作数组相关
1. 在数组中删除符合指定条件的元素，空间复杂度O(1)1.1. leetcode-27. 移除元素给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素，并返回移除后数组的新长度。不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并 原地 修改输入数组。元素的顺序可以改变。你不需要考虑数组中超出新长度后面的元素。思路：用两个指针从起始位置开始往后走，一个j用于记录当前有效位置，另一个i用于遍历数组所有元素。当i指向的元素不需要移除，则放到i处，并让i+1；
2021-12-05 20:44:56
462
原创 集成学习之梯度提升树（GBDT）原理详解
文章目录1. 梯度提升（Gradient Boosting）的思想2. gradient boosting的通用算法流程3. 将回归树作为基学习器，得到GBDT算法3.1. 回归树介绍3.2. 将回归树应用到gradient boosting中3.3. GBDT算法流程参考https://www.cnblogs.com/massquantity/p/9174746.html1. 梯度提升（Gradient Boosting）的思想Gradient Boosting和Adaptive Boostin.
2021-11-17 23:59:38
976
原创 集成学习之AdaBoost原理详解
文章目录1. AdaBoost的思想2. 数学定义和推导2.1. 决策推理过程的输出表达式定义2.2. 优化训练过程中的迭代表达式推导2.3. 由迭代过程表达式得到的几个结论2.3.1. 基学习器GM(x)G_M(x)GM(x)2.3.3. 下一轮样本权重wi(M+1)w_i^{(M+1)}wi(M+1)2.3.4. 各基学习器的系数αM\alpha_MαM3. Adaboost流程图参考：https://www.cnblogs.com/massquantity/p/9063033.html1.
2021-11-13 23:43:24
1541
原创 基于动态规划的编辑距离计算公式及应用
文章目录1. 编辑距离的定义2. 基于动态规划的求解算法2.1. 递推公式https://www.jianshu.com/p/a617d20162cf1. 编辑距离的定义编辑距离（Minimum Edit Distance，MED），由俄罗斯科学家 Vladimir Levenshtein 在1965年提出，也因此而得名 Levenshtein Distance。编辑距离一般用于度量两个序列相似程度的指标，具体来说，它计算的是一个序列A最少可以经过多少次操作变成另一个序列。这里的操作包括以下三种：.
2021-10-29 23:28:52
626
原创 深度学习之GPU设置相关
os.environ[“CUDA_VISIBLE_DEVICES”]=“5,7”使得只有编号为5和7的GPU可见使用horovod时会把5和7重新编号为0和1hvd.local_rank()默认是0也即实际用的是编号为5的GPU
2021-09-16 16:06:25
307
原创 量化压缩论文：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
文章目录
2021-09-12 12:20:27
464
原创 机器学习之特征选择（更新中）
文章目录1. 基于信息增益的方法1.1. 信息熵1.2. 条件熵1.3. 信息增益1.4. 信息增益在分类问题中的作用1. 基于信息增益的方法1.1. 信息熵假设XXX是取有限个值{x1,x2,⋯ ,xn}\{x_1,x_2,\cdots,x_n\}{x1,x2,⋯,xn}的随机变量，其概率分布为P(X=xi)=pi,i=1,2,n(1-1)P(X=x_i)=p_i, i=1,2,n\tag{1-1}P(X=xi)=pi,i=1,2,n(1-1)则速记变量XXX的熵定义为：H(X.
2021-08-06 22:43:45
404
原创 通俗理解信息熵
文章目录1. 信息熵的概念2. 信息熵和信息量之间的关系https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)https://www.zhihu.com/question/274997106https://www.zhihu.com/question/274997106/answer/1055696026https://cs.nyu.edu/~roweis/csc310-2005/lectures.html1. .
2021-07-28 23:18:52
3282
原创 通俗理解误差、偏差、方差以及它们和过拟合、欠拟合之间的关系.
文章目录0. 引言1. 误差、偏差和方差的数学定义2. 偏差与方差的直观理解3. 偏差、方差与欠拟合、过拟合的关系4. 欠拟合、欠拟合的产生原因及解决方案0. 引言作为一名算法工程师，在利用算法模型解决实际问题时，模型的欠拟合、过拟合问题是无论如何都无法回避的。这两个问题的表象相比很多人都知道，但是涉及到它们背后的产生原因、本质以及解决方法，要说清楚还是不容易的。1. 误差、偏差和方差的数学定义误差（error）的概念有两类，一类是数据本身带来的噪声，一般假设服从均值为0的高斯分布，记为ϵ∼N(0.
2021-07-11 23:26:43
2021
原创 数据结构基础——链表相关操作及应用（含python代码，更新中）
文章目录0. 链表的数据结构描述1. 常见操作1.1 删除链表中的结点1.2 合并有序链表1.3. 反转链表众所周知，计算机中的数据结构底层无非是链表（linked list）或者线性表（linear list）。因此，掌握这些基本的数据结构的结构和常用操作是很重要的。本文我们来介绍一下链表的常用操作，主要采用经典算法题的形式来加以呈现说明0. 链表的数据结构描述略1. 常见操作1.1 删除链表中的结点leetcode-237 237. 删除链表中的节点请编写一个函数，使其可以删除某个链表中.
2021-07-06 22:17:34
273
1
原创 矩阵乘法的本质-基变换
文章目录假设a=[a1′,a2′,⋯ ,an′]T∈Rna=[a_1',a_2',\cdots,a_n']^T\in R^na=[a1′,a2′,⋯,an′]T∈Rn, b=[b1′,b2′,⋯ ,bm′]T∈Rmb=[b_1',b_2',\cdots,b_m']^T\in R^mb=[b1′,b2′,⋯,bm′]T∈Rm,它们都是实际的坐标；M=[m1,m2,⋯ ,mn]∈Rm×nM=[m_1,m_2,\cdots,m_n]\in R^{m\times n}M=[m1,m2,⋯,mn.
2021-05-26 23:19:10
536
原创 卷积层参数量和计算量计算公式
文章目录0. 变量定义1. 卷积层的参数量计算2. 卷积操作的计算量2.1. 乘法计算量2.2. 加法计算量参考https://www.cnblogs.com/qinduanyinghua/p/11302618.html0. 变量定义假设输入的特征图（feature map）的shape为[Height, Weight, Channel]，对应的字母表示为[Hin,Win,Cin][ H_{in}, W_{in}, C_{in}][Hin,Win,Cin]; 卷积核（kernel）的shape.
2021-05-25 23:13:03
7041
原创 霍夫曼树-原理、代码实现与应用
文章目录0. 从霍夫曼编码讲起1. 二叉树一些基本概念1.1. 路径1.2. 路径长度1.3. 节点的权1.4. 节点的带权路径长度1.5. 树的带权路径长度2. Huffman树的构建3. 代码实现（python）4. 应用https://blog.csdn.net/google19890102/article/details/54848262https://zh.wikipedia.org/wiki/%E9%9C%8D%E5%A4%AB%E6%9B%BC%E7%BC%96%E7%A0%810. .
2021-05-10 23:39:17
636
原创 二叉树遍历相关算法代码实现
文章目录0. 二叉树的定义：1. 前序遍历1.1. 递归方式前序遍历：1.2. 非递归方式前序遍历2. 中序遍历2.1. 递归方式中序遍历：2.2. 非递归方式中序遍历3. 后序遍历3.1. 递归方式后序遍历：3.2. 非递归方式后序遍历完整版python代码见https://github.com/lankuohsing/DataStructureInPython/blob/main/tree/binary_tree/binary_tree.py欢迎给star！0. 二叉树的定义：Python版实.
2021-05-07 20:34:09
289
原创 神经网络量化压缩学习笔记
文章目录0. 前言1. 量化压缩方法简介2. 量化压缩原理2.1. 定点数与浮点数https://jackwish.net/2019/neural-network-quantization-introduction-chn.htmlhttps://zhuanlan.zhihu.com/p/1496596070. 前言近年来，基于神经网络的深度学习在图像处理、自然语言处理、语音识别等领域取得了显著效果。一般情况下，一个神经网络模型越大（一般指参数量越大），模型的拟合能力更强，准确度越高。这将进一步导.
2021-02-15 22:33:26
902
原创 TensorFlow/PyTorch中张量(Tensor)的底层存储方式
文章目录0. 张量（Tensor）基本概念回顾1. tensor在计算机内存中的存储方式0. 张量（Tensor）基本概念回顾张量（Tensor）其实就是多维数组，类似于NumPy里面的np.array。这里的维度，更准确的讲法应该叫阶（rank），这是为了跟向量（vector）的维度区分开的。vector其实就是rank为1的张量，我们说一个vector是n维的其实是说它有n个分量（标量）。而如果张量的维度（阶）是n维的，并不是说它有n个标量分量，而是说在表示这个张量时需要用n个坐标轴。每个轴上都.
2021-02-03 00:39:25
1844
2
原创 pytorch教程之自动求导机制(AUTOGRAD)-从梯度和Jacobian矩阵讲起
文章目录0. Jacobian矩阵参考资料https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-pyhttps://zhuanlan.zhihu.com/p/29923090https://zhuanlan.zhihu.com/p/656095440. Jacobian矩阵在pytorch和TensorFlow中，是不支持tens.
2021-01-13 23:48:46
1643
2
原创 雅思口语学习笔记
文章目录0. Overview1. Part 1: Yourself, family, work and your interests1.1. What is your job?1.2. Why did you choose that job?2. Part 2: Speak about a particular topic3. The examiner judges your language ability with further questions based on the topic in pa.
2021-01-04 22:42:12
319
原创 雅思写作学习笔记
文章目录1. 图表类作文1.1. 八种典型的图表1.2. 数据分析必备词汇1.3. 数据分析必备句式1.4. Sample Article1.4.1. The graph shows rates of smoking in men and women in the UK from 1960 to 2000.1.4.1.1. 视频教程里面的范文1.4.1.2. www.ielts-exam.net里面的范文1.4.1.3. 我写的范文1.4.2. The graph below shows the numb.
2020-12-08 00:04:33
3370
原创 TensorFlow学习笔记之tensorboard
文章目录1. anaconda多个环境下tensorboard的安装和使用1. anaconda多个环境下tensorboard的安装和使用如果anaconda中有一个环境，例如叫tf_1_15，里面安装了tensorboard，那么在base环境里面列出所有包的list里面是没有tensorboard的，所以在base里面无法使用tensorboard（无论是anaconda命令行还是cmd命令行，无论是不是在tensorboard.exe的路径下），但是如果你尝试在base环境下安装tensorb.
2020-12-06 15:32:42
136
原创 TensorFlow学习笔记之DataSet中shuffle,batch和repeat的用法详解
话不多说，看代码代码git链家：https://github.com/lankuohsing/TensorFlowStudy/blob/master/dataset_usage/shuffle_batch_repeat.py# -*- coding: utf-8 -*-"""Created on Fri Dec 4 21:08:13 2020@author: lankuohsing"""import tensorflow as tfimport numpy as np# In[]
2020-12-05 16:48:01
1596
原创 雅思写作范文(持续更新)
文章目录1. Writing Task 11.1. Rates of smoking in Someland1. Writing Task 11.1. Rates of smoking in SomelandWrite a report for a university lecturer describing the information in the graph below.You should write at least 150 words.Allow yourself 20 minut.
2020-11-09 22:26:10
9108
原创 自然语言处理任务之文本分类入门详解（未完待续）
文章目录0. 文本分类简介1. 数据集介绍2. 模型选择参考链接：https://developers.google.com/machine-learning/guides/text-classification0. 文本分类简介文本分类在很多软件产品中都占据重要位置，很多智能应用都用到了文本分类模型。有的是将文本分类的结果作为输入以便进行后续其他任务，例如对话系统中的意图识别；有的是直接将文本分类结果最为任务的输出，例如垃圾邮件过滤、评论情感分类等等。无论何种场景，文本分类的准确程度都是一个很关键.
2020-10-21 00:17:57
380
原创 算法基础之回溯与深度优先遍历
文章目录1. 回溯算法的三要素2. 回溯算法的例子2.1. 求子集问题 “回溯法”也称“试探法”。它是从问题的某一状态出发，不断“试探”着往前走一步，当一条路走到“尽头”，不能再前进（拓展出新状态）的时候，再倒回一步或者若干步，从另一种可能的状态出发，继续搜索，直到所有的“路径（状态）”都一一试探过。回溯算法可以看做是深度优先遍历算法的一种。深度优先搜索可以采用递归（系统栈）和非递归（手工栈）两种方法实现。往往需要记录整颗搜索树。回溯算法一般不用记录整颗搜索树。1. 回溯算法的三要素回.
2020-09-29 00:12:47
1920
2
原创 算法基础之递归与动态规划
文章目录1. 递归算法的适用场景2. 递归的三要素3. 递归的缺点4. 递归算法的例子4.1. Fibonacci数列4.1.1. 解法一：原始的递归不做任何优化4.1.2. 带备忘录的递归算法1. 递归算法的适用场景当一个大规模的问题与小规模的问题有着相同的形式，解决大规模的问题和解决小问题的方法是同一个方法时，就可能可以用递归的算法来解决。递归算法的特点为：一个函数递归调用本身（由后向前），通过递归调用来缩小问题的规模，直到组中遇到退出条件，再由前向后组装出目标解。2. 递归的三要素明确函数.
2020-09-19 00:32:55
1381
2
原创 机器学习之特征离散化
文章目录1. 特征离散化的作用2. 特征离散化可以引入非线性的证明李沐曾说过，模型是使用离散特征还是连续特征，其实是一个“海量离散特征+简单模型” 同 “少量连续特征+复杂模型”的权衡。既可以离散化用线性模型，也可以用连续特征加深度学习。就看是喜欢折腾特征还是折腾模型了。通常来说，前者容易，而且可以n个人一起并行做，有成功经验；后者目前看很赞，能走多远还须拭目以待。1. 特征离散化的作用在实际工作中，需要使用譬如LR这种线性分类器的时候，往往需要将特征离散化成0/1特征，之后再进行模型训练。这样的好.
2020-09-15 23:08:05
928
原创 数据结构基础之栈与队列
文章目录1. Java中的栈Stack1.1. Stack的应用之括号匹配2. Java中的队列Queue1. Java中的栈Stack栈是Vector的一个子类，它实现了一个标准的后进先出的栈。序号方法描述1boolean empty()测试堆栈是否为空。2Object peek( )查看堆栈顶部的对象，但不从堆栈中移除它。3Object pop( )移除堆栈顶部的对象，并作为此函数的值返回该对象。4Object push(Object element.
2020-09-09 23:05:57
137
原创 机器学习之概率图模型
文章目录0. 背景介绍1. 隐马尔科夫模型（Hidden Markov Model, HMM）1.1. HMM的数学定义1.2. HMM的实际应用问题描述1.3. 马尔科夫随机场（Markov Random Field, MRF）2. 条件随机场（Conditional Random Field， CRF）2.1. CRF的数学定义2.2. 特征函数的例子参考资料：《机器学习》——周志华https://blog.csdn.net/continueoo/article/details/7789358.
2020-08-26 22:47:29
498
原创 算法基础之二分查找
二分查找文章目录二分查找1.二分查找的一般场景2.二分查找的简单场景-升序不重复数组查找指定元素3.二分查找思想的高阶应用（待更新）源代码链接：https://github.com/lankuohsing/LeetCode-Java/tree/master/LeetCodeInJava/src/binary_search1.二分查找的一般场景给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target，返回target在nums中的下标；如果目标值不存在，则返回-1；如果目标值
2020-07-21 23:10:47
209
原创 RNN,GRU,LSTM及其变种详解
文章目录1. 普通神经网络的缺点2. RNN的基本结构与数学表达参考Coursera-Sequence Modelshttps://www.coursera.org/learn/nlp-sequence-models/notebook/X20PE/building-a-recurrent-neural-network-step-by-step1. 普通神经网络的缺点对于不同的样本，输入...
2020-04-27 00:23:24
906
PRML中文版
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人