- 博客(104)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 LaTex的部分应用小技巧
问题：LaTex Error: Option Clash for package xcolor在documentclass{}前面添加：\PassOptionsToPackage{dvipsnames}{xcolor}然后导入包就可以：\usepackage{color}\usepackage[dvipsnames]{xcolor}
2022-05-16 17:49:11
405
原创 Faster RCNN提取图片中的object feature
第一次使用FasterRCNN，尝试使用开源的代码来实现object feature extraction。看了网上有很多的博文都是复现和介绍FasterRCNN，或者直接使用torchvision里面的包，这里我介绍下使用Facebook MMF实现的FasterRCNN，包括安装和使用。第一步，建立conda环境并安装python、pytorch和torchvision，MMF要求python>=3.7，pytorch>=1.6。如果有同学不了解conda的环境构建，可以参考我的另一篇文
2021-11-29 19:14:58
2023
原创 使用Git将代码上传到Github
本文仅当做个人的工作笔记，如有错误，请指教。该方案适合于Linux系统操作。① 首先，需要在你的本机上安装git，安装命令是：sudo apt-get install git② 接着，在github上创建你自己的新的
2021-10-11 21:30:09
873
原创 python中类的继承与扩展、私有方法和属性，以及forward()函数
python类的私有方法和属性（即前面加__（或_）的方法或属性）：解释：类的私有方法和属性，可以由类内部的方法来访问，但是不可以由类的实例对象来访问。若类的实例对象想直接访问私有方法或属性，则需要：实例._类名__变量名的形式。参考：https://www.cnblogs.com/randomlee/p/9026105.htmlpython类的继承与扩展：解释：可以通过将super().方法名X(参数)放在子类同名方法X的适当位置来对父类方法X的全部内容进行继承，然后可以进行扩展。（.
2021-09-09 15:15:28
3206
原创 python中的＠修饰符
python中的＠类修饰符解释：对于带参数的修饰符，参数首先传入修饰符函数中，然后返回一个函数Ａ，接着被修饰类作为函数Ａ的参数进行下一步处理；对于不带参数的修饰符，类直接作为修饰符函数的参数。对于参数完整的修饰符，类修饰符不需要显式的调用，即可执行；而当出现类对象实例化时，执行初始化函数。参考：https://cloud.tencent.com/developer/article/1566268 https://blog.csdn.net/gavin_john/article/details/5
2021-09-09 15:10:16
991
原创 pytorch分布式训练小结
经过了几天的学习和总结，得到了一小点知识。破除理解上的障碍，希望和大家共同分享。当前的pytorch分布式训练，主要使用两种方法：DataParallel和DistributedDataParallel。本篇文章对这两种方法的使用流程和关键步骤进行介绍，不涉及很复杂的原理和内核，仅仅方便大家理解和使用。DistributedDataParallelfrom torch.utils.data.distributed import DistributedSamplerfrom torch.n..
2021-08-24 20:52:08
5426
原创 Pytorch中的gradient_accumulate_steps、warmup、lr_decay、optimizer和scheduler等问题的解答
（一）gradient_accumulate_steps 对于模型训练来说，batch_size越大，模型效果会越好。但是某些环境下，没有足够的GPU来支撑起大的batch_size，因此这时可以考虑使用gradient_accumulate_steps来达到类似的效果。 具体地，原来训练过程中每个batch_size都会进行梯度更新，这时我们可以采取每训练（叠加）gradient_accumulate_steps个batch_size再更新梯度（这个操作就相当于将batch_size扩大了gr
2021-08-10 23:13:59
3947
3
原创 Pytorch中的DataLoader处理机制
# 该代码主要是为了讲解介绍Dataloader的工作机制# 任何Dataset数据类的子类，并重写相关的函数class NerDataset(data.Dataset): # 将需要的参数进行初始化 def __init__(self, examples, tokenizer, label_map, max_seq_length): self.examples=examples self.tokenizer=tokenizer self.
2021-08-09 12:10:17
788
原创 python中的随机数种子
解释：随机数生成器，其实是一种复杂的随机数生成算法。当使用了随机数种子时，每个随机数种子都会生成指定的批量随机数(就像指针指定了相应区域的存储内容，这里只是变成了随机数种子指向了批量随机数)。因此，当你使用相同的随机数种子时，生成的随机数是一样的（因为它指向的是同一批量的随机数）。只是，当你取出的数据量不同时，该批量数据的表现结果不同。样例：seed(0)———>(0.548813503927，0.715189366372，0.602763376072，0.544883182997，0.42
2021-07-22 11:24:44
2442
原创 在NLTK中使用StanfordNLP的功能以及单独安装StanfordNLP
一 在NLTK中使用StanfordNLP的功能1 安装nltk:使用以下命令进行安装，pip install nltk参考2 导入nltk数据：import nltknltk.download()因为网速原因，nltk.download()很慢甚至不成功。这时，我们记住nltk.download()运行时产生的图形界面中Download Directory地址。3 下载NLTK官网上的packages包，并将其解压后名称改为nltk_data。将该包放入２记录的地.
2021-07-14 20:41:56
1267
原创 关于python爬虫
因为平时比较忙，事情多而杂乱，没有时间和大家分享一些技术问题。但是最近老是写些浅显的爬虫代码，同时发现很多人也有相关需求，因此写些内容分享给大家。这包括了爬虫的部分插件、翻页方法、爬虫与数据结构的关系、json读写等。首先我介绍下爬虫常用的插件，selenium、bs4、lxml及其使用方式。其次，因为很多网站不会一次性展示全部网页内容，多数需要翻页及跳转，接下来介绍跳转操作。很多人，特别是后来转行到计算机类的同行，刚开始认识不到数据结构的重要性。还有很多同行，工作多年，发现数据结构的知识都用在
2021-04-05 00:13:02
426
2
原创 Ubuntu16.04安装anaconda，并在上面建立虚拟环境来安装tensorflow和pytorch
好长时间不用服务器，很多东西都忘记了，这里算此次的一个笔记。(1)安装anaconda：在官网上下载符合自己机器版本的anaconda，并安装在个人用户权限的某个地方。(2)尝试使用“conda list”来检验conda命令是否可用：若不可用，则键入：vim ~/.bashrc在最后一行加入：export PATH=/home/XXX/package/anaconda/bin:$PATH然后键入：source ~/.bashrc为了避免每次打开终端都要执行“sourc
2020-12-10 20:34:51
674
1
原创 核主成分分析方法（KPCA原理篇）
（1）方法的基本思想是：对样本进行非线性变换，在变换空间进行主成分分析来实现在原空间的非线性主成分分析；（2）算法步骤：① 通过核函数计算矩阵，其元素为。其中和为原空间的样本，是核函数。② 计算K的特征值，并从大到小进行排列。找出由特征值对应的特征向量(表示第个特征向量)，并对进行归一化()。③ 原始样本在第个非主成分下的坐标为： 这里的是指第i个样本，的...
2020-10-07 21:03:58
5876
原创 K-L变换
（一）K-L变换的基本原理① 对D维随机向量，用一个完备的正交归一向量系来展开： 将x表示成的线性组合，其中： ② 当只有有限的d项来逼近x，即。则与原向量的均方误差表示为： 若记，则e可以写成下式： ...
2020-10-07 20:37:53
2757
原创 主成分分析方法PCA（二）
特征选择的目的：①：降低特征空间的维度，使后续的分类器设计在计算上更容易实现；②：为了消除特征之间可能存在的相关性，减少特征中与分类无关的信息，使新特征更有利于分类。主成分分析方法：（1）算法的出发点是从一组特征中计算出一组按重要性从大到小排列的新特征，它们是原有特征的线性组合，并且相互之间是不相关的。（2）算法实现思路：①记为p个原始特征，设新特征是这些原始特征的线性组合： ...
2020-10-07 18:36:42
335
原创 神经网络应用过程中的tips
神经网络在训练过程中，会遇到这样或那样的问题。本文对部分问题进行简单的分析与介绍，并尽量提出解决方案，帮助大家共同学习。
2020-09-13 23:13:09
153
原创 贝叶斯决策问题
一、最小错误率贝叶斯决策： 从最小错误率的要求出发，利用概率论重的贝叶斯公式，得出使错误率最小的分类决策，这就称之为最小错误率贝叶斯决策。使错误率最小的决策就是使后验概率最大的决策。可以表示为如下的几种形式： ①若，则； ②若，则； ③若，则； ④若，则；二、最小风险贝叶斯决策： 同样，在处理事务进行选择的过程中，将风险降到最小的决策就是最小风险贝叶斯决策。对样本x，最小风险贝叶斯决策可以按照以下步骤进行计算： ...
2020-09-10 23:35:03
1015
原创 图神经网络中的谱变换
（1）图G的拉普拉斯矩阵设为L，由于其是一个实对称矩阵，故可以被正交对角化，即（其中V是L的n个特征向量构造的正交特征矩阵，是V中特征向量对应的特征值）。（2）对于任意一个在图G上的信号x，其傅里叶变换为，这里将特征矩阵V称为傅里叶基，而是在傅里叶基上的傅里叶系数。（3）由于V是一个正交矩阵，对上面（2）中的左乘V，则有，该过程称为傅里叶逆变换。（4）在图信号处理中，我们将图滤波器定义为将图信号的频谱中各个频率分量的强度进行增强或者衰减。设图滤波器为H，输出信号为y，则： ...
2020-07-17 00:37:29
929
原创 博士申请——Research Proposal
之前在申请境外博士的时候，写过一篇RP（研究计划书）。由于不是硕士的研究方向，所以写的比较浅显。在这里贴出来，供大家参阅，对于某些童鞋，或许会有所帮助。 Why do Iwant the Ph.DAbout MyselfBackground My current re...
2020-04-14 21:59:06
4057
6
原创 基于深度学习的依存句法分析
依存分析，主要包括两种方法：Transition-based on Tree，Transition-based on Graph
2020-04-14 14:27:52
2650
原创 基于深度学习的知识图谱构建（简要综述）
1简介 信息技术的发展不断推动着互联网技术的变革，Web技术作为互联网时的标志性技术，正处于这场技术变的核心。从网页的链接到数据的链接，Web技术正在逐步朝向Web之父Berners-Lee设想中的语义网络演变。语义网络是一张数据构成的网络，语义网络技术向用户提供的是一个查询环境，其核心要义是以图形的方式向用户返回经过加工和推理的知识。而知识图谱技术则是实现智能化语义检索的基础...
2020-04-07 18:00:57
7440
原创 关于ELMo、Transformer及Bert的部分疑难问题解答
关于transformer的原理介绍，有很多地方有详细的解答，本文中我针对具体的问题，贴出一些相关的链接。transfer learning：针对自然语言的fine-tuning指的是XXX；Transformer在机器翻译中的decoder：1）在进行translation操作时，会在解码器的开始输入start token，来便于后续生成；2）在encoder-decoder的阶段，deco...
2020-04-06 22:18:38
804
原创 Word2Vec训练过程中的加速问题
学习ML/NLP的童鞋们都知道，word2vec是NLP的一个重要应用。Word2Vec是谷歌开源的一个将语言中字词转化为向量形式表达的工具。它通过在大数据量上进行高效训练而得到词向量，使用词向量可以很好地度量词与词之间的相似性。Word2Vec采用的模型包含了连续词袋模型Continuous Bag of Words（简称：CBOW）和Skip-Gram模型，其中CBOW是从原始语...
2019-06-23 22:05:29
3432
原创 反转0，但应该使得到的1数量最大
该题目是在线笔试时遇到的。题目的正式描述为：给定一个全部由0和1组成的字符串，并可以把0变换成1，但变换的次数最多为sec次，求经过变换后连续1的最大个数。#include<iostream>#include<string.h>using namespace std;int find(int *num, int start, int end){ int...
2019-05-26 17:08:47
852
原创 二叉树的子结构问题
这个问题，在很多面试当中会出现。所谓子结构，就是子树结构是树结构的一部分。我们可以使用递归的方法来进行相应的处理与判断。//树的子结构struct tree{ int value; tree *left; tree *right;};bool JudgeHas(tree *pRoot1, tree *pRoot2){ if (pRoot1 == N...
2019-05-26 16:57:26
258
原创 Z字形遍历二叉树
常见的二叉树遍历，有层次遍历、前序遍历、中序遍历、后序遍历。其中层次遍历中最常见的是正序层次遍历，但也会出现Z字形遍历的情况：如果从左向右输出第n行，则下一行从右向左输出。正序层次遍历是利用队列的先到先得性质，很明显Z字形遍历要用到栈得性质来实现。我们在输出时，可以借助行的奇、偶性，实现代码如下：void print(Tree *root){ if (root == NULL) ...
2019-05-26 16:38:42
2318
原创 C++语言实现堆排序
堆排序也是一种较为简单和常用的排序方式，其在面试和工程实践中常被提及。具体的理论知识在严蔚敏、吴伟民版《数据结构》课本上非常清晰。这里，仅展示其C++语言实现。void HeapAjust(int a[],int cur,int tail){ int max = cur;//在当前节点的小树中调整 int left = cur*2;//当前节点的左子树 int ri...
2019-05-24 22:45:46
215
原创 C++语言实现归并排序
归并排序的表现形式有多种，最常见的当然是递归归并排序，这里不再赘述。我们主要来实现两种不常用的归并排序形式：非递归归并排序和原地归并排序。非递归归并排序void Merge(int num[], int size)//size表示长度，因此索引应该最大是size-1{ int len = 1; while(len <= size) { fo...
2019-05-24 22:38:20
287
原创 深度学习中的部分常见问题
（1）为什么算法有时候会陷入局部最优？通常情况下，目标函数是权值的复杂的非线性函数，往往存在多个局部极小点。梯度下降法如果收敛到一个局部极小值点，梯度就等于或接近于0，无法进一步改进目标函数，导致学习过程无法收敛到全局最优解。（2）如何选择合适的初始权值？BP算法的最终收敛结果有时受初始权值的影响很大。各个初始权值不能为0，也不能都相同，而是应该采用较小的随机数。在实验应用中，如果算法...
2019-05-21 22:54:53
497
原创 支持向量机与核函数
（1）支持向量机是通过引入特征变换来将原空间的非线性问题转化为新空间中的线性问题。（2）在前面的博文中，我们得到结论，支持向量机的决策规则为： ①如果我们对样本特征x进行非线性变换，记新特征为，则在新特征空间里构建的支持向量机的决策函数为： ...
2019-05-21 22:21:21
536
原创 支持向量机（二）
之前的博文中，我们讨论了线性支持向量机。这里，我们讨论非线性的情况。（1）样本集线性不可分，是说对于样本集，其中，不等式不可能被所有样本同时满足。（2）当（1）中的问题存在时，即称为非线性可分。我们总可以在不等式的左侧加上一个正数（我们称该数为松弛因子），使得不等式成立。如果样本被正确分类，即，则；如果样本不能被正确分类，则这个样本对应的，则。（3）我们在（2）的条件下重新设计支持...
2019-05-21 21:20:15
298
原创 Fisher线性判别分析
（1）高维特征的两类线性判别问题可以看作是把所有样本都投影到一个方向上，然后在这个一维样本空间中确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。（2）由（1），我们可知，所谓分类就是要寻找一个投影方向w（），使原始空间中的样本投影之后变成。我们以两类分类为例，即：使用表示第i类样本，表示第i类样本的均值，表示第i类的样本数量。 ①则原始空间中的第i类样本均值计算...
2019-05-20 23:26:41
2467
3
原创 SVM简介及简单推导
（1）最优超平面的定义：一个超平面，如果它能够将训练样本正确地分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离最大，则这个超平面被称作最优超平面。其中，样本中离分类面最近的样本到分类超平面的距离被称作分类间隔。（2）对于超平面H：g(x)=wx+b=0。求取任意点x到该平面的距离：将该点表示成向量x，则有x=x'+r*w/||w||。式中x'是x在H上的投影向量；r是x到H的垂直距...
2019-05-19 23:36:56
445
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人