- 博客(40)
- 收藏
- 关注
RSS订阅原创 短句
Do not suffer one who has hurt you to live, to do so is an open admission of weaknessSecondary school level students may take classes at community colleges which typically have open admission policiesIn this case,you’ll want to set yourself a distant de.
2020-10-17 15:22:38
2945
原创 2020-10-11
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、統計 / 計量經濟需要的線性代數1.二、使用步骤1. Some notes of Matrix Operations2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，
2020-10-11 23:19:56
276
1
原创 LaTeX矩阵与换行对齐两开花
1 开花前本科毕设中需要输入如下的公式以凑字数 ：不想花时间系统地学LaTeX…多看了几篇博客东拼西凑勉强开了个花。2 开花中矩阵对齐有好多：直接用matrix、pmatrix、bmatrix、Bmatrix、vmatrix或者Vmatrix环境:使用array环境来输入矩阵使用\left[ \begin{array}{ccc} 1 & 0 & -1\\ 1 & 0 & -1\\ 1 & 0 & -1 \end{array} \right ]
2020-06-02 10:22:22
10750
2
原创 一次将tensorflow中的tf.nn.conv2d优(re)雅(shape)的转化成torch.nn.F.conv2d的咸鱼操作
写在前面毕设勉强中…看了《A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization》后准备写一个pytorch版本的，以便用于后续的相关工作，今天算是被CV领域的各种conv2d洗了个遍…CapsE的作者是忠实的TFBoys，他在代码中传达了我们小学二年级的...
2020-04-21 23:41:38
894
原创 对图神经网络的过平滑问题的一点粗浅见解（真·很肤浅的看法）
针对图信号的低通滤波特性：不好意思放错了，是这个：（请忽略我寒酸的草稿纸和顺时针90°的格式…貌似CSDN的编辑器没有能旋转的功能呢）不影响不影响，截图然后旋转就行啦（涩图都给你们了，别在意这些细节~）发现这个图信号在和其特征矩阵做相似性度量的内积。而在图谱领域里，节点的图信号与特征向量做内积其结果就是图的傅里叶变换，也由此有图的拉普拉斯矩阵：Lx=VλVT=<x⋅v>v=...
2020-04-08 22:30:19
1247
2
原创 解决pandas处理json为csv格式时的中文乱码
将json文件：转为csv格式的训练数据集，运行：#!/usr/bin/env python # -*- coding:utf-8 -*-import osimport csvimport jsonimport pandas as pdfilename="E:/Kancolle/Kancolle.json"with open(filename,'r',encoding='utf...
2020-03-19 13:12:56
1171
原创 Multi-head attention with DR
注意力机制的核心部分是通过计算KKK(键)序列与qqq(查询)的相关性，来得到注意力权重a(通过一定的映射关系fff): a=f(q.K)a=f(q.K)a=f(q.K)。具体来说，Attention(Q,K,V)Attention(Q, K, V)Attention(Q,K,V)函数在输入矩阵 Q、K 和 V 的情况下可计算 Query 序列与 Value 序列之间的注意力关系。其中 Q 的维度...
2020-03-09 21:58:10
975
5
原创 学习论文 "Edge-Labeling Graph Neural Network for Few-shot Learning"笔记
个人笔记对模型数学上的解读部分很大程度上受到这篇博客的启发与参考NotationT=S∪QT=S \cup QT=S∪Q,support set and query set, support set SSS in each episode serves as the labeled training setxix_ixi and yi∈{C1,...,CN}=CT⊂Cy_i \in \{C...
2020-02-17 18:47:04
865
NLP中的特征抽取器
通常而言，绝大部分 NLP 问题可以归入以下四类任务中：第一类是序列标注，这是最典型的 NLP 任务，比如中文分词，词性标注，命名实体识别，语义角色标注等都可以归入这一类问题，它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。第二类是分类任务，比如我们常见的文本分类，情感计算等都可以归入这一类。它的特点是不管文章有多长，总体给出一个分类类别即可。第三类任务是句子关系判断，比如...
2020-02-12 18:21:07
291
原创 学习论文 "Zero-shot Learning via Simultaneous Generating and Learning"笔记
Notationθ\thetaθ:represents the parameters of the deep neural network that define the decoder.ψ\psiψ:represents the parameters of the deep neural network that define the encoder.qϕ(z∣x,y)q_{\phi}(z...
2020-02-12 18:05:56
780
6
原创 EM算法（极简）
期望极大化(EM)算法可用于生成某些多模态数据分布参数的最优假设。注意，我们说的是“最佳”假设。但是什么是“最佳假设”呢?分布参数的最佳假设是最大似然假设最大概率来自K个分布，每个分布有均值mkm_kmk和方差σk2\sigma_k^2σk2我们假设要处理K个正态分布：在单模态正态分布中，该假设h直接由数据估计为:estimated(m)=m≃sum(xi)/Nestimated(m)...
2020-02-04 14:38:42
230
原创 学习论文《Neural Snowball for Few-Shot Relation Learning》笔记
笔记在一定程度上参考了AI科技评论的用于少次关系学习的神经网络雪球机制1.文章的创新点关系增长的关系抽取关系抽取（RelationExtraction）是自然语言处理当中的一个重要研究课题，其探究如何从文本中抽取结构化的关系事实。例如，从句子“比尔盖茨是微软的创始人”中，我们可以抽取出（比尔盖茨，创始人，微软）这样一个关系三元组，并用于知识图谱补全等下游任务中。与关系抽取相关的工作有很多...
2020-01-31 17:00:42
2725
3
原创 学习论文"Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs"笔记
1.文章的重点工作和创新点1.Zero-shot：零样本学习，相关简介如下，禁 止 套 娃零样本学习常用演算法有：Domain Adaptation，推荐Associative Adaptation系列的论文"Associative Domain Adaptation"Data Selection：是一种相对直观的方法，论文《Selecting Training Data for ...
2020-01-29 22:47:55
2095
5
原创 理解GCN(三)：以某一种逐层传播的规则为例
根据@superbrother的相关回答，参考了Semi-Supervised Classification with Graph Convolutional Networks文章提出的逐层传播规则建立的图卷积模型，结合tkipfTensorFlow版本的GCN代码更加系统的了解了“卷积”这一过程。1 Fast approximate convolution on Graph的数学模型作者利...
2020-01-28 22:21:52
1624
5
原创 知识图谱、图神经网络等一周论文整理(一)
模型篇清华孙茂松组：入门GNN必读35篇High【图神经网络】MixHop: Higher-Order Graph Convolution Architectures via Sparsified Neighborhood Mixing#开源论文# #ICML 2019# 本文是图分析大牛Bryan Perozzi组发表于ICML 2019的工作。本文argue现有的GNN模型无法学习到...
2019-12-17 20:01:34
1930
原创 理解GCN(二）从拉普拉斯矩阵到Ncut问题
0 文章小节分类相关线代启示录对Laplancian Matrix的基础理解对经典文章《Normalized Cuts and Image Segmentation》中的normalised cut algorithm部分做详细的个人理解与阐述1. 相关线代启示录1.1 特征值与特征向量部分：https://blog.csdn.net/qq_38382642/article/det...
2019-12-17 00:32:01
1514
1
原创 理解GCN(一）：从拉普拉斯矩阵到谱聚类
1 什么是GCN：了解GCN之前必须对离散卷积（或者说CNN中的卷积）有一个明确的认识：这篇博客介绍了卷积的简单理解，离散卷积本质就是一种加权求和。以下介绍离散卷积的篇幅参考了这篇文章的第一部分：如图1所示，CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系...
2019-12-15 22:34:20
2057
转载 什么是互相关
在这里我想探讨一下“互相关”中的一些概念。正如卷积有线性卷积（linear convolution）和循环卷积（circular convolution）之分；互相关也有线性互相关（linear cross-correlation）和循环互相关（circular cross-correlation）。线性互相关和循环互相关的基本公式是一致的，不同之处在于如何处理边界数据。其本质的不同在于它们对原始...
2019-12-15 16:18:16
10149
2
转载 如何通俗易懂地解释卷积
从数学上讲，卷积就是一种运算。某种运算，能被定义出来，至少有以下特征：抽象的，符号化的在生活中，科研中有着广泛的应用比如加法：a+ba+ba+b，是抽象的，本身只是一个数学符号在现实中，有非常多的意义，比如增加、合成、旋转等等卷积，是我们学习高等数学之后，新接触的一种运算，因为涉及到积分、级数，所以看起来觉得很复杂。1. 卷积的定义我们称(f∗g)(n)(f*g)(n)(...
2019-12-15 14:20:57
561
原创 KGAT : Knowledge Graph Attention Network for Recommendation
0 ABSTRACT在推荐系统领域中，为了使推荐结果更加准确、可解释性更高，不仅要考虑user-item之间的关系，引入外部知识丰富user-item之间的信息也非常有必要。在这方面比较常用的方法主要有FM算法（factorization machine，因子分解机），该方法主要问题在于将user-item作为相互独立的实例，忽视了item之间可能存在的相互作用关系。本文提出了一种基于知识图谱...
2019-12-12 23:19:41
2181
1
原创 TransE算法的整理
TransE1 TransE的作用TransE 作用就是把三元组翻译成embedding词向量的方法三元组，也就是（头实体，关系，尾实体）的形式，头实体和尾实体统称为实体。为了简化起见，我们用(h,r,t)来表示三元组。其中h表示头实体r表示关系t表示尾实体我们的目标是将知识库中所有的实体、关系表示成一个低维的向量。我们把三元组(h,r,t)对应的向量表示为(h,r,t)。h 表...
2019-12-10 21:24:52
2882
3
翻译 Transformer 的工作原理
要想了解BERT，首先需要掌握他的基本结构Transformer.自然语言处理中，有三种特征处理器（就是特征抽取器）：卷积神经网络、递归神经网络和后起之秀 Transformer。...
2019-12-08 22:54:08
380
1
翻译 Byte Pair Encoding
IntroductionIn natural language processing models, the inputs to the model are usually sequences of sentences, such as “I went to New York last week.”. The sequence consists of tokens. In old languag...
2019-12-07 20:15:47
491
原创 Encoder-Decoder和Seq2Seq with Attention
1 什么是 Encoder-Decoder ？Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特值某种具体的算法，而是一类算法的统称。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务,这个框架很好的诠释了机器学习的核心思路：将现实问题转化为数学问题，通过求解数学问题，从而解决现实问题。Encoder 又称作编码器。它的作...
2019-12-06 16:53:51
405
原创 python的队列+线程实验记录
FIFOFirst In First Out ，先入先出队列。FIFO 本质上只有两种操作，读&写，分别从队列的两端读取第一个数据，写入最后一个数据。FIFO 在数据结构课上最先和大家见面，广泛用于计算机程序和结构中，在 FPGA 中的 FIFO 的含义和软件中的 FIFO 完全相同，只不过更加贴近硬件的实现。在数据缓冲，跨时钟域处理中将会大量运用到 FIFO 结构QueuePy...
2019-11-22 20:28:34
218
翻译 嵌套(Embeddings)
2. 分类输入数据 Categorical data分类数据是指用于表示一组有限选项中的一个或多个离散项的输入特征。例如，它可以是某用户观看过的一组影片，某文档中使用的一系列单词，或某人从事的职业。分类数据的最高效表示方式是使用稀疏张量(sparse tensors)（一种含有极少非零元素的张量）。例如，如果要构建一个影片推荐模型，可以为每部可能的影片分别分配一个唯一的 ID，然后通过用户已观...
2019-11-21 20:22:18
2232
原创 随机采样方法
背景随机模拟中有一个重要的问题就是给定一个概率分布p(x)，我们如何在计算机中生成它的样本。一般而言均匀分布 Uniform(0,1)的样本是相对容易生成的。 通过线性同余发生器可以生成伪随机数，我们用确定性算法生成[0,1]之间的伪随机数序列后，这些序列的各种统计指标和均匀分布 Uniform(0,1) 的理论计算结果非常接近。这样的伪随机序列就有比较好的统计性质，可以被当成真实的随机数使用。...
2019-11-15 22:32:41
410
原创 马尔科夫链的学习笔记（1）
1.1 Markov链的定义：称XnX_nXn是一个转移矩阵为p(i,j)p(i,j)p(i,j)的离散时间Markov链，如果对任意j,i,in−1,...,i0j,i,i_{n-1},...,i_0j,i,in−1,...,i0，有P(Xn+1=j∣Xn=i,Xn−1=in−1,...,X0=i0)=p(i,j)P(X_{n+1}=j|X_{n}=i,X_{n-1}=i_{n-1},....
2019-09-30 22:52:40
504
原创 线性回归的一些基础概念
yi，y^，yˉy_i，\hat{y}，\bar{y}yi，y^，yˉ：真实值、预测值、所有真实值的平均值两个系数都是用来衡量模型的线性程度学习率：调节每一次梯度下降的步长，如下图：学习率太小，时间过长；学习率太大，得不到非常近似的全局最小值。:=:=:=就是将右边的式子赋值给左边，对代价函数求导（两个变量，偏导），以此改变初始化的θj\theta_jθj的值凸函数的两个...
2019-08-29 23:03:26
145
转载 似然与概率
Likelihood & Maximum likelihood似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来...
2019-08-04 18:46:20
187
原创 RNN（二）
tf.train.exponential_decay() 指数衰减法：https://www.cnblogs.com/gengyi/p/9898960.htmlTensorFlow中global_step的简单分析:（比如为什么指数衰减法中要添加global_step）：https://blog.csdn.net/leviopku/article/details/78508951Nump...
2019-08-02 21:35:40
107
原创 Tensorflow实战学习笔记（1）
TensorFlow实现Softmax Regression识别手写数字书本P46-53一、相关概念何谓MNIST？何谓One-Hot编码？何谓Softmax回归等书中的名词可以参见这篇博客：https://blog.csdn.net/qq_37608890/article/details/79343860二、第一步：分类 Softmax Regression工作原理：将可以判定为某类...
2019-06-30 20:48:02
122
原创 Linux学习笔记（五）
Linux常用命令——链接命令前面介绍过一个词：软链接原文件：想生成链接文件的文件目标文件：新生成的链接文件的名称软链接：ln -s硬链接：ln 加文件名上图原文件：/etc/issue目标文件：把它放到/tmp目录下，起个名字：issue.soft硬链接同理对比软硬链接区别：对比原文件与软链接文件的文件信息（ls -l）：权限首字母l表示文件类型，链接文件——li...
2019-06-29 15:22:46
130
原创 LINUX学习笔记（四）
4.1.4Linux常用命令——文件处理命令mkdir是创建目录命令，如果现在想 创建文件 ,则使用touch命令举例：创建japanlovestory.list文件名touch加文件名和touch加目录加文件名有什么区别？在Linux命令中如果这个命令的参数后面没有指定这个参数的详细目录，则表示在当前目录下执行者个操作，创建这个文件。但是如果你想放在其他目录下创建这个文件，一定要...
2019-06-29 14:09:10
124
原创 Ubuntu16.04连接Sony WH1000-XM3
问题重述使用XM3开启蓝牙，Ubuntu的蓝牙界面中并不能成功搜索到XM3解决步骤XM3关机状态下长按电源键7秒 ，进入耳机配对状态；下载Blueman进行耳机配对，因为仅使用Ubuntu自带的蓝牙管理器貌似并没有与XM3配对的功能；sudo apt install blueman -y成功安装后电脑右上角等待一段玄学过程即可发现程序图标（对就是那该蓝绿蓝绿的蓝牙图标）如右...
2019-06-29 11:38:24
1736
原创 Linux学习笔记（三）
4.1.2 Linux常用命令——目录处理命令你指尖跃动的代码是我终身不变的信仰，唯我面向操作系统编程永世长存直接mkdir不能创建本身不存在的目录，创建不存在的目录要-p ，举例如下：以及使用mkdir -p 同时创建多个不存在的目录的小方法：使用cd切换目录，有时不能显示当前完整目录，可以使用pwd命令可以显示当前目录的绝对路径删除目录：（空目录，就是里面没有东西的...
2019-06-29 01:11:38
120
原创 Linux学习笔记（二）
4. Linux命令4.1.1命令格式与目录处理命令ls命令本身(ls)-：标记：表示这是一个选项，是采用这个命令的什么选项（如-la）参数：这个命令针对的对象（文件、目录等）隐藏文件的意义：现在很多病毒都是隐藏文件，最开始的设计初衷是告诉用户除非没有特别情况就不要动这些隐藏文件，在linux中以点开头的都是隐藏文件（ls -a，在WIN中电机属性可以显示隐藏文件），a表示all...
2019-06-29 00:21:00
106
原创 Linux学习笔记（一）
3.1注意事项Linux中所有内容以文件形式保存，包括硬件，win中硬件就是硬件，通过设备管理器管理硬件，但是Linux所有的东西都是文件，通过管理文件来间接操作硬件，Linux中用命令行的更改都是临时生效。无论是网络设置，环境变量还是配置文件，必须都写到配置文件里面。Linux没有扩展名的概念，win中对于没有扩展名的文件，会弹出“使用何种方式打开文件”，但是Linux中也有一些习惯性的用...
2019-06-28 22:33:39
145
原创 Python中的面向对象概述笔记
Python中的面向对象概述笔记（1）吾王呆毛所指 吾等心之所向 !1 对象——Object对象分为两个部分——静态部分和动态部分：静态部分称为“属性”在Python中，一切都是对象，即不仅使具体的事物称为对象，字符串，函数等也都是对象。2 类类是封装对象的属性和行为的载体，也就是说具有 相同属性和行为（方法） 的一类实体会被称为类。在Python中，可以定义每个对象共有的属性和...
2019-06-25 00:02:08
289
原创 B站学习法之深度学习笔记一
B站学习法之深度学习笔记一Three Steps for Deep Learning接下来开头课程的outline1.Fully connected layer(全连接层)1.1关于全连接层的浅显理解1.2关于全连接层的浅显理解合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一...
2019-05-02 23:19:40
2581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人