luoxuexiong的博客

转载 互信息（Mutual Information）介绍

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。1.互信息的定义　

原创 ACM 下会议的最新Latex模板的使用方法和投稿注意事项

ACM 下会议的最新Latex模板的使用方法和投稿注意事项1. ACM 会议的最新Latex模板的使用方法解压从ACM会议指定官网下载的压缩包，一般使用sample-sigconf模板。新建一个文件夹将acmart-master中acmart.cls 、acmart.bib、ACM-Reference-Format.bst及samples文件夹下sigconf拷入，编译即可。报错是因为没有考入sample下的图片sample-franklin.png。另外。Texstudio的编译改为Xelatex

转载 深度学习模型中的学习率调整

非常关键------------------深度学习模型中的学习率调整学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度，大多数优化算法（SGD、RMSprop、Adam）对其都有所涉及。学习率越小，损失梯度下降的速度越慢，收敛的时间更长，如公式所示：new_weight= existing_weight — learning_rate * gradient(新权值 = 当前权值 – 学习率 × 梯度) 如果学习率过小，梯度下降很慢，如果学...

转载 Tanh,Sigmoid 和Relu 激活函数使用介绍

首先解释为什么要做：再解释怎么做：从数学上来看，Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。在具体应用中，tanh函数相比于Sigmoid函数往往更具有优越性，这主要是因为Sigmoid函数在输入处于[-1,1]之间时，函数值变化敏感，一旦接近或者超出区间就失去敏感性，处于饱和状态，(3) ReLU第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计

转载 PyTorch中F.cross_entropy()函数

在自己的实例中，发现对PyTorch中F.cross_entropy()函数的理解不到位，无意中发现一个比较好的博客，为了能够记录这次的收获，转此博客，如大家有相似的困惑，可以去看看。链接地址：https://blog.csdn.net/wuliBob/article/details/104119616...

原创 运行出现DuplicateFlagError：解决方法

DuplicateFlagError: The flag 'dataset' is defined twice. First from train.py, Second from train.py. Description from first occurrence: Dataset string.当出现以上这种报错时候，可以采用以下方法，亲测有效。清除控制台重新启动Restart...

原创 源码因为Tensorflow版本问题报错解决办法

当我们的项目在Tensorflow 1.0 的环境下写的，放在Tensorflow 2.0 环境下运行时出现报错，可以考虑下面的几种方法，绝对有效，亲测哦！方法1：最直接的就是卸载当前的Tensorflow 2.0 版本，安装Tensorflow 1.0 版本；方法2 ：直接引入Tensorflow库时，改为以下方式：import tensorflow.compat.v1 as tf...

转载 熵与信息增益等各种概念讲解

熵与信息增益在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为：I(x0)=−log(p(x0))当p(x0)=1时，熵将等...

转载 卷积神经网络中激活函数的意义

激活函数的意义：在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。简单的说激活函数的意义在于判定每个神经元的输出有没有达到阈值。放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式（卷积核w）不能在该块区域提取到特征，或者说这块区域的这种特征很...

转载 tf.squeeze()的解析

squeeze( input, axis=None, name=None, squeeze_dims=None)该函数返回一个张量，这个张量是将原始input中所有维度为1的那些维都删掉的结果axis可以用来指定要删掉的为1的维度，此处要注意指定的维度必须确保其是1，否则会报错。>>>y = tf.squeeze(inputs, [...

转载 英文论文写作中(i.e.,)和(e.g.,)使用区别

i.e. 是拉丁文 id est 的缩写，它的意思就是“那就是说，换句话说”，等同于“that is，in other words” ，目的是用来进一步解释前面所说的观点。e.g. 是拉丁文 exempli gratia 的缩写，它的意思是“举个例子，比如”，等同与“for example”,目的就是用几个例子来说明前面的观点。etc.就比较好理解了，它是 etcetera 的缩写，意思是“等...

转载 怎么将你的论文代码上传到Github

首先你需要一个github账号，所有还没有的话先去注册吧！https://github.com/我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可：https://git-for-windows.github.io/1.进入Github首页，点击New repository新建一个项目2.填写相应信息后点击create即可Repositor...

转载 Latex中转置矩阵的转置符号的书写

转载 拉普拉斯矩阵介绍

拉普拉斯矩阵介绍：本文源于简书，如有冒犯，还望谅解。文章链接：https://www.jianshu.com/p/f864bac6cb7a拉普拉斯矩阵是图论中用到的一种重要矩阵，给定一个有n个顶点的图 G=(V,E)，其拉普拉斯矩阵被定义为 L = D-A，D其中为图的度矩阵，A为图的邻接矩阵。例如，给定一个简单的图，如下（例子来自wiki百科）：把此“图”转换为邻...

转载 从工业的实际应用角度看网络表示学习

从工业的实际应用角度看网络表示学习本文转载于AI科技大本营文章，如有冒犯，还望谅解。文章链接：https://www.sohu.com/a/340623157_999791799月6-7日，在由CSDN主办的2019中国AI开发者大会（AI ProCon 2019）的 机器学习专场中，知乎算法团队负责人孙付伟在机器学习专场中分享了《Graph Embedding及其在知乎的实践》。...

转载 网络表示学习的概述（一）

网络表示学习的概述（一）本文源于知乎文章，如有冒犯，还望谅解。文章链接：https://zhuanlan.zhihu.com/p/32504175随着社交媒体的飞速发展，在线社交网络成为了人们赖以生存的第二世界。大规模社交网络用户的形成使得传统的网络表示方法遇到了瓶颈，由于随着深度学习技术的蓬勃发展以及受自然语言处理领域词嵌入技术的启发，自动学习网络中节点的向量表示成为近年来的研究热点...

原创 UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 0: illegal multibyte sequence

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 0: illegal multibyte sequence以上的报错：是在打开文件时，缺少读写方式，请按照以下方式写：open( ，'rb')如果紧接着会如下的报错：UnicodeDecodeError: 'ascii' codec can't de...

转载 VAE：变分自编码器的原理介绍（一）

本文转载于以下博客地址：https://www.cnblogs.com/huangshiyu13/p/6209016.html如有冒犯，还望见解。VAE(Variational Autoencoder)的原理Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes."arXiv preprint ...

转载 图神经网络详解（三）

图神经网络综述论文解读（二）本文链接地址： https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754558&idx=2&sn=7d79191b9ed30679d5d40e22d9cabdf8&chksm=871a8980b06d00962e0dbe984e1d3469214db31cb402b47...

转载 图神经网络详解（二）

图神经网络综述论文解读（一）本文链接地址：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754422&idx=4&sn=0dc881487f362322a875b4ce06e645f7&chksm=871a8908b06d001ef7386ccc752827c20711877a4a23d6a8...

转载 图神经网络详解（四）

图神经网络综述论文解读（三）本文链接地址：https://www.jiqizhixin.com/articles/2019-01-07-8本文转载于机器之心博文，如有冒犯，还望谅解。最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等，详细...

转载 图神经网络（GCN） 详解（一）

图神经网络（GCN） 原理实现解读本文转载机器之心的的博文，如有冒犯，还望指正。原文链接地址如下：https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780何为图卷积网络？GCN 是一类非常强大的用于图数据的神经网...

转载 init.xavier_uniform（）的用法

本文转载于以下博客地址：https://blog.csdn.net/dss_dssssd/article/details/83959474如有冒犯，还望见谅！本文内容：1. Xavier 初始化2. nn.init 中各种初始化函数3. He 初始化torch.init ：https://pytorch.org/docs/stable/nn.html#torch-nn-init...

转载 tf.nn.embedding_lookup函数的用法

本文转载于以下博客地址：https://www.cnblogs.com/gaofighting/p/9625868.html如有冒犯，还望谅解！tf.nn.embedding_lookup函数的用法主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup（params, ids）:params可以是张量也可以是数组等，id就是对应的索引，其他的参数不介绍。例如...

转载 KL散度详细分析

本文转载于简书，地址链接为：https://www.jianshu.com/p/7b7c0777f74d如有冒犯，还望谅解！直观解读KL散度的数学概念关键点摘要KL 散度是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。定义如下：其中 p(x) 是目标分布，q(x)是去匹配的分布，如果两个分布完全匹配，那么KL 散度又叫相对熵，...

转载 Adam优化算法详细解析

本文转载于以下博客地址：http://www.atyun.com/2257.html如有冒犯，还望谅解！Adam优化算法是一种对随机梯度下降法的扩展，最近在计算机视觉和自然语言处理中广泛应用于深度学习应用。在引入该算法时，OpenAI的Diederik Kingma和多伦多大学的Jimmy Ba在他们的2015 ICLR发表了一篇名为“Adam: A Method for Stochast...

转载 梯度下降算法详细解析及代码实现

本文转载于以下博客地址： https://www.jianshu.com/p/c7e642877b0e如有冒犯，还望谅解！梯度下降的场景假设 梯度 梯度下降算法的数学解释 梯度下降算法的实例 梯度下降算法的实现 Further reading本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！...

转载 Word2vec原理浅析及gensim中word2vec使用

本文转载于以下博客链接：Word2vec原理浅析：https://blog.csdn.net/u010700066/article/details/83070102；gensim中word2vec使用：https://www.jianshu.com/p/b779f8219f74如有冒犯，还望谅解！Word2vec原理浅析及tensorflow实现Word2Vec是由Google的M...

转载 SE-Net网络深度解析

本文来自于转载，如有冒犯，还望理解！论文代码链接：https://github.com/hujie-frank/SENethttps://github.com/binLearning/caffe_toolkit下面我将介绍我们提出的 SENet，论文和代码会在近期公布在 arXiv 上，欢迎大家 follow 我们的工作，并给出宝贵的建议和意见。我们从最基本的卷积操作开始说起...

转载 tf.nn.sigmoid_cross_entropy_with_logits详解

本文转载于以下博客地址：https://www.cnblogs.com/bonelee/p/8995898.html如有冒犯，还望谅解！tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)sigmoid_cross_entropy_with_logits详解...

转载 tf.cast(）函数解析

本文转载于以下博客地址：https://blog.csdn.net/ddy_sweety/article/details/80408000如有冒犯，还望谅解！tf.cast(）cast( x, dtype, name=None)————————————————————————————————————————————————————————将x的数据格式...

转载 模型评估之混淆矩阵（confusion_matrix）含义及Python代码实现

本文转载于以下博客地址：https://baijiahao.baidu.com/s?id=1619821729031070174&wfr=spider&for=pc如有冒犯，还望谅解！在前面的文章中我们讲到了回归模型和分类模型的评估指标，区分了准确率和精确率的区别，并且比较了精确率和召回率内在的联系。本篇文章我们再来学习另外一个评估方法，即混淆矩阵（confusion_ma...

转载 tf.argmax函数讲解

本文转载于以下博客地址：https://blog.csdn.net/u013580539/article/details/79339250如有冒犯，还望谅解！关于tf.argmax，我看到网上的资料有些杂乱难以理解，所以写这篇文章。在tf.argmax( , )中有两个参数，第一个参数是矩阵，第二个参数是0或者1。0表示的是按列比较返回最大值的索引，1表示按行比较返回最大值的索引。下面...

转载 logits的含义以及tf.nn.softmax_cross_entropy_with_logits函数分析

本文转载于其他博客，如有冒犯还望谅解！1. 什么是logits？说到Logits，首先要弄明白什么是Odds？在英文里，Odds的本意是指几率、可能性。它和我们常说的概率又有什么区别呢？在统计学里，概率（Probability）描述的是某事件A出现的次数与所有事件出现的次数之比:P(A) = 发生事件A的次数/所有事件的次数。（公式1）很显然，概率 P...

转载 《Heterogeneous Graph Attention Network》论文解读

《Heterogeneous Graph Attention Network》发表在WWW2019会议上论文地址Heterogeneous Graph Attention Network:https://arxiv.org/pdf/1903.07293.pdf论文解读：文章目录 ABSTRACT KEYWORDS INTRODUCTION RELATED WORK...

转载 度量学习 (Metric Learning) 解读

本文转载于以下博客地址：https://blog.csdn.net/jningwei/article/details/80641184如有冒犯，还望谅解！Introduction度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning，DML) == 相似度学习 是人脸识别中常用传统机器学习方法，由Eric Xi...

转载 元路径解析

本文转载于以下博客地址：https://blog.csdn.net/hy_jz/article/details/78862226如有冒犯，还望谅解！Meta Path 是2011年 Yizhou Sun etc. 提出的 http://www.morganclaypool.com/doi/abs/10.220/S00433ED1V01Y201207DMK005, 针对异质网络中的相似性搜索...

转载 softmax和softmax loss详细解析

本文转载于以下博文地址：https://blog.csdn.net/u014380165/article/details/77284921如有冒犯，还望谅解！我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单...

转载 聚类算法和分类算法总结

本文源于转载，如有冒犯还望见谅，多谢！聚类算法总结原文:http://blog.chinaunix.net/uid-10289334-id-3758310.html聚类算法的种类：基于划分聚类算法（partition clustering)k-means： 是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚点不一定是聚类中的一个点，该算...

原创 python列表截取操作