ptxx_p的博客

原创 《BiG-Fed: bilevel optimization enhanced graph-aided federated learning》论文阅读

原创 《graph self- supervised learning：a survey》论文阅读

2022.5.5 天气晴。《graph self- supervised learning：a survey》一、介绍二、重要定义三、框架与分类3.1 框架定义3.2 图自监督学习的四种分类3.3 自监督训练策略的分类3.4 下游任务的分类四、generation-based methods4.1 feature generation4.2 structure generation一、介绍图上的深度学习多数关注于半监督学习/监督学习，但是对标签具有很严重的依赖性、泛化能力弱、鲁棒性弱，所以SSL(自监

原创 《Fast unfolding of communities in large networks》论文阅读

2022.5.3 天气晴，白天热晚上冷。physics，2008.《Fast unfolding of communities in large networks》一、出发点二、方法三、对方法的分析四、在大型网络上的应用（application to large networks）一、出发点community detection：将大图分割成小图，小图内的节点紧密关联，小图间几乎没有关联。分割的测度或者也是优化目标：modularity，定义如下：Q=12m∑i,j[Aij−kikj2m]δ(c

原创 《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文阅读

4.29 天气：阴。看论文看不懂，所以找回来这篇经典的FedAvg看看。AISTATS 2017.《Communication-Efficient Learning of Deep Networks from Decentralized Data》一、intro二级目录三级目录一、intro数据的中心化存储不现实、不安全。所以数据需要分布式存储。主要贡献：1）本文定义了在去中心化的数据上进行训练是一个重要的方向。2）提出了在1)的setting下的解决方案。3）提出一种合适的实验测度。

原创 《subgraph federated learning with missing neighbor generation》论文阅读

写作日期：2022.4.25。 天气：下大雨。2021 NeurIPS。《subgraph federated learning with missing neighbor generation》论文阅读1.提出动机2.挑战+解决思路3.具体解决方案3.1 FedSage3.1.1 分布在局部系统内的子图3.1.2 在独立的子图上进行协同学习3.2 FedSage+4.实验5.我的思考1.提出动机一个大图由于存储或者是隐私问题等存储在不同的子图中，如何在不共享子图之间信息的情况下训练一个好的可以综合

原创 手写论文笔记(一)：fastGCN

原创 deep graph infomax代码阅读总结

ICLR 2019。ps:我觉得论文看method看不大懂，不如直接去看代码最清楚。1.一种无监督的训练方式，核心：最大化互信息。（全图的信息与正样本局部信息最大化，全图的信息与负样本局部信息最小化。）2.大致流程：通过最大化互信息训练图嵌入结果（无监督），训练线性分类器（有监督）完成图分类任务。3.DGI定义：class DGI(nn.Module): # ft_size, hid_units, nonlinearity def __init__(self, n_in, n_h,

原创 《Self-supervised Complex Network for Machine Sound Anomaly Detection》论文阅读

1. introduction无监督学习的异常声音检测可以分为三个类别：重构，分布，特征学习。基于重构的方法使用参考输入和重构输出，并且认为正常声音的重构准确度应该高于异常声音。ae和vae都属于这类方法的典型模型。gan表现的不好，因为它能同时重构好异常声音和正常声音。基于分布的方法通过测量输入声音和正常声音的预训练好的分布的统计相似度来探测异常声音。GMM就是这种方法的典型模型。在基于分类的方法中，代表的特征嵌入通过将输入数据变换到特征域来获得，然后，分类任务使用这些学习到的特征。因为embeddin

原创 D4rl安装大坑

安装好mujoco之后，可以出现木偶人画面了！（这个自己查一下，网上很多）手动安装dm_control：在安装dm_control时：https://github.com/deepmind/dm_control （下载git）python setup.py install --user修改setup.py文件：def _finalize_mjbindings_options(cmd_instance): """Post-process options relating to `build_m

转载 杂记（1.21）

杂记

转载 《deep graph infomax》论文阅读

deep graph infomaxabstract1.introduction2.related work3.DGI methodology3.1 基于图的无监督学习abstract本文提出了deep graph infomax（DGI），通过无监督的方式来在图结构中学习结点表示的通用方法。DGI依赖于最大化patch representation和相关的high-level summaries of graphs之间的互信息（两者都是通过建立的图卷积网络架构得到的）。学习到的patch repres

原创 函数运行的方便操作

(1)创建文件 run.sh写入需要运行的命令行:注意参数需要exportexport CUDA_VISIBLE_DEVICES=0,3nohup python -u main.py **.log 2>&1 &(2)给定run.sh执行权限:chmod +x run.sh(3)接下来运行文件:./run.sh

原创 有关于配环境为什么这么糟心的一点事

折腾了一天+一个晚上，获得了以下的一点经验1.一个git包安装不上，通过conda +git的方式进行安装：conda+ git(自己下载好放在目录下，之后python setup.py install --user就好了)2.cmake明明已经安装好了（环境变量也配置好了），但是莫名其妙还是会链接到原来根目录下的cmake（并不是我自己的conda下的）。btw：查询环境变量——echo $PATH。通过修改:vim .bashrcc =>修改path为：export PATH = /home/

原创 安装pytorch出现url error

conda install pytorch1.6.0 torchvision0.7.0 -c pytorch 后面的 -c pytorch去掉即可。-c pytorch是指定了只会在官方路径下进行下载，因此用不了你之前设定好的镜像。

原创 《ROTATE: KNOWLEDGE GRAPH EMBEDDING BY RELATIONAL ROTATION IN COMPLEX SPACE》论文阅读

发表于ICLR 2019。ROTATE: KNOWLEDGE G RAPH E MBEDDING BY R ELA- TIONAL ROTATION IN COMPLEX S PACEabstract1.introduction2.related work3.RotatE：relational rotation in complex vector space3.1 modeling and inferring relation patterns3.2 modeling relations as rotat

原创 graph embedding 总结（持续更新）

解决的问题方法简要思路链接预测问题：如何同时建模三种关系模式(对称性/不对称性，反转，组成)RotatE(ICLR 2019)centered 文本居中

原创 《learning graph embedding with adversarial training methods》论文阅读

learning graph embedding with adversarial training methodsabstract1. introduction4.proposed algorithm4.1 graph convolutional autoencoder发表于IEEE T CYBERNETICS 2020.abstract众多的图嵌入任务关注于保存图结构或者最小化图数据上的重构损失。这些方法忽略了latent code的embedding distribution，可能会导致许多情况

原创 《knowledge graph embedding：a survey of approaches and applications》论文阅读

发表于TKDE 2017。knowledge graph embedding：a survey of approaches and applicationsabstract1. introduction2. notations3. KG embedding with facts alone3.1 translational distance models3.1.1 TransE and Its Extensions3.1.2 gaussian embeddings3.1.3 other distance

原创 texstudio使用经验整理

加入包即可。\usepackage[fontset=mac]{ctex}

转载 EM算法步骤

一般的，用Y表示观测随机变量的数据，Z表示隐随机变量的数据，Y和Z连在一起称为完全数据，只有观测数据Y称为不完全数据，假设给定观测数据Y，其概率分布为P(Y∣θ)P(Y|θ)P(Y∣θ),那么不完全数据的似然函数就是P(Y∣θ)P(Y|θ)P(Y∣θ)，对数似然函数是L(θ)=log(P(Y∣θ))L(θ) = log(P(Y|θ))L(θ)=log(P(Y∣θ))，假设Y和Z的联合概率分布是P(Y,Z∣θ)P(Y,Z|θ)P(Y,Z∣θ),那么完全数据的对数似然函数是logP(Y,Z∣θ)logP(Y,Z

原创 《InteractE》论文阅读

InteractE: Improving Convolution-based Knowledge Graph Embeddingsby Increasing Feature Interactionsabstract1.introduction二级目录三级目录by Increasing Feature Interactions)abstract众多的知识图（knowledge graphs）suffer from不完整性（incompleteness），可以通过在known facts上进行缺失lin

转载 EM算法的通俗理解

作者：史兴链接：https://www.zhihu.com/question/27976634/answer/39132183来源：知乎理论：简版：猜（E-step）,反思（M-step）,重复；啰嗦版：你知道一些东西（观察的到的数据）， 你不知道一些东西（观察不到的），你很好奇，想知道点那些不了解的东西。怎么办呢，你就根据一些假设（parameter）先猜（E-step），把那些不知道的东西都猜出来，假装你全都知道了; 然后有了这些猜出来的数据，你反思一下，更新一下你的假设（parameter）,

原创 cmake安装小记

今晚在服务器上安装cmake的时候出现了错误，报cmake版本过低的错误，但是由于我不是sudoer，所以无法升级系统上的cmake，所以直接在虚拟环境下安装cmake即可 pip install cmake之后cmake --version发现仍然没有升级，是需要进行缓存的清理 hash -r，之后再执行cmake --version即可。后来又报了No CMAKE_CUDA_COMPILER could be found.的错误，终端执行：export PATH=/usr/local/cuda/bi

原创 线性svm简单推理

原创 《FULLSUBNET: A FULL-BAND AND SUB-BAND FUSION MODEL FOR REAL-TIME SINGLE-CHANNEL SPEECH ENHANCEMENT》

《FULLSUBNET: A FULL-BAND AND SUB-BAND FUSION MODEL FOR REAL-TIME SINGLE-CHANNEL SPEECH ENHANCEMENT》abstract1.introduction2.method2.1. input2.2. learning target2.3 model architecture3. experimental setup4.resultabstract本文提出了一个全频带和子频带混合的模型，名为：FullSubNet，用于

原创 《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》论文阅读

发表于ICLR 2019.HOW POWERFUL ARE GRAPH NEURAL NETWORKS?abstract1.introduction2.preliminaries3.theoretical framework：overview4.building powerful graph neural networksabstract尽管GNN彻底改变了图表示学习，但是在表示属性上存在限制。我们提出了一个理论框架来分析捕捉不同的图结构的GNNs的表达能力。我们的结果展示了GNN变体的分辨能力，例如

原创 一些bug小记（持续更新）

pytorch的输入一般为batch，所以对于单独的输入(只有单个的输入！)来说，需要加上一维，具体操作为 a = torch.from_numpy(a).unsqueeze(dim = 0)需要注意的是，此时可能会报网络结构的错误，error提示如下：TypeError: conv2d() received an invalid combination of arguments - got (numpy.ndarray, Parameter, Parameter, tuple, tuple, tu.

原创 《Inductive Representation Learning on Large Graphs》论文阅读（GraphSAGE）

Inductive Representation Learning on Large Graphsabstract1.introduction3.proposed method：GraphSAGE3.1 embedding generation（forward propagation）algorithm3.1.1 relation to the Weisfeiler-Lehman Isomorphism Test3.1.2 neighborhood definition3.2 learning the pa

原创 《a new model for learning in graph domains》论文阅读（GNN开篇之作）

a new model for learning in graph domainsabstract1.introduction三级目录本文应该算是GNN的最开始的提出文章。如果有错欢迎指出，谢谢！发表于2005 IEEE International Joint Conference on Neural Networks（IJCNN 2005） 。abstract生活中的很多应用信息都需要用图进行表示。传统的方法通过预处理的方式来处理图结构，将图转换成线性向量的形式。但是将会损失重要的拓扑信息并且结果

原创 导师谈话记录（9.13）

上周由于效率不高，只阅读了两篇GNN for RS的论文，以及稍微看了一下图像对比模块的解决方案。下周的话的初步准备是继续看GNN for RS的论文;其次的话完成图像对比模块的几个方法对比（SSIM…）;看一下模型压缩的相关知识（组里的论坛）。老师本周对于我的建议是：论文阅读的总结都挺好的（有些细节问题还是没有搞清楚！继续读！读了就要明白），但是需要注意的是，在最开始的时候不必过多地沉浸入算法的细节实现上去，可以泛读来打开思路，建立全面的知识构架（搞清楚三个地方：本文用于解决什么问题？解决的方案大致是

原创 《graph convolutional neural networks for web-scale recommender systems》论文阅读

graph convolutional neural networks for web-scale recommender systemsabstract1.introduction2.related work3.method3.1 problem setup3.2 model architecture二级目录三级目录发表于KDD 2018。abstract本文提出了一种数据高效的图卷积网络算法PinSage，同时组合了高效的随机游走以及图卷积来生成节点的embeddings（同时综合了图结构以及节点

原创 导师谈话记录（9.3）

上周的论文阅读我基于空域gcn阅读了两篇论文加上一篇论文综述，事实上都是对空域gcn的卷积方式的一些改进，我告诉导师后期准备依据gnn的计算模块来阅读论文。导师告诉我这样同样还是学习并不是研究，我应该去找一个切入点（可以是应用，新问题，新想法）来开始我的研究。具体的不知道的知识需要运用到的话再补充即可。...

原创 《graph neural networks for social recommendation》论文阅读

graph neural networks for social recommendationabstract1.introduction2.the proposed framework2.1 definitions and notations2.2 an overview of the proposed framework2.3 user modeling2.4 item modeling2.5 rating prediction2.6 model training发表于www’19。abstract

原创 GNN模型发展对比（持续更新）

原创 《diffusion-convolutional neural networks》论文阅读

abstract本文提出了针对于图结构数据的模型：diffusion-convolutional neural networks（DCNN）。本文展示了如何通过图结构数据学习到基于传播的数据并被有效用于节点分类。DCNN有很多优秀的特质：图结构的潜在表征在同构的情况下是不变的，计算过程可以被视为可以在多项式时间下完成的向量操作，并能够被有效扩展到GPU之上。通过实验证明，DCNNs在关系节点分类任务上超越了概率关系模型以及图上的核方法。1.introduction处理结构数据很具有挑战性。一方面，如果

原创 convolutional networks on graphs for learning molecular fingerprints（分子指纹，可以理解为每个分子的embdding） 论文阅读

这里写目录标题abstract二级目录三级目录abstract本文提出了一种图神经网络。允许任意大小和形状的图作为输入，实现了端到端的学习预测。本文推广了基于指纹的标准的分子特征挖掘方法。这种数据驱动的特征具有更好的解释性，在各种任务上也具有更好的预测性能。二级目录三级目录...

原创 Graph neural networks: A review of methods and applications论文阅读

1

原创 CCF期刊统计

手工统计，数据来自Letpub,可能有误，具体需要自行查询。1.数据挖掘方向期刊CCF B:CCF C:人工智能期刊：为啥没A的？现在太菜了呜呜呜

原创 聊聊论文分区，SCI,JCR,CCF分区你弄懂了吗？

在开始论文的投稿之前，需要确定好自己所投的期刊，那么各种各样的分区代表了什么？首先给出一个定义：影响因子(IF，简单计算理解为在近两年内某期刊的总引用次数除以该期刊发表的论文总数),这是SCI,JCR的分区标准。1.SCI分区（中科院分区）：将SCI收录的所有期刊，分为13个大类，然后对类内期刊按照影响因子进行排序，前5%为1区，6%-20%为2区，21%-50%为三区，剩下为四区。2.JCR分区：将收录期刊分为176个学科类别，之后按照影响因子进行排序，前25%为Q1,25%-50%为Q2，50

转载 《AAAI 2021 Beyond Low-frequency Information in Graph Convolutional Networks》论文阅读

转载链接