- 博客(74)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 RuntimeError: Exporting the operator grid_sampler to ONNX opset version 11 is not support
grid_sampler是比较经典的算子不支持问题，在pytorch1.12之后已经支持了，而我这里要求的版本是torch=1.8.0，该了torch版本后，之后的推理平台又会有版本限制所以不能改。然后用mmcv库中的bilinear_grid_sample()来替换grid_sample函数。二者是等价的，可以去torch官网看具体的api。具体做法就是定位到你出错的代码位置，一般就是grid_sample函数的定义位置。如果还是报错则重新写bilinear_grid_sample函数，具体代码如下。
2023-09-08 17:08:29
1393
原创 RuntimeError:CUDA error: no kernel image is available for execution on the device
根据网上所说，检查是否有cpuonly包，删除即可，但是我没有，网上说先下载后卸载就可以，可我这直接就无法安装，conda和pip都安装不了。我的conda默认还是安装的cpu版本的torch。用pip指定版本可以安装并且是支持gpu的版本，但是还是报之前不兼容的错误，不指定版本的话竟然安装的是1.0.2的版本，没有最新的软件包。发现我要的torch1.8.0还没有对应版本，1.8.1的版本只有cpu的对应版本。检索发现我的本机没有cuda10.1的版本，我的cuda是11.4的版本。
2023-09-08 16:57:26
291
原创 硬件名词--单片机，开发板和芯片
初学硬件，一脸懵逼。整理了半天还是没太懂。只能说我不学习，我是知识点的搬运工。1.半导体（semiconductor）指常温下导电性能介于导体与绝缘体之间的材料，常见材料有硅，锗、砷化镓等。2.芯片（chip）又称微电路或者集成电路(integrated circuit)，是指内含继承电路的硅片，常作为电子设备的一部分，通常是在半导体晶圆的表面制造。芯片是在半导体芯片表面制造电路的集成电路又称薄膜集成电路。
2023-08-25 11:28:09
924
原创 设计模式之结构型模式
一般具有相同内部状态的享元对象存储在享元池中，通常由一个享元工厂(工厂模式)来维护，享元模式的核心就在于这个享元工厂类，当用户需要对象时，先在享元池中找，如果没有则创建新对象并加入享元池。外观模式中，外部与一个子系统的通信必须通过一个统一的外观对象进行，为子系统中的一组接口提供一个一致的界面。具体实现类(ConcreteImplementor)实现了实现类接口并且具体实现它，在不同的具体实现类中提供基本操作的不同实现，在程序运行时，具体实现类对象将替换其父类对象，提供给客户端具体的业务操作方法。
2022-10-06 16:13:12
613
1
原创 设计模式之行为型模式
为了减少对象两两之间复杂的引用关系，使之成为一个松耦合的系统，我们引入中介者模式，用一个中介对象来封装一系列的对象交互，中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。状态模式的关键是引入了一个抽象类来专门表示对象的状态，对象的每一种具体状态类都继承了该类，不同的具体状态类实现了不同状态的行为。状态与行为一一对应。具体状态类是抽象状态类的子类，每一个子类实现一个与环境类的一个状态相关的行为，每一个具体状态类对应环境的一个具体状态，不同的具体状态类其行为有所不同。
2022-10-06 16:01:09
824
原创 设计模式之创建型模式
工厂模式是在具体实现上做了抽象得到工厂类，抽象工厂模式是在工厂类之上做了进一步抽象(工厂模式是先定义工厂，由工厂生产对象；抽象工厂模式是先定义抽象工厂，由抽象工厂生成具体工厂，再由具体工厂生成对象)。即抽象工厂模式是工厂的工厂。抽象工厂模式提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。相较于工厂模式，抽象工厂可以提供多个产品对象而非单一对象。产品等级结构：即产品的继承结构。一个抽象类是电视，子类是具体品牌，则父类与子类构成了产品等级结构。
2022-09-26 21:02:52
673
原创 机器学习面经--常见问题
要计算这两个指标需在一个集合范围内才可行，所以这就要求必须指定一个神经元组成的集合，利用这个集合里每个神经元的激活值来统计出所需的均值和方差，这样才能达到预定的规范化目标。机器学习中常见的Normalization方法分为两种类型，一种是特征标准化，是对输入的数据进行预处理，是对数据的不同特征分别进行处理，常见有max-min normalizaiton，z-score normalization等；不论哪种标准化方法，其规范化目标都是一样的，就是将其激活值调整为均值为0，方差为1的正态分布。
2022-09-24 17:52:14
725
原创 社区发现算法总结
Kernighan-Lin算法先以任意方式将网络顶点按指定规模划分为两个群组，然后，对于任意一对不属于同一分组的节点对，交换两个节点，计算交换前后两个群组割集规模的变化量。在所有节点对中找到使割集规模减少最多的顶点对。如果没有使割集规模减少的定点对，在选择使割集规模增加最小的节点对，然后交换两个节点。重复该过程，被交换过的节点不再参与交换，直到没有可以交换的顶点为止。记录所有交换后的状态，选择割集规模最小的状态。
2022-09-05 00:20:00
4201
原创 K-Core, K-Shell & K-Crust傻傻分不清楚
K-Core(K-核)就是所有大于等于K的K-Shell的并集；K-Crust(K-皮)就是所有小于等于K的K-shell的并集。
2022-07-29 20:44:46
1364
原创 图增强与图对比学习
自监督学习的主要目标是通过精心设计的代理任务，从丰富的无标签数据中学习可迁移的知识，然后将学到的知识迁移到具有特定监督信号的下游任务中。首先在得到的两组视图中的结点表示上采样K个motif-like子图，然后使用readout函数得到图级别和子图级别的表示。在这里，我们把针对图数据的数据增广策略分为以下四类基于特征的增广、基于结构的增广、基于采样的增广和自适应的增广。对比学习的目的是最大化正样本对之间的一致性。视图的尺度可能是局部的，上下文的或者全局的，对应的图中结点级，子图级和图级别的信息。.......
2022-07-20 16:31:30
986
2
原创 图论基础知识总结
图是由节点和连接节点之间的边组成的，与连线的长度，节点的位置没有关系。一个图是一个三元组，其中V是一个非空的节点集合，E是边集合，F是从边集合E到节点序偶(无序偶或有序偶)集合上的函数。若图中边总是两个节点的关联，则图可简记为G=。树可以是空树但图不能是空图。图的结点集不能为空但边集可以为空。**无向图：**若图中所有边都是无向边，则图是无向图；**有向图：**若所有边都是有向边，则图是有向图；**混合图：**若图中既有无向边又有无向边则图为混合图；**多重图...
2022-07-18 20:48:20
6758
原创 超图构造综述，Hypergraph Learning: Methods and Practices
超图学习是一种在超图结构上学习的方法。在本文中，我们首先系统重温了现有的超图生成方法，包括基于距离的，基于表示的，基于属性的和基于网络的方法。然后介绍超图上现存的学习方法包括transductivehypergraphlearning，inductivehypergraphlearning，超图结构更新以及多模态超图学习。......
2022-07-18 20:31:09
2292
原创 图构造总结-Graph‑based semi‑supervised learning via improving the quality of the graph dynamically
基于图的半监督学习GSSL主要包含两个过程图的构建和标签推测。传统的GSSL中这两个过程是完全独立的，一旦图结构构建完成，标签推断的结果也不再改变。因此，图的结构直接影响GSSL的效果。传统的图构造方法对数据的分布做了一个具体的假设，导致图的质量严重依赖于这些假设的正确性。因此，对于传统图构造方法很难应用再复杂多样的数据分布上。本文提出了一个框架叫做通过动态地提升图质量的图半监督学习。在本方法中，图的构建是基于多个聚类结果的加权融合，并且把标签推断也整合进一个统一的框架达到相互引导，动态提升的效果。....
2022-07-14 21:28:07
747
2
原创 A Survey on Graph Structure Learning: Progress and Opportunities
图数据广泛用于描述现实中的实体及其他们之间的联系。图神经网络高度敏感于给定的图结构，因此噪声和不完备的图会得到不满意的表示并且妨碍模型全面理解潜在的机理。图结构学习GSL旨在联合学习最优的图结构和对应的图表示。在本篇工作中，我们广泛回顾了GSL最近的进展。图神经网络的成功归功于它同时探索了图结构和属性中的丰富信息，但是给定的图数据不可避免的会包含噪声和不完备，这样会阻碍GNN在现实问题中的应用。从表示学习的角度来讲，GNN是通过聚合邻居信息来学习节点表示的。这种迭代的方式存在一个级联的效果即当一个小的噪声传
2022-07-13 20:16:52
671
2
原创 Graph Contrastive Learning with Adaptive Augmentation
对比学习在无监督图表示学习中取得了很好的效果，大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中，图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构，可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边，或扰动特征，只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说，在拓扑角度，采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式；在特征维度，给不
2022-07-09 17:19:23
934
原创 GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
目前图表示学习在许多任务上取得了很好的效果但是都是关注于具体领域的并不具有迁移性。本文借鉴预训练思想，设计了一个自监督图神经网络框架来在多个网络中捕获一般化的网络拓扑结构属性。我们设计的预训练任务是在多个网络之间判别子图实体，使用对比学习强化图神经网络来学习固有的，可迁移的结构化表示。假设：具有代表性的图结构模式是一般化的且在网络之间可迁移。过去二十多年的工作主要关注点在发掘不同网络中潜在的一般化的结构属性。最近几年图学习的重点从结构模式挖掘转向图表示学习。将结点，边，子图等转化为低维嵌入可以保留一些重要
2022-07-08 16:32:46
374
原创 Semi-Supervised and Self-Supervised Classification with Multi-View Graph Neural Networks
摘要图神经网络在图结构数据中取得了很好的效果但是大多数的模型使用的还是叫浅层的结构，当模型层数加深时很容易过平滑。本文基于多视图来聚合更多的信息。我们首先设计两个互补的视图来描述全局结构和节点特征相似性，然后使用注意力策略融合节点表示。最后，通过在不同视图上使用对比学习来学习节点的表示。引言GCN是每层聚合一次一阶邻居的信息，通过增加层数迭代聚合邻居信息。但随着网络层数的增加，效果会严重下降。实验发现使用RELU作为激活函数的GCN随着层数的增加效果严重下降而使用其他激活函数图tanh有减缓过平滑的效果
2022-07-06 20:50:20
644
原创 Data Augmentation
自监督深度学习模型的精确性严重依赖于训练时数据的多样性和数据量。模型要想在更复杂任务上有较好的效果一般会有大量的隐藏单元。一般在训练过程中训练隐藏单元越多需要的数据越多，即任务复杂度与参数量与需要的数据量成正比。由于训练复杂任务时数据的缺乏，迁移学习往往被应用并取得较好的结果但是对于指定任务创建预训练模型依旧严峻。另一种解决数据不足问题的技术便是数据增强即通过在可用数据上转化合成新的数据。数据增强可用来解决训练数据的多样性和数据量的问题。数据增强技术依赖于数据的类型。对于常规的数字型数据，常见的技术包括SM
2022-07-05 10:57:36
452
原创 An Empirical Study of Graph Contrastive Learning
摘要图对比学习在图表示学习领域树立了新的范式，不需要人工标注信息。但对GCL的分析却寥寥无几。本文通过分析一般化的GCL范式的各个部分包括增强函数，对比模式，对比目标和负采样技术，然后分析各个组件之间的相互作用。实验结论显示，简单的拓扑增强可以生成稀疏视图带来不错的性能提升；对比模型应该与最终任务的粒度一致。引言一个经典的图对比学习方法是首先通过对输入的随机增强构建多个图视图，然后通过对比正负样本学习表示。以每个节点作为中心节点为例，正样本一般是其他视图中表示一致的一些节点，而负样本则是在该Batch中
2022-07-05 10:36:05
466
原创 Multi-view graph convolutional networks with attention mechanism
摘要传统的图卷积网络关注于如何高效的探索不同阶跳数(hops)的邻居节点的信息。但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角。当数据包含噪声或者图不完备时，这种方式会限制模型的表达能力。由于数据的测量或者收集会不可避免的会出现错误，因此基于固定结构的图模型表达能力是不充分的。本文提出了基于注意力机制的多视图图卷积网络，将拓扑结构的多个视图和基于注意力的特征聚合策略引入到图卷积中。MAGCN输入多个可靠的拓扑结构，这些结构一般是对应任务给定的结构或者使用经典图构造方法生成
2022-07-03 21:10:23
1241
4
原创 设计模式之类间关系与设计原则
设计模式是软件开发人员在软件开发过程中面临的不断重复的问题的解决方案，是解决特定问题的一系列套路，具有一定的普遍性。设计模式的本质是面向对象设计原则的实际运用，是对类的封装性、继承性和多态性以及类的关联关系和组合关系的充分理解。使用设计模式是为了复用代码、让代码更容易被他人理解、保证代码可靠性。1. 根据目的划分可分为创建型模式(Creational Patterns)、结构型模式(Structural Patterns)、行为型模式(Behavioral Patterns)3 种。创建型模式：用于描述
2022-06-13 16:39:01
406
原创 正则表达式简记
正则表达式是由普通字符（例如字符 a 到 z）以及特殊字符（称为"元字符"）组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。正则表达式的组件可以是单个的字符、字符集合、字符范围、字符间的选择或者所有这些组件的任意组合。例子：+ 号 代表前面的字符必须至少出现一次（1次或多次，>=1）** * 号**代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次,>=0）? 问号 代表前面的字符最多只可以出现一次（0次、或1次）. 点号匹配除换行符（\n、\r）之外的任何单个字符，相
2022-06-13 15:02:02
98
原创 UML之用例图，类图，时序图，活动图
用例图用例图是用于描述系统在某个系统边界下需要提供的功能的图例描述，是对用户与系统进行交互的动作的表述。用例图描述了用户、需求以及系统功能单元之间的关系，主要由参与者，用例和它们之间的关系组成。用例图需要的因素：参与者(Actor)：使用系统功能的人或者团体，用小人表示，参与者可以继承，用空三角表示系统边界：用于确定用例的使用场景，用例图必须在系统边界中设计才有意义，用矩形表示用例：用户与系统之间的交互行为，一般是用户做的某件事，用椭圆表示，注：每个用例都得是动宾结构(动词+名词)关系：用例与参与
2022-06-06 09:21:11
9143
原创 图上的统计特征之Motif，Graphlet和Role
聚类系数结点的度或者中心性在衡量结点重要性区分结点时起到很重要的作用但是对于图中结点度近似或者中心性近似的结点便很难区分它们。因此很有必要从其他角度挖掘图的特征。聚类系数用于衡量邻接结点之间的连接程度(有的解释是衡量一个结点的局部邻域中闭合三角形的比例)。聚类系数分为全局的聚类系数和局部的聚类系数(还有其他变体如平均聚类系数等)。全局聚类系数是对于全图而言的，是计算一个图中所有封闭的三点组的数量除以所有联通的三点组的数量。分子要求三点封闭，分母要求三点联通即可。局部聚类系数是对于结点而言的，计算的是
2022-04-11 00:49:28
3409
1
原创 inductive learning 与 transductive learning在图神经网络上的区别
由于在图数据上的学习需要考虑图的结构信息，在模型训练时需要将全图输入，所以训练时会使用到没有标记信息的数据，所以使用的是transductive方式，一旦图的结构发生变化，需要重新学习。当图结构非常的时，内存可能无法全部放下数据，因此需要对图进行采样，如graphSage。那么采样到的数据就可以不包含没有标记的结点，因此可以使用inductive方式学习，这样模型就有一定的迁移能力，可以预测没有见过的结点。标准的半监督要求数据满足独立同分布假设，但是在图数据中并不遵循该前提，图机器学习不是标准机器学习
2021-07-13 21:54:20
613
原创 2021-05-19图神经网络小结
图神经网络的引入图神经网络能够实现强大的非结构学习的能力，能够从非结构化数据（例如:场景图片、故事片段等）中进行学习和推理。尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的，传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。最早，研究人员也借用图谱理论的知识，如用拉普拉斯矩阵的特征值和特征向量做社区分析或者人群聚类等．随着深度学习的崛起，研究人员开始考虑把深度学习的模型引入到图数据中，代表性的研究工作是网络嵌.
2021-05-19 20:10:02
620
原创 Representation learning表示学习
机器学习（Machine Learning，ML）是指从有限的观测数据中学习（或“猜 测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。传统的机器学习主要关注如何学习一个预测模型。一般需要首先将数据表示为一组特征（Feature），特征的表示形式可以是连续的数值、离散的符号或其他形式。然后将这些特征输入到预测模型，并输出预测结果。这类机器学习可以看作浅层学习（Shallow Learning）。浅层学习的一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取为了提高.
2021-05-03 11:43:08
1264
原创 机器学习与深度学习中概率论知识的回顾
概率与统计： 统计：给定样本，推测总体分布，概率：给定总体分布 ，推测样本概率归纳与演绎：归纳就是从个别到一般，演绎则是从一般到个别随机变量：可以随机地取不同值的变量，是对可能的状态的描述。可以是离散或连续概率分布：描述随机变量取每个可能状态的可能性大小。概率质量函数(probability mass function)，离散型随机变量的概率分布。概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。注：所有状态的概率质量函数之和为1.每个状态的概率介于0到1之间，可取到边
2021-03-29 19:52:41
390
原创 A Collaborative Learning Framework to Tag Refinement for Points of Interest
摘要POI的标签可以促进基于位置的服务比如位置搜索或者地点推荐。但是很多POI的标签并不完备或者不精确，本文目的是自动填充缺失的标签和纠正噪声标签。文章通过设计一个三自适应的协同学习框架搜索理想的POI-tag得分矩阵。框架分为三个部分1)建模POI和tag之间的相似性2)通过矩阵分解恢复POI-tag的模式3)通过最大似然估计推测最有可能的标签s动机根据观察发现，尽管最初的POI标签不完美但仍然透漏着POIs和相关tag之间的语义信息。我们可以把这种关系看作得分矩阵，分数代表标签和POI之..
2021-03-24 21:08:41
202
原创 DAN-SNR: A Deep Attentive Network for Social-Aware Next Point-of-Interest Recommendation
摘要推荐下一个感兴趣的位置(POI, point-of-interest)近年来吸引了很多研究者的兴趣。先前的研究企图整合一些时空信息和序列信息预测用户下一个访问点。但是，还没有方法考虑到使用目标用户的好友社交信息。本文通过使用一个深度的注意力网络，考虑到了社交影响。本文通过设计两个并行的通道分别扑获用户的短期兴趣和长期兴趣并考虑到社交影响。动机LBSN(Location-based network)是一种社交网络，用户的下一步决策在一定程度上会受到LSBN中其朋友的影响。比如对于用户1来说..
2021-03-23 21:17:47
716
原创 DeepAR:Probabilistic forecasting with autoregressive recurrent network
DeepAR:Probabilistic forecasting with autoregressive recurrent network一般的时间序列预测方法是做点预测，即预测未来某个时间点的具体值。但对于一些具体业务比如预测销量来说预测一个概率区间更加易于决策。DeepAR是一个做概率预测的方法，同时也可以做点预测。首先简单介绍一下时间序列和常见的处理方法一、方法介绍DeepAR是一个基于自回归循环神经网络的预测方法，可以用于概率预测。通过在大量相关的时间序列的历史数据上学习一个全局的模型。
2020-11-09 15:01:15
2321
1
原创 Attention mechanism总结
Attention mechanism总结：Attention机制简单来说就是一种信息过滤或者提取机制类似于记忆或者门控机制，用来筛选、更新信息。类比于人脑，神经网络中可以存储的信息量称为网络容量。要存储的信息越多，神经元数量就越多或者网络越复杂，大量的信息增加了存储负担和计算开销。由于人脑每个时刻接收的外界信息非常多，在有限的资源下，并不能同时处理这些过载的输入信息。大脑神经系统通过注意力和记忆两个机制解决信息过载问题。注意力是指人可以在关注一些信息的同时忽略另一些信息的选择能力，选择性过滤.
2020-10-24 22:47:41
1352
原创 FP-growth算法原理解析
FP-growth算法(FP, Frequent Pattern)FP-growth算法只需要对数据库进行两次扫描。而Apriori算法对于每个潜在的频繁项集都会扫描数据集判定给定的模式是否频繁，因此FP-growth算法要比Apriori算法快。FP-growth算法只需要扫描两次数据集，第一遍对所有数据元素出现次数进行计数，第二遍只需考虑那些频繁的元素。发现频繁项集的基本过程分为两步，构建FP树和从FP树中挖掘频繁项集。简单来说，算法的目的就是在多个出现的数据项中找到出现次数最多的数据项或者
2020-10-15 16:33:26
5357
1
原创 集成学习总结
集成学习定义集成学习（Ensemble Learning）就是通过某种策略将多个模型集成起来，通过群体决策来提高决策准确率。集成学习首要的问题是选择什么样的学习器以及如何集成多个基学习器即集成策略。集成学习分类一个有效的集成除了要让各个基学习器的学习效果好之外还需要各个基学习器的差异尽可能大（差异性：各个基学习器的预测结果不完全相同）。集成学习往往和方差大的模型组合时效果显著。为了增加模型之间的差异性，可以采取Bagging和Boosting这两类方法。Boosting类方法中基学习器.
2020-10-04 14:38:34
685
原创 自然语言发展历史
什么是自然语言自然语言处理（Natural Language Processing，NLP）是研究人与计算机交互语言问题的一门学科。其任务大致分为两类——自然语言理解和自然语言生成。研究方法分类20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法（符号派），研究人员们认为自然语言处理的过程和人类学习认知一门语言的过程是类似的，所以大量的研究员基于这个观点来进行研究，这时的自然语言处理停留在理性主义思潮阶段，以基于规则的方法为代表。但是基于规则的方法具有不可避免的缺点，首先规则不
2020-09-29 20:38:40
1131
原创 使用Opencv训练自己的级联分类器
opencv的下载和编译比较简单，但容易出问题，在官网下载opencv的代码和需要的依赖工具，创建一个空目录，进入该目录，cmake编译就行了．#把opencv的代码放在这个目录中mkdir OpencvInstall/#在代码的同级目录下创建build目录mkdir build/cd buildcmake ..make如上命令就把整个项目编译完成了，这里注意不要编译部分代码，因...
2019-08-02 19:53:07
3827
原创 libpng16.so.16错误
最近想要做一个鱼类识别的项目，打算用opencv来训练一个分类器来识别，在编译项目时遇到了如下问题，我当前的版本是3.4.7,现在最新的版本是4.X，以前安装过并且通过了编译但是现在遇到了问题，查了查解决方法也很简单．直接用apt-cache search搜索libpng16，把搜索到的所有软件包都下载下来，其实没有必要都下载，这些软件包是相互依赖的，所以你求个心安都下载下来．然后编译就行了．...
2019-07-30 14:52:45
5490
classifier.zip
2019-07-30
alpha-beta剪枝讲解
2018-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人