- 博客(39)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 NLP-文本分类实战-Text Level GNN-20newsgroup
Text Level Graph Neural Network for Text Classification（https://arxiv.org/pdf/1910.02356.pdf）一、文章概述1.1 模型图图1：单一文本的图形结构“他为您感到非常骄傲。” 为了便于显示，在此图中，我们为节点“非常”设置了p = 2（节点和边用红色表示），而其他节点设置了p = 1（蓝色表示）。 在实际情况下，会话期间的p值是唯一的。 图中的所有参数均来自全局共享表示矩阵，该矩阵显示在图的底部。1.2
2020-07-08 10:56:36
1193
1
原创 用户关系链
import randomimport mathdef get_follows(num2users, user, follow_num): follows = [] last_users = [] for i in list(reversed(list(range(len(num2users))))): keeps = [] users = num2users[i] if user in users: .
2022-02-14 02:37:03
214
原创 golang数独问题
type Parser struct { Matrix [9][9]int Rows [9][9]bool Cols [9][9]bool Blocks [9][9]bool Stop bool}func (p *Parser) Init(matrix [9][9]int) { p.Matrix = matrix p.Rows = [9][9]bool{} p.Cols = [9][9]bool{} p.Blocks = [9][9].
2022-01-04 17:32:06
292
原创 2021-03-15
原神游戏不能链接的解决方案方法一、简单办法，用360安全卫士，找到dns优选工具，将dns地址改为”101.226.4.6“。注意要关闭游戏后台之后再修改，再登录游戏就可以了，或者干脆重启电脑。方法二、打开网络和共享中心，更改适配器设置，在你上网方式的图标上点右键选属性，左键点internet协议版本4然后点框下面的属性，新打开的界面选择”使用下面的dns服务器地址“在首选dns服务器输入”101.226.4.6“，然后点确定。重启电脑，再开游戏。...
2021-03-15 16:05:17
319
原创 pytorch 余弦相似度矩阵cos_similar，批量运算
import torchfrom torch import Tensordef cos_similar(p: Tensor, q: Tensor): sim_matrix = p.matmul(q.transpose(-2, -1)) a = torch.norm(p, p=2, dim=-1) b = torch.norm(q, p=2, dim=-1) sim_matrix /= a.unsqueeze(-1) sim_matrix /= b.unsqu.
2021-03-13 20:52:27
3413
原创 python多进程数组映射
构造映射函数：func，在func中显式提取参数，再调用multi_map方法from multiprocessing.pool import Poolimport randomdef split_jobs(jobs, num_works): size = len(jobs) // num_works jobs_list = [jobs[i * size:(i + 1) * size] for i in range(num_works)] for i, e in enu
2021-01-25 23:47:38
157
原创 2021-01-12
pytorchpacked_rnnimport torchimport torch.nn as nnimport torch.nn.functional as Fimport mathclass Packed(nn.Module): def __init__(self, rnn): super().__init__() self.rnn = rnn @property def batch_first(self): .
2021-01-12 23:25:15
121
原创 在显存不足时，增加batch size的方法
问题：如何在显存不足的情况下，增加batch-size？换言之，如何增加batch-size而无需扩大显存？思路：将batch数据，分为多个mini-batch，对mini-batch计算loss，再求和，进行反向传播。这样内存只占用mini-batch大小的数据，用时间换空间。pytorch实现：import torchfrom sklearn import metricsfrom torch import nnimport torch.nn.functio..
2020-12-05 01:49:22
4948
6
原创 2020-10-26
application.ymlserver: port: 8001spring: datasource: username: root password: admin url: jdbc:mysql://localhost:3306/my_blog_db?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC driver-class-name: com.mysql.cj.jdbc
2020-10-26 17:21:36
121
原创 堆排序和TOPK问题-java实现
import java.util.Arrays;public class HeapSort { public static void main(String[] args) { int[] nums = new int[]{4, 6, 8, 5, 9}; topK(nums, 3); System.out.println(Arrays.toString(nums)); } # 简历大根堆 public static v.
2020-08-19 13:28:38
265
原创 ACL2020 pytorch复现 (TextING) Every Document Owns Its Structure- Inductive Text Classification
一、模型图二、构图方式滑动窗口，捕捉共现边三、消息传递聚合，通过GRU训练。四，读出
2020-08-06 21:10:16
2563
21
原创 torch训练模板
如题from text_semantic.model import TextBiLSTMfrom text_semantic.dataset import MyDatasetfrom text_semantic.config import TEMP_PATH, RECORD_PATHimport timeimport torchimport numpy as npfrom torch import nnfrom torch.utils.data import DataLoader.
2020-07-11 11:36:16
559
原创 pytoch常用
三角函数的位置编码(原始Transformer)def get_pos_embedding(seq_len, dim): import math vectors = [[.0 if i % 2 == 0 else 1. for i in range(dim)], [math.sin(1. / math.pow(10000., (i / dim))) if i % 2 == 0 else math.cos(1. / math.
2020-07-11 11:35:32
248
原创 文本匹配论文及pytorch版复现（一）：DRCN
一、模型1、模型总图2、实施细则二、相关公式1、词表示层：字符卷积cp，静态预训练词嵌入ep（fix），可训练预训练词嵌入ep（tr）fp代表，两句中字是否在另一句中出现，若是为1，若否为02、层次RNN和互注意力机制原始输入x，通过RNN获取隐层表示h，将两句的隐层表示hi，hj通过互注意力机制，获取注意力表示ai，aj3、自动编码器auto-encoder全连接层，将高维度表示转化为低维度表示4、交互层和分类层More specifical
2020-05-08 22:08:34
1394
1
原创 python版本-文本分类流程-英文文本预处理
英文文本预处理单词原型word_map = { "i'll": "i will", "it'll": "it will", "we'll": "we will", "he'll": "he will", "they'll": "they will", "i'd": "i would", "we'd": "we would", ...
2020-04-03 22:11:15
1171
原创 文本分类论文及pytorch版复现（五）：TextLevelGNN
Text Level Graph Neural Network for Text Classification一、模型图示：定义：消息传递机制：分类器：损失函数：二、代码from torch import nn, tensorimport torch.nn.functional as Fimport numpy as npimport tor...
2020-03-30 23:52:45
1414
1
原创 文本分类论文及pytorch版复现（四）：TextGCN
Graph Convolutional Networks for Text Classification一、模型图示：图的定义：二、代码import torchimport numpy as npimport torch.nn.functional as Ffrom torch import nn, tensorfrom textgcn.config i...
2020-03-30 23:47:19
3789
7
原创 基于词级别和字级别的中文文本预处理
一、基于词级别文本预处理词级别预处理过程：1、文本分词2、统计词频3、去除低频词和停用词4、选取适量的高频词形成词典5、用词典过滤并映射文本分词6、查看文本序列长度分布，确定补全长度7、文本序列补全具体代码：from collections import Counterimport jieba_fast as jiebaimport joblib...
2020-02-04 16:02:47
838
原创 Python设计爬虫任务队列
from queue import Queueimport urllib3urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)class CrawlQueue(object): def __init__(self, items, args): self.max_failure ...
2020-02-03 18:41:47
314
原创 python3爬取m3u8视频
爬m3u8文件，解析所有ts的url，爬取ts保存至本地，合并为完整文件。附上直接可以用的代码import requestsimport urllib3import reimport osurllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)def getTsUrls(m3u8_url) -&...
2020-02-03 18:39:00
1517
原创 文本分类论文及pytorch版复现（三）：VDCNN
Very Deep Convolutional Networks for Text Classification1、模型2、代码import torchimport torch.nn.functional as Ffrom torch import nn# char-level# embedding_dim=16, SGD, mini-batch=128...
2019-12-21 16:54:14
560
原创 文本分类论文及pytorch版复现（二）：HAN
Hierarchical Attention Networks for Document Classification一、模型二、代码import torch.nn.functional as Ffrom torch import nnclass SelfAttention(nn.Module): def __init__(self, input_size...
2019-12-21 12:07:10
2112
6
原创 文本分类论文及pytorch版复现（一）：TextCNN
Convolutional Neural Networks for Sentence Classification1、模型2、代码import torch.nn.functional as Ffrom torch import nnclass TextCNN(nn.Module): def __init__(self): super(Text...
2019-12-21 12:02:24
1304
1
原创 对比几种python数据加载库效率（joblib，numpy，pandas）
针对原生的 list 整型数据1、数据类型 list，数组大小 【100,000，500】，数值类型：整型【0，62,000】---，41.67，67.52---，41.43，7.012、数据类型 list，数组大小 【100,000，500】，数值类型：浮点【0，60,000】---，57.54，91.74---，55.65，12.083、数据类型 np，数组大小...
2019-11-17 16:46:13
431
原创 利用multiprocessing提升jieba分词效率
在上一篇中，介绍了一个python的多进程数组映射的方法。https://blog.csdn.net/qq_28969139/article/details/96608611jieba分词同样可以视为数组映射的过程def func(params): jobList = params['jobList'] stopwords = params['stopwords...
2019-07-20 17:54:37
1963
2
原创 python的多进程数组映射方法设计
我们经常要将数组映射为另一个数组，但效率太低。例如 map( func, data_list ) 或者 [ func(e) for e in data_list ]def func(element): # 进行函数映射 return elementdata_list = ["element 1", "element 2", "element 3", "element ...
2019-07-20 17:45:56
767
原创 python GUI tkinter 的页面转换方法
问题：解决方案1的缺点：代码太长了，想具体修改某段代码得找好久。不推荐。之后我试了下分开写，然后再LoginPage.py RegisterPage.py在各自的py文件中 import 对方但是这样会陷入一个循环import的错误.ImportError: cannot import name 'RegisterPage' from 'RegisterPage' (C:\R...
2019-05-05 21:35:45
10779
1
原创 hadoop 运行 jar出错：java.lang.ClassNotFoundException: Class Mapper not found
环境： win10 x64、centos7.2、hadoop2.4.1、jdk1.8报错：执行 hadoop jar wc.jar WCRunner[yx@bigdata00 ~]$ hadoop jar wc.jar WCRunnerJava HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/yx/...
2019-03-04 19:00:52
3269
1
转载 Blur admin 解压好的资源分享（blur风格）
下载连接：https://download.csdn.net/download/qq_28969139/10835358在线预览：http://akveo.com/blur-admin/ blur admin 后台模板（blur风格）如下：
2018-12-07 16:01:26
1267
原创 用numpy构造的一个简单BP
# -*- coding: utf-8 -*-"""Created on Thu Oct 4 08:28:15 2018@author: 37989"""import numpy as npimport pandas as pdfrom matplotlib import pyplot# 标准化def Standard(X): X_mean = X.mean(...
2018-10-04 19:51:36
295
原创 leetcode 颜色分类
// 交换函数 public void swap(int[] A, int x, int y){ int temp = A[x]; A[x] = A[y]; A[y] = temp; } public void sortColors(int[] A) { int i=0,j=A.length-1,k=0;...
2018-09-17 10:05:31
338
4
原创 Leecode 887.鸡蛋掉落(Super Egg Drop) 用时7ms
一、原题你将获得 K 个鸡蛋，并可以使用一栋从 1 到 N 共有 N 层楼的建筑。每个蛋的功能都是一样的，如果一个蛋碎了，你就不能再把它掉下去。你知道存在楼层 F ，满足 0 <= F <= N 任何从高于 F 的楼层落下的鸡蛋都会碎，从 F 楼层或比它低的楼层落下的鸡蛋都不会破。每次移动，你可以取一个鸡蛋（如果你有完整的鸡蛋）并把它从任一楼层 X 扔下（满足 1 &...
2018-08-27 18:56:42
706
1
原创 使用Python的tkinter库，做简单的五子棋游戏
初学tkinter，感觉功能还是太少了，建议想要深入研究用户界面的话，还是选QT，VB之类的吧。要是跟我一样平时随便玩玩，就图个方便，那就将就着用吧。2019-05-20：之前的版本是刚学python时候写的，回头看了看代码，写的真实惨不忍睹，变量的名称一点都不符合规范。所以删除重新写了一份，这个版本思路更清晰一些。一、运行截图：...
2018-07-11 23:17:12
11649
26
原创 利用Abaqus的Python脚本实现进行自动分析的方法
当需要Abaqus处理很多（大于20个）作业时。如果手动的一个一个地去提交作业，需要大量重复的操作，会浪费很多的时间；而如果同时提交所有作业，则会使CPU占有率很高，导致人们不能同时利用计算机进行其他工作。实现原理：考虑在Python脚本中设计一个运行队列（Runlist）。1.将提交的任务放入队列直到队满；2.如果队列已满则检查队列中的任务是...
2018-06-16 19:31:33
11167
5
转载 MATLAB_遗传神经网络
ticclear;clc;%%%%加载数据local='C:\Users\37989\Desktop\2688.xlsx';%数据文件地址input1=xlsread(local,'sheet1','A1:D2688');output1=xlsread(local,'sheet1','E1:E2688');testdata=xlsread(local,'sheet2','A1:D25');%%%神...
2018-06-16 18:21:18
1185
1
原创 利用Matlab_libsvm构造支持向量机回归算法
ticclear;clc;Fnum = 4; %输入个数/输出个数只能为1个TnumX = 0.8; %训练数据比例Terror = 0.2; %误差小于Terror的预测比例eps = 10^(-7); %误差阈值 v=6; %交互检验% 寻找最佳c参数/g参数 CVcmax = 10;cmin = -10;gmax = 10;gmin = -10...
2018-06-16 18:05:40
9451
10
转载 利用Python_keras编写简单BP神经网络以及初步分析的算法
import mathimport random#激励函数def sigmoid(x): return 1 /(1 + math.exp(- x))#输入与输出结点个数Innumber,Outnumber = eval(input("输入个数: "))#计算隐层结点数Midnumber = int((0.43 * Innumber * Outnumber + 0.12...
2018-03-31 11:56:57
4987
1
文本分类数据集（共13个20ng,mr,R8,R52,ohsumed,wiki,agnews等）
2020-10-27
U型件冲压回弹的Abaqus仿真数据集
2019-03-09
blur admin (现代版风格)前端的后台模板
2018-12-07
最全的中文停用词表20K
2018-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人