- 博客(36)
- 收藏
- 关注
RSS订阅原创 文本相似度
文本相似度最长公共连续子串(Longest Common Substring)https://blog.csdn.net/ten_sory/article/details/79857531simhash+汉明距离计算文本相似度https://blog.csdn.net/chouisbo/article/details/54906909https://www.cnblogs.com/coder2012/p/3293288.htmlhttps://blog.csdn.net/weixin_3
2021-10-25 17:50:39
191
原创 文本相似度
文本相似度方法分类参考https://blog.csdn.net/qq_28031525/article/details/79596376基于关键词匹配基于向量空间基于深度学习基于关键词匹配jaccard相似度https://zhuanlan.zhihu.com/p/101277851TF-IDFhttps://zhuanlan.zhihu.com/p/113017752BM25原理：https://blog.csdn.net/qq_28031525/article/d
2021-07-11 18:01:29
104
原创 word2vec记录
word2vec记录skip-gram和cbow原理https://www.cnblogs.com/pinard/p/7243513.htmlhttps://zhuanlan.zhihu.com/p/35074402层次softmax代码https://github.com/BUAAQingYuan/fasttext/blob/master/huffman_tree.py转移概率计算https://spaces.ac.cn/archives/4368层次softmax法1：import n
2021-05-05 19:37:10
184
转载 关键词指标
关键词指标precision,recall,F1????????????????????????????????????=????????/(????????+????????)????????????????????????=????????/(????????+????????)F1=(2∗????????????????????????????????????∗????????????????????????)/(????????????????????????????????????+?
2021-03-01 20:13:50
232
原创 2021-01-08
强化学习经典模型学习- githubhttps://github.com/Qunima1120/Reinforcement-learning-with-tensorflow/tree/master/contents- 论文链接：https://pan.baidu.com/s/1NbDtQ4YcENxFqetqj0hXKw提取码：il50
2021-01-08 14:45:01
64
1
原创 Self attention-Multihead attention-Transformer
Self attention-Multihead attention-Transformerhttps://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg==&mid=2247488161&idx=1&sn=cf0f5e1a443c50eea19d134bb8428901&chksm=e9d00260dea78b7648a82c41fcb5ab8e9ba97f4a7388b93323fbb65d68596184df3d04933cee&
2020-11-17 10:48:30
166
原创 线性回归对样本的要求
线性回归线性回归本身对残差的假定有：0均值正态分布，对自变量假定：自变量和响应变量之间的相关关系为线性关系https://mp.weixin.qq.com/s?src=11×tamp=1605240424&ver=2703&signature=7fE0CgJnzzpEbQfUNlZmZx5dF4JXtiXPWhFU3A*RvBkXs0Fgbv5bbsYRFiqLG-Ex6kexOasvH5Hu9rgnAnO1cQp3CbJCKUbnGl0mqoxjp1OUWiAVc
2020-11-13 12:49:01
2901
原创 异常点检测
异常点检测kmeanshttps://blog.csdn.net/weixin_42608414/article/details/89092501LOFhttps://blog.csdn.net/wangyibo0201/article/details/51705966DBSCANhttps://blog.csdn.net/qingqing7/article/details/79719382‘’三种方法都可以sklearn实现：https://blog.csdn.net/jianbinzh
2020-10-26 11:36:55
113
原创 PCA，因子分析笔记
PCA，因子分析笔记PCA推导https://blog.csdn.net/zhongkelee/article/details/44064401几何意义https://www.cnblogs.com/frombeijingwithlove/p/5931872.html旋转矩阵https://www.cnblogs.com/chenjieyouge/p/12364589.html因子分析简单理解https://blog.csdn.net/yujianmin1990/article/d
2020-10-26 11:31:02
161
原创 数据分析记录
记录数据分析套路1、数据清洗2、特征选择根据缺失筛选变量（注意变量相关性和样本量之间的平衡，当某关键变量缺失过多，可以通过丢弃样本尽量保留变量）根据统计分析筛选变量引用 early Recognition of Burn- and trauma-Related Acute Kidney injury: A pilot comparison of Machine Learning techniquesThe Shapiro-Wilkes test and histogram ana
2020-09-30 09:47:03
257
原创 记录Multivariate adaptive regression splines
多变量自适应回归样条，Multivariate adaptive regression splines介绍见https://esl.hohoweiya.xyz/09-Additive-Models-Trees-and-Related-Methods/9.4-MARS/index.html该算法用于回归，分类（对y每一个类别拟合一次模型，若有k个类别，则设置：yi=0/1,i=1~k）该算法由特征取值的分段函数与分段函数的乘积的加权和和组成，原理上类似CART刚开始接触你，以后再补充~，..
2020-09-24 17:47:00
959
原创 格兰杰因果检验
格兰杰因果检验概念https://blog.csdn.net/Luciazxx/article/details/44224145?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159903498619724843336308%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=159903498619724843336308&
2020-09-02 17:23:47
616
原创 统计检验笔记
统计检验笔记显著性检验可以分为参数检验和非参数检验。参数检验要求样本来源于正态总体（服从正态分布），且这些正态总体拥有相同的方差，在这样的基本假定（正态性假定和方差齐性假定）下检验各总体均值是否相等，属于参数检验。当数据不满足正态性和方差齐性假定时，参数检验可能会给出错误的答案，此时应采用基于秩的非参数检验。单样本t检验指的是 某类样本跟某个均值的对比 比如大一新生身高 跟往年均值的差异https://www.cnblogs.com/qiuyuyu/p/9630410.html独立样本T检验
2020-08-29 10:41:22
2392
原创 Deep Belief network笔记
参考https://blog.csdn.net/Rainbow0210/article/details/53010694?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.cha
2020-08-24 15:23:25
264
原创 tensorflow学习
tensorflow学习博客https://blog.csdn.net/jiaoyangwm/article/details/79715826https://blog.csdn.net/jiaoyangwm/article/details/79725445https://blog.csdn.net/qq_38412868/article/details/83748553书《Tensorflow 实战Google深度学习框架》《TensorFlow实战_黄文坚》链接：https://pan.b
2020-08-24 13:57:13
76
原创 图像识别笔记
图像识别笔记CNN‘’‘VGG16‘’‘ResNet包含两篇论文Deep Residual learning for image recognition 和 training very deep network‘’‘Vgg16代码数据是keras自带的CIFAR100小图像分类集，参考这里相关代码参考Vgg16和Resnetvgg16每次卷积前要padding，filter是3*3，所以ZeroPadding2D(padding=(1,1)),这个操作和在Con
2020-08-20 09:38:46
185
转载 转载一个特征提取的方法——AE
转载https://blog.csdn.net/jiaoyangwm/article/details/79725445原理代码import tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=False)learning
2020-08-04 09:31:25
738
原创 [attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
论文理论文章：Effective Approaches to Attention-based Neural Machine Translation链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA提取码：6pv0模型理解本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
2020-07-23 14:50:38
277
原创 [attention] HAN模型笔记-使用keras编写
HAN模型理论部分文章：Hierarchical Attention Networks for Document Classification链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA提取码：6pv0模型理解代码复现数据获取与介绍参考https://blog.csdn.net/qq_36047533/article/details/88360833数据处理代码使用jieba包里的分词，keras.preproces
2020-07-06 19:38:55
1175
1
原创 解决热力图坐标轴文字保存显示不全，数字越界显示不全，刻度条负号显示为框的问题
import numpy as npimport pandas as pddata = pd.read_excel("528全部清洗数据.xlsx",sheet_name="Sheet1",header=0,encoding="utf-8")data=data.iloc[:,1:]import seaborn as snsimport matplotlib.pyplot as plttitlea=["检验结果评定","检疫结果评定","集装箱检疫结果","货物评定","检验检疫结果代码","索
2020-06-05 11:08:47
6560
2
原创 记录安装kears
记录安装kears安装tensorflow1、Anaconda Prompt输入：(这两行代码用来改成连接清华镜像的) conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls yes2、接...
2020-04-26 13:57:18
303
原创 实体识别——识别交通工具、伴随人员、目标地点
实体识别——识别交通工具、伴随人员、目标地点‘哈工大LTP对实体识别还属于初学时期，稍微做做记录。一开始使用的是哈工大训练好的模型LTP。LTP功能很多，能做分词，词性标注，命名实体识别（人名，地名，机构名），依存句法分析，语义角色标注。参考网址1参考网址2在安装过程，要先“$ pip install pyltp”，再下载训练好的pyltp的模型,详细见以上两个网址。在“$ pip i...
2020-03-15 15:33:08
471
原创 元胞自动机——应用于森林火灾和传染病场景
森林火灾元胞自动机最近接触了元胞自动机模型，做了一些资料搜查，并进行学习，推荐这篇文章澳洲变燠洲，考拉成烤拉！澳大利亚山火为什么难以控制？以下对所学进行记录。森林火灾元胞自动机原理在元胞自动机模型中，空间被离散成网格，每一个网格被称为元胞。森林火灾元胞有三种状态：树，火（正在燃烧的树）和空（空地）状态。元胞下一时刻状态的更新规则如下：树变火：一棵树，其上下左右若有一个状态为火，下一刻就会...
2020-02-19 00:55:21
5088
原创 武汉加油——传染病模型拟合
武汉加油——传染病模型拟合最近看了一篇很棒的文章，解决了我许多关于传染病模型困惑。有兴趣请看：http://i.dataguru.cn/mportal.php?mod=view&aid=15351因此想对这篇文章的做法复现下，用matlab完成。思路：使用SIR模型，对参数进行合理拟合，使最终SIR模型仿真尽量接近真实结果，使用数据是武汉地区新冠肺炎的数据。参数拟合使用回溯传播模...
2020-02-17 02:09:39
3691
3
原创 关于中位数回归
关于中位数回归https://wenku.baidu.com/view/f7dd11148e9951e79a892715.html?sxts=1581843614776https://max.book118.com/html/2014/1225/10867745.shtmhttps://zhuanlan.zhihu.com/p/29260974
2020-02-16 17:53:03
3517
原创 武汉加油——传染病模型拟合
武汉加油——传染病模型拟合上一篇笔记里完成的任务是仿真，本篇笔记里主要任务是模型拟合。运用SIR模型，代入湖北省的数据进行模型拟合。由于SIR模型的微分方程只能得出隐式解，因此需要先得到SIR模型的近似解s(t),i(t),r(t)，以下是求近似解的过程。总结模拟结果代码import matplotlib.pyplot as pltimport seaborn as sn...
2020-02-11 01:08:37
2196
原创 武汉加油——传染病模型概念与仿真
武汉加油——传染病模型概念与模拟SI模型SIS模型SIR模型SIER模型与改良SIER模型仿真global alpha beta r gamma N r2 beta2N=1400;%1400050000;r=5;%每个感染者每日接触平均人数gamma=25/198;%治愈率%%%%%%%%%SI模型%%%%%%%%%%%%%%%%%options = odeset(...
2020-02-09 18:16:49
5723
6
原创 不同特点的数据处理（笔记）2
不同特点的数据处理2有季度特征的数据有些数据具有明显季度特征（月度，季度），比如GDP，用电量，气温等，尤其是经济类数据。以下是某市2012-2019的季度用电量数据。这类数据（以上数据周期=4）不同期间特征相似。对于这类数据，法1：加入季节因子（这里s=1，2，3，4）法2：使用季节调整方法把季度特征去除，然后再对平滑曲线建模，最后结合季节因子完成重构，季节调整介绍季节调整方法很多...
2020-01-19 18:10:38
233
原创 不同特点的数据处理（笔记）1
不同特点的数据处理（笔记）1钟形数据正态分布，又称高斯分布，钟性分布。其曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。上述数据是二分类数据，y=1 or 2，有每个样本两个特征x1,x2。把数据画在二维坐标上，一类数据包围另一类，因此想到选择中心，比如（0，0），用高斯核函数，把二维数据处理成三维数据x1,x2,x3，其中x3是Gussian(x1,x2)...
2020-01-19 17:45:06
297
原创 matlab GUI制作拼图小游戏
matlab GUI制作拼图小游戏最近帮同学的忙制作一个拼图贴上代码和效果图，以后再详细说明。之前一般找到的拼图游戏都是“推格子”形式的，由于具体的要求，不能应用这种模板。本人这次做的拼图是这样的：从左边图点击，选择拼图，拼图位置变空，点击右边格子，相应位置补上刚刚选择的拼图。以下是效果图：function varargout =page_final(varargin)% PAGE_FIN...
2019-06-02 00:52:14
3103
4
原创 半监督模糊聚类算法FCM，SFCM，SSFCM理论和代码
半监督模糊聚类算法FCM，SFCM，SSFCM理论和代码关于上述三个模型的理论介绍请参考论文《半监督模糊聚类算法的研究与改进》（白福均，高建瓴，宋文慧，贺思云）具体的代码如下：FCM模型`function [center, U, obj_fcn] = FCMClust(data, cluster_n)data_n = size(data, 1); % 求出data的第一维(rows)...
2019-04-25 20:53:35
4948
19
原创 记录一次笔试题（R语言）
记录一次笔试题（R语言）data<-read.csv(“银行.csv”)#1 取出李姓#法1record.xingshi=c(FALSE,FALSE,FALSE,FALSE)for(i in 1:4){if(substring(data[i,1],1,1)==“李”){record.xingshi[i]=TRUE}}print(data[record.xingshi,])...
2019-04-25 18:01:45
1770
原创 MATLAB安装配置libsvm（matlab mex -setup缺少支持的sdk或编译器）
MATLAB安装配置libsvm（matlab mex -setup缺少支持的sdk或编译器）由于最近实验要运用到CS-SVM(代价敏感SVM)，安装libsvm进行尝试。由于libsvm包里需要用到的文件是c文件格式，需要转化为matlab能用的dll文件格式，这需要用到编译器和mex -setup和make等语句。博主之前盲目照搬相关博客里的方法，吃了很多苦头，这里记录一下。libsvm...
2019-04-22 17:21:08
1483
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人