- 博客(98)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pytorch DDP 模型加载测试后准确度为0
model.load_state_dict(torch.load())就行。测试时，如果时单卡，
2023-03-17 15:39:23
246
原创 拉格朗日松弛入门
将造成问题难的约束吸收到目标函数中，并使得目标函数仍保持线性，使得变换后的问题可以在多项式时间求解或者尽管不能在多项式时间求解但由于规模较小而可以快速求解。，从而为原问题的求解提供帮助。
2023-03-15 11:39:30
190
原创 pytorch多卡训练DDP模式，自定义的数据加载分布式重写 DistributedSampler
别人这样的代码，其实逻辑是，把数据所有的index分为多卡数量，然后设为sampler，然后设置了batchsize，这样就是每张卡的index信息再进行batchsize大小的batchSample！定义怎么取抽取数据，给定所有的数据路径或者名称，设定抽取规则，返回一格迭代器，这个迭代器每次返回要抽取的数据名称或者路径或者其他信息，送给DataSet的__getitem__去进行实际抽取。定义一个数据，定义好一个结构，只要给一个index，就能取出的对应的的数据，通过__getitem__
2023-03-11 21:56:10
1271
原创 ModuleNotFoundError: No module named ‘torch.torch_version‘
torch.load报错，No module named，torch版本问题
2022-05-09 22:12:59
1405
原创 挖土机距离（EMD，Wasserstein距离)
Wasserstein距离的直观解释_沛沛张的博客-CSDN博客_wasserstein距离自然语言处理之词移距离Word Mover's Distance_a flying bird的博客-CSDN博客Wasserstein距离以及Sinkhorn求解算法 - 知乎
2022-04-24 17:32:04
732
原创 pySpark的模型通过PMML给C#用
1.首先安装pyspark的pmml转化模块；https://blog.csdn.net/weixin_42051109/article/details/84303516按这个文章自己的步骤去安装，查看自己对应的jar版本，但是jpmml-sparkml-executable.jar这个文件别放在spark的jar包底下，放在其他地方，在程序中加载，不然就会报错Spark Command: /usr/BigData/jdk/jdk1.8.0_131/bin/java -cp /usr/BigD
2021-04-30 20:50:32
625
原创 并行FP-Growth算法分析
首先是单机情况下的算法其次参考论文《PFP: Parallel FP-Growth for Query Recommendation》
2021-04-23 11:19:07
233
原创 C语言数据结构-1-指针、及参数的引用总结
指针：存储的是内存的int x ; int *p ;//声明为指针类型，int* *p=2 等同于 x = 2;都是为x赋值创建指针时，（静态）计算机将分配用来存储地址的内存，不会分配用来存储指针所指向的数据的内存。 重要用途：在运行阶段（动态）分配未命名的内存以存储值，该值只能通过指针访问内存空间。int *P = (int*)malloc(sizeof(int));//p指向的时int的数据对象！而且系统分配了内存！C语言的参数传递分为值传递、地址传递、C++中才能用&作
2021-01-15 10:35:24
582
原创 C语言数据结构-2-单项链表-递归实现无头单向链表的指定值全部删除
为什么用地址传递的参数就可以不断链？？？？C语言中只能用地址传递，不能用引用传递“&"#include <stdio.h>#include <stdlib.h>#include <string.h>struct listNode{ int data; struct listNode* next;};typedef struct listNode *listPointer;//建立包含头节点的单向链表，动态建立！//操作的思路；全是保
2021-01-12 15:46:40
193
原创 vm虚拟机上ubuntu14.04开启后直接进入GRUB并显示没有init文件
网上查的解决方法为大概就是说挂载之前系统，然后去安装init，因为是在vm下，所以可以先创建一个新的ubuntu的系统，然后添加磁盘，选择之前的虚拟机的文件然后按照这个去挂载磁盘然后安装，重启就好了！！...
2020-12-21 20:52:04
660
原创 django连接mysql，实现前端的展示
卸载mysqlhttps://blog.csdn.net/iehadoop/article/details/82961264安装mysql5.7 https://www.cnblogs.com/yxym2016/p/12669532.htmlapt找不到5.7 https://blog.csdn.net/u013609880/article/details/82760873设置mysql可以远程连接https://www.jianshu.com/p/f1d961462c4esudo...
2020-12-14 22:54:57
291
原创 tensorflow conv1D 和deconv1D
# -*- coding: utf-8 -*-import tensorflow as tfimport numpy as np"""conv1d的参数含义：(以NHWC格式为例，即，通道维在最后)1、value：在注释中，value的格式为：[batch, in_width, in_channels]，batch为样本维，表示多少个样本，in_width为宽度维，表示样本的宽度...
2020-04-20 12:00:57
1548
原创 关联分析
Apriori算法：核心思想，找频繁项集，然后一个个的去除去寻找关联规则https://blog.csdn.net/qq_36523839/article/details/82191677https://blog.csdn.net/weixin_39220714/article/details/83595519FP-Growth算法：将频繁项集的关系存在数据结构的树中，这样只需...
2020-03-05 19:29:29
141
原创 迁移学习（2）基于特征映射的迁移学习
找到潜在的特征映射空间，源域和目标域分布相同，然后去做训练。Pan S J, Kwok J T, Yang Q. Transfer learning via dimensionality reduction[C]//AAAI. 2008, 8: 677-682.引言：此篇之前的迁移学习有1.基于实例的，用不同权重对数据进行排序。2.基于特征的，找到共同的特征结构。这篇是将...
2020-03-02 11:05:38
6181
原创 迁移学习（1）综述入门
迁移学习定义：迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法。迁移学习意义：放宽了传统机器学习中的两个基本假设:(1) 用于学习的训练样本与新的测试样本满足独立同分布的条件;(2) 必须有足够可利用的训练样本才能学习得到一个好的分类模型迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题，如何利用少量的有标签训练样本或者源领域...
2020-02-27 23:02:44
780
原创 深度学习待看
解决深度网络degradation的问题 残差网络：ResNethttps://blog.csdn.net/weixin_43624538/article/details/85049699
2020-02-26 10:33:28
93
原创 Word Word2Vec
词嵌入（Word Embedding）或者分布式向量（Distributional Vectors）是将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。由于要考虑多种因素比如词的语义（同义词近义词）、语料中词之间的关系（上下文）和向量的维度（处理复杂度）等等，希望近义词或者表示同类事物的单词之间的距离可以理想地近，只有拿到很理想的单词表示形式，才更容易地去做翻译、问答、信息抽取等进一...
2020-02-17 20:23:23
181
原创 Attention Mechanism 在自然语言处理中的应用
Effective Approaches to Attention-based Neural Machine Translation它有一个很大的优点就是可以可视化attention矩阵来告诉大家神经网络在进行任务时关注了哪些部分。不过在NLP中的attention机制和人类的attention机制还是有所区别，它基本还是需要计算所有要处理的对象，并额外用一个矩阵去存储其权重，其...
2020-02-17 10:39:44
173
原创 RNN——LSTM——GRU
RNN可以更好的理解序列问题，因为S的值取决于上一个输入的S的值U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。由上图，循环神经网络可以往前看任意多个输入值LSTMRNN不能解决长序列的问题，长短期记忆网络（LSTM）的全称是Long Short Term Memory networks，是RNN的一种特殊形式，...
2020-02-10 17:26:16
265
原创 django定时运行kettle脚本进行数据迁移
Djiango定时服务：用django-crontab模块：https://pypi.org/project/django-crontab/测试时别用print()命令,输不出东西的，可以生成log日志进行测试python执行kettle脚本：import os os.system('/usr/BigData/data-integration/kitchen.sh -file...
2020-01-02 20:39:49
190
原创 统计学习方法--正定和半正定矩阵
正定和半正定矩阵的基本含义：https://zhuanlan.zhihu.com/p/44860862含义：1.正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。2.类似二次函数开口方向正定矩阵的充要条件：https://zhuanlan.zhihu.com/p/69351875矩阵特征值计算：https://blog...
2019-12-31 21:00:47
417
原创 统计学习方法---有约束最优化方法（不等式约束）
不等式约束问题：等式约束、大于号约束，小于号约束————>约束方程=0和约束方程<01.拉格朗日乘子法：解决的是凸优化问题，即怎么判断一个目标函数是不是凸优化问题呢？https://www.zhihu.com/question/334515180它的关键一步是将不等式约束问题变为等式求最优问题，将约束和最优目标进行联合求解。拉格朗日乘子法：将原问题转化为极小...
2019-12-30 16:55:23
1196
转载 统计学习方法---有约束最优化方法（等式约束）
1.拉格朗日乘数法：主要思想，将等式约束变为左右等于0，乘因子结合目标函数，将乘子作为参数求导，相当去无约束求最优。2.全微分法：将其与约束条件g(x,y)=c构成了两个方程，由此可以求出x和y的临界值。...
2019-12-30 16:20:32
852
原创 pySpark做机器学习 MLlib
官方指南https://spark.apache.org/docs/2.2.0/ml-guide.html从Spark 2.0开始，程序包中基于RDD的APIspark.mllib已进入维护模式。现在，用于Spark的主要机器学习API是软件包中基于DataFrame的APIspark.ml。所以还要学习一下怎么建立DataFrame从文件读取出来后。...
2019-12-27 16:30:30
149
原创 pySpark读取Hdfs文件
from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster('local').setAppName('SparkTest')sc = SparkContext(conf=conf)# 连接到spark集群# 读取本地文本# textFile = sc.textFile("file:///usr/B...
2019-12-27 14:51:24
5892
原创 Spark并行计算Hbase数据_python(2)Spark并行读取Hbase数据进行简单操作
1.Spark将Hbase数据读取为RDD格式：https://davidham3.github.io/blog/2019/04/10/pyspark%E8%AF%BB%E5%86%99hbase/
2019-12-26 10:38:46
363
原创 Spark并行计算Hbase数据_python(1)Spark On Yarn配置
问题1：pyspark报错TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'我的Django用的python3.7，Spark版本是2.1，pyspark 用python 3.6及以上版本时会报错。经过测试，Spark2.2.0可以用Pyth...
2019-12-22 20:48:44
306
原创 Cannot run program "/home/qel/miniconda3/envs/Spark/bin/python": error=2, No such file or directory
在环境变量里设置了PYSPARK_PYTHON = /home/qel/miniconda3/envs/Spark/bin/python但是运行出错Cannot run program "/home/qel/miniconda3/envs/Spark/bin/python": error=2, No such file or directory在master上运行这个路径也是没问...
2019-12-22 20:48:31
1325
原创 统计学习方法---无约束最优化方法
用于求解无约束最优化问题的方法可以分为解析法和直接法两大类。解析法在构造迭代公式的过程中往往使用了泰勒展开来作近似或者推导，因此迭代步骤中含有梯度∇f(x)∇f(x)或黑塞(Hessian)矩阵∇2f(x)∇2f(x)，在问题的解析形态较好的情况下使用往往能获得比较快的收敛速度。而直接法则从物理角度思考如何递推，不会用到梯度或者黑塞矩阵，它对问题的解析形态几乎没有要求，只要能计算出函数值即可。当然...
2019-12-18 20:30:01
518
原创 higcharts tooltip添加点击事件
实例在，但是要加入style: { pointerEvents: 'all' }http://jsfiddle.net/quvaepad/3/$(function () { $('#container').highcharts({ tooltip: { follow...
2019-12-12 10:41:28
474
原创 C#委托和事件
委托：让别的函数去完成你想要的功能，可以多指定！！https://www.cnblogs.com/wudiwushen/archive/2010/04/20/1703368.html事件：有订阅者和发布者，发布者的这个动作一被触发，那么就去执行委托到的函数！！！！https://www.cnblogs.com/wudiwushen/archive/2010/04/20/1703763....
2019-12-10 10:27:21
77
原创 统计学习方法问题
1.最大似然估计和贝叶斯估计区别https://blog.csdn.net/bitcarmanlee/article/details/52201858贝叶斯估计https://blog.csdn.net/zengxiantao1994/article/details/72889732 最大似然估计没有考虑模型本身的概率，或者说认为模型出现的概率都相等。而贝叶斯估计将模型出现的...
2019-12-05 16:51:01
103
原创 使用Wireshark抓包排查网络故障和分析TCP/IP协议
https://blog.csdn.net/taotongning/article/details/81352985 OSI七层协议tcp 可靠传输 当数据需要分段传输时需要用udp 不可靠传输 当数据不需要分段时传输传输层协议+端口 判断 应用层协议OPC DA = tcp+135focas = tcp+8192...
2019-11-13 23:11:46
3665
原创 windows 端口相关
找已经开放的端口netstat -ano -p tcpnetstat -ano -p tcp | find "3389"通之后ctrl + ] 回车退出quit 回车退出telnetping和Telnet区别ping用来检查网络是否通畅或者网络连接速度的命令telnet是用来探测指定ip是否开放指定端口TCP/IPhttps://juej...
2019-11-06 21:45:08
95
原创 网络相关知识
IP地址IP地址=网络地址＋主机地址。 32位，4段每个八位。https://blog.csdn.net/kzadmxz/article/details/73658168#commentBox可以划分为ABC类网络，按网络地址长度划分，对应不通数量级的主机数量。子网掩码IP"与关系"子网掩码 = 网络地址IP"与关系" 子网掩码取反 = “主机地址”子网掩码(sub...
2019-11-06 21:27:35
120
原创 1
pySpark 读取hbasehttps://davidham3.github.io/blog/2019/04/10/pyspark%E8%AF%BB%E5%86%99hbase/
2019-10-28 21:22:07
71
原创 kettle 把MongoDB数据迁移到hbase
1.数据结构：MongoDB数据结构，需要把mongoDataList里的每一个dataIID转换为列名，列名的名称需要在SQL Server中进行查询。2.问题： 因为每个存储内容名称一样，list中默认getfiled取到第一个内容，需要遍历3.步骤把list中的列都遍历出来 用遍历出来的列id在sqlserver中查询id对应的Name 把name赋值为列名，...
2019-10-24 15:11:25
909
原创 SparkSQL 读写Hbase python
1.Spark读取Hbase的几种方法https://blog.csdn.net/sinadrew/article/details/80172984https://stackoverflow.com/questions/38470114/how-to-connect-hbase-and-spark-using-pythonhttps://diogoalexandrefranco.git...
2019-10-23 14:49:59
312
原创 Kettle sqlserver 到hbase
kettle入门介绍：https://www.jianshu.com/u/20ec7e99f9001.配置Sqlserver连接2.配置表输入内容3.配置Hbase内容，设置主键等，save mapping ,然后在前一个tab页选择存储的map任务！4.实现增量式导入：https://www.jianshu.com/p/3c01ea8313c5获取时...
2019-10-21 09:23:35
153
visual studion 2010 Service Package1离线安装包百度云链接.txt
2020-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人