- 博客(40)
- 收藏
- 关注
RSS订阅原创 启动Kettle时报错找不到文件javaw.exe
文章目录问题描述问题分析解决方法测试以下问题描述kettle运行spoon.bat时找不到javaw.exe文件问题分析说的是javaw.exe 文件，但是jdk安装好的版本也对应的，怎么回事呢？殊不知kettle需要和jdk 有一个桥梁连接，就是我们所谓的路径我们可以编辑spoon.bat文件里面看解决方法这里也需要交互和jdk ，在这里做了一个判断。故而：创建用户变量名，方面kettle系统找路径，变量值是自己的实际路径变量噢测试以下打开spoon.bat它来了它来了！
2022-11-05 22:45:58
2411
1
原创 hive初始化报错
HIVE-ERROR 1045 (28000): Access denied for user 'root'@'%' (using password: YES)_peterchan88的博客-CSDN博客在安装Hive的时候报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: java.sql.SQLException : Access denied for
2022-07-11 00:23:52
521
原创 初始化报该错CDH 初始化数据库 报错ERROR Exception when creating/dropping database with user ‘root’ and jdbc url ‘jd
[2018-09-12 16:22:51,787]ERROR 0[main] - com.cloudera.enterprise.dbutil.DbProvisioner.executeSql(DbProvisioner.java) - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://10.100.200.40/?useUnicode=true&characterEn.
2022-05-28 11:52:46
845
原创 对于Python程序在命令行中运行，采用命令中传参数进行运行使用
#创建一个命令行中可以传参数的程序，import numpy as npimport argparse #导入参数解析功能模块import jsondef argumentparse(): parse=argparse.ArgumentParser(description="a list") parse.add_argument('list_1',help='get a list') parse.add_argument('list_2',help='get a li.
2022-02-09 17:31:03
671
原创 opencv图像形状按照需要变换
import cv2file=r'C:\Users\lenovo\Desktop\img_mv.jpg'def img_show(img): cv2.imshow('zzb',img) cv2.waitKey(0) cv2.destroyAllWindows()#读取图像img=cv2.imread(file)img_1=cv2.resize(img,(400,400))print(img_1.shape)img_show(img_1)img_show(img).
2022-01-26 17:09:50
3313
原创 python 实现灰度预测模型
1、关键词：python ，灰度预测模型2、算法名称：灰度预测模型3、算法概述介绍灰色预测是用灰色模型GM(1,1)来进行定量分析的，通常分为以下几类： (1) 灰色时间序列预测。用等时距观测到的反映预测对象特征的一系列数量（如产量、销量、人口数量、存款数量、利率等）构造灰色预测模型，预测未来某一时刻的特征量，或者达到某特征量的时间。 (2) 畸变预测（灾变预测）。通过模型预测异常值出现的时刻，预测异常值什么时候出现在特定时区内。 (3) 波形预测，或称为拓扑预测，它是.
2022-01-15 14:36:17
1667
原创 各类算法总结
常见的聚类算法：K-Means算法： 首先，需要知道该数据应该分成几类，假如为K类，那么，在数据中随机初始化k个点，维度和数据点的维度保持一致，然后计算机数据集中所有点与这k 个点之间的距离，将每个数据点分到离它最近的中心点的类别中，然后将各个分到中心点的数据点求均值获得新的中心点，多次重复以上操作，直到所有数据点分到中心点的类别不在发生变化，将达到聚类的目的。优点：速度快，...
2022-01-15 14:35:39
248
原创 kettle
Kettle构建Hadoop ETL实践（一）：ETL与Kettle - 云+社区 - 腾讯云我在2017年写了一本名为《Hadoop构建数据仓库实践》的书。在这本书中，较为详细地讲解了如何利用Hadoop（Cloudera's Distribution...https://cloud.tencent.com/developer/article/1680595?from=article.detail.1860923...
2022-01-15 14:33:24
786
原创 spark研究
1、spark基本介绍1.1、spark基本概念spark是用于大规模数据处理的统一的分析引擎。其中RDD是一种分布式内存抽象，是的程序员能够在大规模集群中做内存运算，并且有一定的容错方式，这也是整个spark的核心数据结构，spark整个平台也是围绕RDD进行的。统一的分析引擎？其特点是对于任意类型的数据进行自定义计算，包括结构化、半结构化、非结构化等各种类型的数据结构进行处理，同时支持使用python、java、Scala、R、SQL语言去开发应用数...
2022-01-15 14:32:47
409
原创 matplotlib学习教程
一、Python编程基础1、编程语言编程语言适用于和机器进行沟通，常见的语言有C、C++、Java、Python等。编程语言按类型分成两类： ...
2022-01-15 14:30:04
450
原创 anaconda同时安装多个第三方包
按照以下步骤操作：第一步创建txt文件，加入命名为requirements.txt第二步将需要安装的包写入txt文件中，写入的方式如下可以根据需要注明版本，解决对于版本的要求。第三步cmd或者从anaconda 的命令行中中进入txt文件所在路径下，运行下面的命令行即可：1)不采用镜像的方式，命令行如下：pip install -r requirements.txt2）采用镜像的方式，命令行如下：pip install -ihttps://pypi.tun..
2021-12-17 16:09:30
4046
原创 服务器上安装anaconda 报异常处理
Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误，将以上次的错误状态退出解决办法：安装bzip2即可解决yum install -y bzip2Anaconda3安装过程中遇到“Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误，将以上次的..
2021-12-17 09:15:50
1138
原创 目标检测算法研究
1、目标检测基本介绍1.1、项目结构 1.2、目标检测的算法分类1.2.1两步走的目标检测：先进行区域推荐、而后进行目标分类代表算法 ：R-CNN、 SPP-net、Fast-R-CNN、Faster R-CNN1.2.2、端到端的目标检测：采用一种网络一步到位 代表：YOLO、SSD1.3目标检测的本质分类问题和目标检测问题的对比：分类问题：N个类别 输入：图片 输出：类别 评估...
2021-12-15 17:44:44
3934
原创 机器学习之分类算法
1、KNN算法参考文献：理论来源：机器学习之KNN（k近邻）算法详解_平原的博客-CSDN博客_knn1-1 机器学习算法分类一、基本分类：①监督学习（Supervised learning）数据集中的每个样本有相应的“正确答案”， 根据这些样本做出 预测， 分有两类： 回归问题和分类问题。 步骤1： 数据集的创建和分类 步骤2： 训练 步骤3： 验证 步骤4： 使用 （ 1） 回归问题举例 例如： 预测房价， 根据样本集拟合出一条连续曲线。 （ 2） ...https://blog.csdn.
2021-12-02 17:30:32
718
原创 计算机学习网站
C语言中文网：C语言程序设计门户网站(入门教程、编程软件)http://c.biancheng.net/Python3 os.path() 模块 | 菜鸟教程Python3 os.path() 模块 Python3 OS 文件/目录方法 os.path 模块主要用于获取文件的属性。 以下是 os.path 模块的几种常用方法： 方法说明 os.path.abspath(path) 返回绝对路径 os.path.basename(path) 返回文件名 os.path.commonprefix(list) 返
2021-12-02 09:21:17
221
原创 时间序列算法模型
1、时间序列算法1.1、差分自回归移动平均模型（Arima）1.1.1、概述ARIMA是典型的时间序列模型，其由三部分组成：AR模型（自回归模型）和MA模型（滑动平均模型），以及差分的阶数I，因此ARIMA称为差分自回归滑动平均模型。参考文献：理论来源[python] 时间序列分析之ARIMA_CV前沿-CSDN博客_python 时间序列时间序列建模基本步骤1. 获取被观测系统时间序列数据；2. 对数据绘图，观测是否为平稳时间序列；对于非平稳时间序列要先进行**...
2021-12-01 11:11:51
1441
原创 mysql
第一章：了解SQL（通常数据库称为数据库管理系统 DBMS）数据库：以某种有组织的方式存储数据。 数据库：存储数据的容器； 表：数据库中信息的载体； 列和数据类型：列是指具体字段，类型是数据的类型（文档、数值型等）； 行：一条数据记录； 主键：为每条数据记录赋予唯一地址，区分不同行；第二章：MySql介绍 1、...
2021-11-19 09:36:08
237
原创 1、Python中类的学习
class student: #定义类 student_count=0 #定义类变量 def __init__(self, name, age): #类的初始化 self.name = name self.age = age student.student_count += 1 def dis_student(self): #定义类的实例 print("student name is "+sel...
2021-11-19 09:35:15
469
原创 1、numpy、pytorch学习
# -*- coding:utf-8 -*-"""@author:@file: test.py@time: 2021/8/8 13:52@desc:"""'''#break、continue、pass功能的测试'''#测试pass功能点,结果：继续循环，不会做任何操作number = 10for i in range(10): if i == 5: pass if i < number: print("The number is .
2021-11-19 09:34:42
142
原创 一、服务器搭建
对于客户机和服务器之间通信必然存在有个统一的通信端口，客户机通过该通信端口进行与服务器进行通信，传递执行命令，服务器进行处理后将执行的结果反馈给客户端，比喻成一家公司的话，客户就是客户端，通信端口就是前台人员，服务器就是公司，客户通过前台人员将请求发送给公司，公司对于请求进行处理后将结果通过前台人员反馈给客户机，客户机获取处理后的信息。 套接字符合通信接口的计算机通信数据结构，可以用于客户端和服务端的通信。 套...
2021-11-19 09:34:06
1690
原创 opencv_图像处理
# -*- coding:utf-8 -*-"""@author: @file: opencv_learning.py@time: 2021/8/15 19:15@desc: """#导入第三方包import cv2import matplotlib.pyplot as pltimport numpy as npimfile=r'C:\Users\Admin\Desktop\code_learning\data\image_opt'intfile=r'C:\Users\Admi...
2021-11-19 09:33:15
211
原创 numpy的学习
#Python的学习：numpy学习import numpy as npimport matplotlib as mplfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmimport timefrom scipy.optimize import leastsqfrom scipy import statsimport scipy.optimize as optimport matplotli..
2021-11-19 09:32:02
248
原创 sumo研究
1、python从SUMO中获取车辆平均行驶时间python从SUMO中获取车辆平均行驶时间 - 云+社区 - 腾讯云2、Sumo入门和Traci接口教程Sumo入门和Traci接口教程 - 知乎3、sumo快速运行简单仿真实例详细教程sumo快速运行简单仿真实例详细教程 - 张起灵先生 - 博客园4、基于python的turtle图形引擎渲染地图基于python的turtle图形引擎渲染地图 - 知乎5、Python处理OpenStreetMap(OSM)数据Pytho
2021-11-18 21:56:31
404
原创 机器学习算法模型
1、聚类算法常见的六大聚类算法_从未完美过的博客-CSDN博客_聚类算法2、过拟合、欠拟合欠拟合、过拟合及其解决方法_willduan的博客-CSDN博客_欠拟合3、正则化与交叉验证
2021-11-18 21:55:50
476
原创 linux教程
1、Linux概述Linux是一种开源的unix的操作系统，英文解释为Linux is not unix，1991 由林纳斯·托瓦兹在赫尔辛基大学上学时创立的，主要受到 Minix 和 Unix 思想的启发。2、Linux不同发行版 3、Linux的启动过程Linux的启动过程大致分成5步：1）内核的引导；2）运行init；3）系统初始化；4）建立终端；5）用户登录；...
2021-11-18 21:48:57
678
原创 sumo交通流仿真软件的使用说明
1、安装流程：1）.mis文件安装：官网下载下来一键安装；2）.tar利用压缩安装：官网下载安装包，解压后，在系统变量变量中定义sumo的路径和bin文件的安装路径；2、本人安装的是压缩包的方式1）文件说明bin 文件：一些可执行文件，包括sumoGUI、路网文件、地图转换文件等； data:sumo软件下的一些配置，比如字体、logo等； docs：包括一些案例、手册、指导教程等，即学习资料 tool :sumo的一些工具等，包括红绿灯的控制等；3、路网文件生成方式：1）外
2021-11-18 17:58:12
3329
2
原创 pytorch学习
#导入所需的模块import torcha=torch.rand(2,3)print(a)b=torch.randn(3,4) #产生均值为0 方差为1的矩阵c=torch.range(1,10,1)print(c)#矩阵相加d=torch.randn(3,4)e=torch.randn(3,4)f=torch.add(d,e)g=torch.div(d,e)print(f)print(g)#搭建神经网络(依靠一定计算更新梯度)# import torch## ba.
2021-11-17 11:12:45
470
原创 建模过程中的疑问记录
1、连接数据库，接入数据并且转化成dataframe 形式,采用以下语句dataset=pd.DataFrame(list(cursor.fetchall()),columns=['tjsj','gmyszzyzs','gyydl'])说明：运行SQL语句后，必须转化后才能list，最好附带列名columns，生成期望的dataframe进行及进一步的处理加工。2、数据中空缺值填充data=dataset.fillna(method='bfill')说明：1）method参数的取值.
2021-11-17 11:11:52
228
原创 数据预处理过程中处理方法
1、初次清洗，DataFrame中存在数值型字段和非数字型字段技巧1）将训练集和测试集数据进行合并，统一处理dataset=pd.concat([train_data,test_data],axis=0)2)识别数值型字段和非数值型字段number_feats = dataset.dtypes[dataset.dtypes != "object"].indexobject_feats = dataset.dtypes[adataset.dtypes == "object"].index
2021-11-17 11:11:34
441
原创 keras研究
1、mnist数据的分类，该实验进行了完整的模型训练测试以及预测，将新的样本送入进行预测，直观表征模型的有效性。keras送入模型训练的是ndarray数据，不要转化成tensor。# -*— coding:utf-8 -*-# @time :2021/10/27 11:49# @Author :zhangzhoubin'''Keras的研究，基于tensorflow theano框架的二次封装''''''功能：实现minist分类'''#导入第三方模块import cv2.
2021-11-17 11:11:09
168
原创 DataFrame基本操作
其实代码就是按照人的思维编写的底层，所有的函数都是按照人类的认知定义的。1、读取表，设置类索引和行索引datas=pd.DataFrame(数据表，index=list(''),columns=list(''))eg:df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))2、格式化函数 .format()格式化字符串函数str.format()将对应的字段转化成个性化的
2021-11-17 11:10:40
5962
原创 机器学习算法探索
2、算法图示3、算法的要点：3.1算法计算步骤4、算法的不足一、K近邻（KNN）1、K近邻算法概述K近邻算法属于分类算法，属于比较简单的算法，核心思想是“近朱者赤，近墨者黑”，根据临近样本计算自身的标签。2、算法图示从最近的K个样本的标签，依据少数服从多数的原则确定自身的标签； 三要素：训练数据集、距离度量（欧氏距离）、K值选择。算法运行流程描述：上图显示的是不同样本的展示，绿点是新样本，新样...
2021-11-17 11:10:13
245
原创 爬虫技术初探
# -*— coding:utf-8 -*-# @time :2021/11/5 17:01# @Author :zhangzhoubin'''1、爬虫：又称网页蜘蛛，是将网页数据按照需要进行抽取，存储到本地数据库中，用于我们构建模型进行数据分析，获取数据中所需的价值。2、web与http协议的工作流程：客户端浏览器---url---远程服务器 （超文本传输协议http，客户端通过超文本传输协议对于远程服务器进行请求，服务器端对于请求进行响应）3、爬虫的流程（1）确定需求；（2）寻求.
2021-11-17 11:08:35
509
原创 python数据挖掘与分析
1、数据挖掘的基本任务数据挖掘就是借助机器学习、深度学习、大数据等技术，从数据中分析出所需的价值，主要涉及的任务有分类、预测、回归、关联分析、时间序列、聚类分析等。2、数据挖掘建模的流程目标定义：任务理解、指标确定 数据采集：建模抽样、质量把控、实时采集数据整理：数据探索、数据清洗、数据变化表 构建模型：算法选择、模型搭建、模型验证模型评价：模型评价指标选择、模型优化 模型发布：模型部署、模型运行监测3、数据挖掘采用工具语言：Python、anaconda工具：pandas、
2021-11-17 11:06:06
3568
原创 1、神经网络的训练过程以及优化
1、更新权重和偏置：对于权重和偏置的优化本质就是使得模型的损失最小，也就是对于损失函数求取最小值，此时的权重和偏置就是模型最终的权重和偏置：2、权重和偏置的更新公式： 其中Wnew为下一时刻的更新权重，也就是目标值，Wold是当前时刻的权重，loss为损失函数（变量为权重和偏置），为学习率，采用梯度下降算法进行优化权重和偏置。...
2021-08-06 11:34:39
831
原创 1、神经网络优化
1、梯度理解梯度 - 知乎2、激活函数 对于上面两张图进行解释：第一张是人工神经元，其是模拟人类神经信息的传递过程，第二种就神经网络，可以看出神经网络是由大量神经元构成的，其中神经的计算过程是 ...
2021-08-06 10:48:02
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人