- 博客(49)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 centos7 搭建 oracle 11g
官方文档：https://docs.oracle.com/cd/E11882_01/install.112/e24326/toc.htm准备下载下载两个文件linux.x64_11gR2_database_1of2.zip、 linux.x64_11gR2_database_2of2.ziphttps://www.oracle.com/database/technologies/oracle-database-software-downloads.html服务器配置安装所需yum包yum i
2020-08-31 19:38:24
318
原创 CDH6.0.1集成Flink1.10
制作parcel安装包制作支持CDH-6.0.1的Flink-1.10.0的Parcel安装包下载项目git clone https://github.com/pkeropen/flink-parcel.gitcd flink-parcel修改配置文件vim flink-parcel.properties修改后的内容如下：#FLINK 下载地址# 这里是内网下载地址，下载之后通过nginx做下载管理的地址FLINK_URL=http://10.1.24.134:38080/flink
2020-08-06 15:03:09
1043
5
原创 Hadoop 2.7.2版本完全分布式搭建
主机配置主机IP角色hadoop0110.1.24.1namenode，datanode，nodeManagerhadoop0210.1.24.2namenode2，datanode，nodeManagerhadoop0310.1.24.3resourceManager，datanode，nodeManager环境配置安装JDK这里安装的是1.8.0_211版本。配置三台主机免密这里三台都要配置，自己到自己的免密也要配置。安装hadoop下载
2020-07-07 19:45:35
786
原创 Hadoop 2.7.2版本单机搭建
安装java环境这里安装的是1.8.0_211版本下载hadoop压缩包各版本的Hadoop安装包下载地址：http://archive.apache.org/dist/hadoop/common/这里选择2.7.2。mkdir /home/hadoopcd /home/hadoopwget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gztar -zxvf hadoop-2.7.2.t
2020-07-07 19:15:00
636
原创 Linux压缩命令 tar、zip、gzip
tar基本语法打包文件或目录，压缩后的文件格式是.tar.gz。tar [选项] XXX.tar.gz 将要打包进去的文件(可以是多个文件，也可以是目录)选项说明选项功能-z打包同时压缩-c产生.tar打包文件-v显示详细信息-f制定压缩后的文件名-x解压.tar文件包命令示例压缩命令# 压缩test目录为test.tar.gz文件tar -zcvf test.tar.gz test/# 压缩t1.txt和t2.txt文件为
2020-07-01 22:21:57
307
原创 VMware使用静态IP配置方法
虚拟机网络编辑器在菜单栏点击编辑，然后选择虚拟机网络编辑器选中NAT模式选项，然后修改子网IP为192.168.1.0点击NAT设置，修改网关IP设置如下，然后点击确定修改window网卡设置打开网络和Internet设置，然后选择更改适配器选项右击VMnet8，选择属性双击Internet 协议版本4（TCP/IPv4）修改Internet 协议版本4（TCP/IPv4）配置如下修改虚拟机IP地址打开终端，输入ifconfig，查看网卡名称修改ifcf
2020-07-01 21:01:25
182
原创 MySQL5.7.25双机热备搭建
MySQL安装groupadd mysqluseradd -r -g mysql mysqlcp mysql-5.7.25-linux-glibc2.12-x86_64.fast.tar.gz /usr/local/tar -xzvf mysql-5.7.25-linux-glibc2.12-x86_64.fast.tar.gzcp -rf mysql/my.cnf /etc/my.cnfln -s /usr/local/mysql/data/mysql.sock /tmp/mysql.soc
2020-06-28 16:10:26
301
原创 Centos7 zabbix 安装与部署
介绍zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux，Solaris，HP-UX
2020-06-23 17:00:27
344
原创 MySQL权限管理体系介绍以及SQL语句
前言mysql.user表mysql中引用了一张表来存储mysql的用户信息 mysql.user基础字段Host： 访问数据库客户端机器的IP地址。'%':通配符，匹配所有的ip地址User： 用户名。超级管理员为rootauthentication_string： 密码的加密字符串要注意的是，mysql是通过用户名（user）和客户端ip（host）来唯一确定一个用户。即，可以设置同一个用户名在不同的客户端登陆时的密码不同，登陆后的权限也不同。通过查看mysql.user的表
2020-06-23 15:43:32
304
原创 nexus（Maven仓库私服）安装与配置
介绍Nexus 是Maven仓库管理器，如果你使用Maven，你可以从Maven中央仓库 下载所需要的构件（artifact），但这通常不是一个好的做法，你应该在本地架设一个Maven仓库服务器，在代理远程仓库的同时维护本地仓库，以节省带宽和时间，Nexus就可以满足这样的需要。此外，他还提供了强大的仓库管理功能，构件搜索功能，它基于REST，友好的UI是一个extjs的REST客户端，它占用较少的内存，基于简单文件系统而非数据库。这些优点使其日趋成为最流行的Maven仓库管理器。下载开源版本–免费，
2020-06-23 11:04:03
487
原创 redis cluster 数据热迁移
前言因为公司服务器架构调整，现在需要将redis cluster迁移到其他机器上，但中间服务又不能停，且数据不能丢失。环境原搭建环境的服务器IPhostname角色10.1.24.127bd127master10.1.24.128bd128master10.1.24.129bd129master10.1.24.130bd130slave10.1.24.131bd131slave10.1.24.132bd132slave
2020-06-17 17:18:06
514
原创 从windows复制脚本到Linux系统各式问题解决办法
由于在DOS（windows系统）下，文本文件的换行符为CRLF，而在Linux下换行符为LF，使用git进行代码管理时，git会自动进行CRLF和LF之间的转换，这个我们不用操心。而有时候，我们需要将windows下的文件上传到linux上，例如shell脚本，执行的时候有时会出现奇怪的问题，这时候，就需要安装dos2unix软件。在centos下安装dos2unix：yum install -y dos2unix安装完成后，对文件进行转换dos2unix xx.sh现在执行就不会出问题了.
2020-06-06 17:34:57
861
原创 CentOS 7下Cloudera Manager及CDH 6.0.1安装教程
概念介绍CDH 概览CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。CDH 提供以下特性：灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。集成：在一个完整的Had
2020-06-03 18:10:10
559
原创 HyperLedger Fabric 1.4.4 使用couchdb时创建索引
使用couchdb作为世界状态数据库时，有的时候需要创建索引。首先在链码对应的目录创建三级目录statedb\couchdb\indexes。创建单个字段索引文件phoneIndex.json{ "index":{ "fields":[ "phone" ] }, "ddoc": "phoneIndexDoc", "name": "phoneIndex", "type": "json"}创建多个字
2020-06-02 11:48:24
490
原创 HyperLedger Fabric 1.4.4 启动网络
启动容器之前# 为了防止之前启动过区块链网络，所以需要删除之前可能遗留的文件，以免影响搭建# 删除各个节点生成的主机文件（这些文件可以用来恢复数据），配置不同可能目录也不相同rm -rf /var/hyperledger/*# 删除之前生成的证书等文件rm -rf crypto-config# 删除之前生成的创世区块等文件rm -rf channel-artifacts/*# 删除之前可能生成的 docker-compose-e2e.yaml 文件rm -rf docker-compose
2020-06-02 11:37:51
506
原创 HyperLedger Fabric 1.4.4 raft共识集群搭建
前言因为HyperLedger Fabric后面的版本会将kafka共识抛弃，所以特此记录搭建raft共识集群流程。相比较于kafka共识集群，raft共识集群的搭建流程更为简化。本文只记录了和搭建kafka共识集群中步骤不一样的部分，所以可能需要先看一下我的另一篇博客。HyperLedger Fabric 1.4.4搭建基于多orderer节点的kafka共识集群流程修改configtx.yaml文件因为我这里是3个orderer节点作为排序，并且只有一个Org，所以修改configtx.y
2020-06-02 10:59:15
950
原创 HyperLedger Fabric 1.4.4 服务发现
服务发现功能介绍因为区块链是作为一个集群存在，那么必然会有各种原因导致部分节点挂掉或处于不可用的状态。那么客户端就需要实时的知道哪些节点是可用的，从而可以向这些节点发送背书请求。这个时候服务发现功能便产生了。发现服务 让 Peer 动态计算需要的信息并且发送给 SDK，从而改进了这个过程。官方文档关于服务发现的介绍 https://hyperledger-fabric-cn.readthedocs.io/zh/latest/discovery-overview.html服务发现命令行界面首先
2020-05-26 16:33:38
554
原创 HyperLedger Fabric 1.4.4 ca服务集群搭建（MySQL）
Fabric CA默认使用SQLite数据库，这是一种嵌入式的文件数据库，如果需要将在集群中部署Fabric CA，那么就需要使用PostgreSQL或者MySQL数据库，支持的最低版本如下：PostgreSQL: 9.5.5MySQL: 5.7（但是使用5.7以上的版本也会有问题，这个后面会详细说明）单机版搭建首先创建ca.yaml文件（需要注意文件中的一些目录需要根据情况做修改），文件内容如下：# Copyright IBM Corp. All Rights Reserved.## SPD
2020-05-26 11:37:04
792
原创 RestHighLevelAPI示例
需求实现如下查询：GET /disease/_search{ "query": { "bool": { "filter": [ { "range": { "high_age": { "gte": 10 } } }, { "range": { "low_age": {
2020-05-21 15:53:07
251
原创 elasticsearch 命令简介
环境介绍以下命令都是基于7.2.0版本，不同版本之间可能稍有区别创建索引PUT /index_member{ "settings" : { # 分片的数量 "number_of_shards" : 3, # 副本的数量 "number_of_replicas" : 3 }}删除索引DELETE /index_member创建索引的mapping信息Elasticsearch数据类型及其属性PUT /index_member/
2020-05-21 10:10:45
225
原创 springboot 整合 kafka 使用手动提交消费
kafka消费者配置文件import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.common.serialization.StringDeserializer;import org.apache.kafka.common.serialization.StringSerializer;i
2020-05-20 17:32:19
3833
原创 redis-sentinel哨兵模式搭建
环境配置系统：centos7redis版本：5.0.1三台机器ip主机名服务10.1.24.127bd127redis master，sentinel110.1.24.128bd128redis slave，sentinel210.1.24.129bd129redis slave，sentinel3搭建rediscd /homemkd...
2020-04-20 10:42:57
603
原创 HyperLedger Fabric 1.4.4动态增加组织Org3
配置文件创建org3-artifacts文件夹，并进入其中创建如下文件org3-crypto.yamlPeerOrgs: # --------------------------------------------------------------------------- # Org3 # -------------------------------------------...
2020-04-08 17:53:48
684
原创 HyperLedger Fabric 1.4.4搭建基于多orderer节点的kafka共识集群
配置主机名ip功能bd22310.1.24.223org2的peer0和peer1节点，orderer1节点bd22510.1.24.225org1的peer0和peer1节点，orderer节点，三个kafka和三个zookeeper节点前言其实搭建的过程很简单，主要的时间都是耗费在了kafka的搭建上。因为机器资源不够，所以kafka都是搭建在同一...
2020-04-08 11:05:41
815
原创 HyperLedger Fabric常见错误记录
could not assemble transaction: ProposalResponsePayloads do not match - proposal response: version:1错误明细截图错误原因有的节点使用了leveldb，有的节点使用了couchdb。我在一部分节点忘了启动couchdb容器了。...
2020-04-02 11:46:31
1317
原创 HyperLedger Fabric 1.4.4搭建基于多节点kafka共识集群
修改configtx.yaml配置文件在SampleDevModeKafka下增加kafka的broker节点，我增加后的内容如下SampleDevModeKafka: <<: *ChannelDefaults Capabilities: <<: *ChannelCapabilities Order...
2020-04-02 11:20:49
973
原创 HyperLedger Fabric 1.4.4多机多节点部署（solo共识）
本片文章搭建的网络有一个orderer节点，两个组织和四个peer节点。总共需要五台主机，但由于资源限制，只有两台主机，但方法都是一样的。所以本文在一台主机上搭建一个orderer节点和一个组织的两个peer节点，另一台主机上搭建另一个组织的两个peer节点。系统配置主机名ip功能bd22310.1.24.223orderer节点，org1的peer0和peer1...
2020-03-30 17:02:35
1444
6
原创 hyperledger fabric 1.4.4版本安装手册
系统环境系统：centos7内存：32G磁盘：700G前期准备安装git安装curl安装wget安装nodejs下载并解压下载链接：https://nodejs.org/en/download/，为保证版本兼容，我这里选择的是v8.9.0版本wget https://nodejs.org/dist/v8.9.0/node-v8.9.0-linux-x64.tar.xzt...
2020-03-25 17:22:21
3205
原创 通过路由实现跨主机Docker容器互通
参考文章实战|两种常用的跨主机Docker容器互通方法环境配置两台主机主机名IP容器网段系统bd22310.1.24.2231.2.3.4centos6bd22510.1.24.2251.2.2.4centos6安装配置dockerDocker安装完之后，默认会创建一个docker0的网桥，启动的Docker容器网段是172.17.0.1/...
2020-03-23 16:43:46
770
原创 Linux 定时删除7天前的文件
命令# 命令格式find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \;# 示例命令，将/home/kafka/logs目录下所有10天前带"."的文件删除find /home/kafka/logs -mtime +10 -name "*.*" -exec rm -rf {} \;find：Linux的查找命令，用户查找指定条件的文件/h...
2020-03-23 09:21:26
2006
原创 区块链操作链码的相关命令
安装链码示例网络中是将/home/go/src/github.com/hyperledger/fabric-samples/first-network/chaincode目录挂载到docker容器的/opt/gopath/src/github.com/chaincode/目录下。而且/opt/gopath/src/需要去掉不写。peer chaincode install -n 链码名称 -v...
2020-03-19 15:05:42
721
原创 selenium使用代理爬取数据
代理因为chrome的代理使用目前还有一些问题，所以本文全部用的Firefoxhttp协议host = "127.0.0.1"port = 9999profile = webdriver.FirefoxOptions()profile.set_preference('network.proxy.type', 1)profile.set_preference('network.prox...
2020-03-18 12:24:36
312
原创 superset开发iframe嵌入参数自定义
说明进行superset二次开发集成echarts的时候，需要对不同报表的标题做传参处理，但是直接在form_data的json数据中直接添加无法直接传入到superset对应的报表的js文件中，所以就仔细研究了一下，发现可以在superset的Charts的维护页面左侧的Data中增加配置项进行参数传递。一开始是直接参考的IFrame报表中的URL配置项进行开发，但是这样实在是不友好且不方便...
2020-01-06 14:07:34
3012
2
原创 superset集成echarts，自定义图表开发
环境系统：centos7python版本：3.7.6superset版本：0.30echarts版本：4.2.0以上说明因为一开始使用pip（安装方法）直接安装的时候，进入安装路径下没有src目录。又是一开始接触superset，所以就用源码安装了。源码安装方法搭建Anaconda虚拟环境首先下载安装文件Anaconda3-2019.10-Linux-x86_64.sh进入官...
2020-01-03 13:41:20
6024
6
原创 基于Linux（CentOS7）搭建superset
安装环境：CentOS7软件：Anaconda3-2019.10-Linux-x86_64.sh首先下载安装文件Anaconda3-2019.10-Linux-x86_64.sh进入官网地址：https://www.anaconda.com/distribution/#download-section，选择对应版本下载。安装anaconda软件sh Anaconda3-2019.10-L...
2019-12-24 12:32:21
343
原创 Linux定义脚本自启服务历程
Linux定义脚本自启服务历程全部脚本内容#!/bin/sh# chkconfig:2345 60 30# description:teexport JAVA_HOME=/home/java/jdk1.8.0_211/export PATH=$JAVA_HOME/bin:$PATHsu - testShell -c 'nohup java -jar /home/csdn/csdnDo...
2019-09-19 12:02:49
105
原创 Linux自定义可运行shell脚本并设置开机自启
Linux自定义可运行shell脚本并设置开机自启自定义可运行shell脚本创建文本文件vim test，并输入如下文本#!/bin/sh# chkconfig:2345 60 30# description:teexport JAVA_HOME=/usr/lib/jdkexport PATH=$JAVA_HOME/bin:$PATHecho 开机启动了 > /home/st...
2019-09-18 18:08:15
4153
原创 通过maven打nar报错问题
通过maven打nar包报错问题记录 进入项目目录，输入mvn clean install报错信息如下：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.2:testCompile (default-testCompile) on project nifi-demo-proc...
2019-01-24 10:18:28
911
原创 nifi自定义processor步骤
nifi自定义processor步骤软件依赖开发步骤创建目录创建项目骨架修改逻辑测试步骤打包上传重启软件依赖jdkmavenLinux Shell客户端及文件上传工具开发步骤创建目录创建目录如D:/nifi/self-define，并进入该目录，在地址栏输入cmd进入命令行界面创建项目骨架执行mvn archetype:generate但是此时可能会有问题，因为出来的可能只...
2019-01-17 15:33:20
2535
原创 kafka集群安装部署
kafka集群安装部署环境介绍安装部署安装zookeeper环境介绍系统 ： centos7机器 ： 10.5.32.1，10.5.32.2，10.5.32.3kafka ： kafka_2.11-0.11.0.1zookeeper ： kafka内置zookeeper安装部署先下载安装包cd /home/kafkawget https://archive.apache.o...
2018-12-14 09:07:00
165
flink-shaded-hadoop-2-uber-2.7.5-7.0.zip
2020-08-06
cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
2020-06-04
cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
2020-06-04
cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm
2020-06-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人