HFDYCYY-CSDN博客

原创 shell删除mysql数据记录

#!/bin/bashdatabase=$1room_id=$2#上传参数判断if [ $# != 2 ]then echo "请重新输入参数【1】：数据库(1--线上、0--测试) 【2】:room_id" exit 1else echo "上传参数值 database:$database room_id:$room_id"fiif [ $database == 1 ]then db="dsdb" echo "本次运行连接...

2020-10-14 10:37:35 829

原创 liunx shell脚本定时删除系统文件

crontab定时命令：（每周五晚上11点30分）#30 23 * * 5 sh /opt/soft/userdata/log_delete.sh#!/bin/bash#需要清空的目录名称dir=/home/dsserver#测试目录#dir=/opt/soft/datafile_name=nohup.outfile_info=`ls -lh ${dir}/${file_name}`#file=`ls ${dir}`file_size=`echo $file_info |

2020-10-14 10:34:18 202

原创 shell加载用户数据到mysql数据库

#!/bin/bashorg_id=$1#dep_id=$2userid=$2database=$3#上传参数判断if [ $# != 3 ]then echo "参数输入有误，请重新输入参数===>>【1】:org_id 【2】:userid userid为user_id前三位" 【3】：database exit 1else echo "上传参数值 org_id:$org_id database:$database useri...

2020-10-14 10:27:01 263

原创 shell加载项目数据到mysql数据库脚本记录

#!/bin/bashorg_id=$1match_id=$2database=$3#fileid=$4#上传参数判断if [ $# != 3 ]then echo "参数输入有误，请重新输入参数===>>【1】:org_id 【2】:match_id 【3】:databases (1--线上、0--测试)" exit 1else echo "上传参数值 org_id:$org_id match_id:$match_id databa...

2020-10-14 10:19:05 220

原创 docker容器启动后添加端口映射

概要：本文的思路是使用iptables的端口转发，这也是docker端口映射内部的实现机制，只不过我是显示地写出来罢了，为的就是让查找这个问题的人对docker的端口映射有一个直观的了解。结论：容器启动后是可以添加端口映射的，但不建议手工添加，最好使用docker提供的功能。步骤：创建两个容器并进行了端口映射，结果如图所示：假如，我start一个容器，其内部IP为172.18.0。6，并在容器内部启动了8081端口。FORWARD规则链我们不用管它，docker已经帮我们写好了，

2020-08-11 16:00:44 4463

原创 Jenkins配置手册

登录页面:一、插件安装：1、点击【系统管理】——》【插件管理】2、进入页面选择【可选插件】可以在搜索框里输入需要安装的插件，如：Maven Integration plugin。完成安装重启jenkins二、全局工具配置：1、点击【系统管理】——》【全局工具配置】2、进入页面，对已安装的工具进行全局配置Maven配置：（选择工具安装文件对应路径） JDK、Git配置：（NAME可以自定义，已经对应的工具安装路径完成配置后，点击【保存】..

2020-07-28 20:02:19 261

原创安装Jenkins 服务器：CentOS8

安装Jenkins在CentOS 8 上安装Jenkins需要使用root账号或具有sudo权限的账号。第一步、因为Jenkins是使用Java编写的，所以需要安装Java环境，Jenkins需要Java8或更高版本。这里使用OpenJDK，首先通过一下命令安装OpenJDK.sudo yum install java-1.8.0-openjdk-devel -y如果系统上安装了多个Java版本，请确保Java 8是默认Java版本。你可能对关于更详细如何在CentOS上安装Ja

2020-07-24 18:14:01 529

原创 k8s常用命令集合

kubectl get node kubectl get pod --all-namespaces -o wide kubectl describe pod kube-apiserver-k8s-master --namespace=kube-system kubectl get service --namespace=kube-system kubectl get service --all-namespaces kubectl get apiservice kubectl ...

2020-05-22 14:34:48 176

原创 Centos7部署k8s集群 v1.18.2

一、部署环境主机名 centos版本 ip docker version flannel 主机配置 k8s版本 master centos7 192.168.1.12 19.03.9 v0.11.0 2G v1.18.2 node1 centos7 192.168.1.13 19.03.9 v0.11.0 2G v1.18.2 node2 centos7 .

2020-05-21 20:00:30 2663

原创 elasticsearch7.5.0 集群搭建

elasticsearch7.5.0 集群搭建服务器服务系统 ES版本192.168.8.218 node.master centos7.3 es7.5192.168.8.219 node.data centos7.3 es7.5192.168.8.220 node.data centos7.3 es7.51、添加用户及zu：#elk用户添加groupadd -g 100 elkuseradd -u 100...

2020-05-21 17:58:22 656

原创 Docker中centos7容器配置CDH6.3依赖环境操作流程

yum install -y net-toolsifconfigvim /etc/hostsyum install vimvim /etc/hostsyum -y install ntptimedatectl set-timezone Asia/Shanghaisystemctl start ntpd && systemctl enable ntpd.servicecd opt/lltar -zxvf cm6.3.1-redhat7.tar.gzyum -y insta

2020-05-11 20:30:52 353

原创 Docke：容器安装ClouderaManager

1、初始化环境yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp net-tools \&& yum clean all执行结果：Installed: kde-l10n-Chinese.noarch 0:4.10.5-2.el7 net-tools.x...

2020-04-26 20:16:28 322

原创 Docker容器部署CDH6.3.0

1、阿里云配置：类型配置 CPU 8核内存 64G 硬盘 500G 操作系统 Centos7 64位 2、1.1 配置yum源yum install -y wget \&& mkdir -p /etc/yum.repos.d/repo_bak \&amp...

2020-04-26 19:57:55 1851 1

原创 Kubernetes（K8s）创建centos7容器

一、Deployment的概念 K8S本身并不提供网络的功能，所以需要借助第三方网络插件进行部署K8S中的网络，以打通各个节点中容器的互通。POD，是K8S中的一个逻辑概念，K8S管理的是POD，一个POD中包含多个容器，容器之间通过localhost互通。而POD需要ip地址。每个POD都有一个标签POD–>RC–>RS–>Deployment（发展历程）...

2020-04-22 20:29:07 3446

原创 Docker的镜像和容器管理操作

一、镜像管理Docker镜像是一个Docker的可执行文件，其中包含了运行应用程序所需要的代码、依赖库、环境变量、配置文件等等。1、搜索镜像：$ docker search [镜像名称]EG：搜索centos8镜像docker search centos8界面如下：（2）从远程仓库中获取镜像$ docker pull [镜像名称]执行命令后，镜像文...

2020-04-20 13:58:17 200

原创 Docker 跨主机容器间相互访问

第一步：创建自定义网络docker network create --subnet=172.18.0.0/24 docker-br0备注：这里选取了172.18.0.0网段，也可以指定其他任意空闲的网段，docker-br0为自定义网桥的名字，可自己任意取名。注意：这里子网掩码要使用255.255.255.0也就是IP后面的那个24,因为后面要使用iptables配置路由表,我之前使用...

2020-04-17 20:20:45 2464 4

原创 Docker 容器使用问题汇总

1、问题1：尚未使用systemd作为初始化系统（PID 1）引导系统System has not been booted with systemd as init system (PID 1). Can't operate.Failed to create bus connection: Host is down解决方案：/sbin/init例如：CentOS8docker r...

2020-04-17 14:17:00 2537

原创 Docker 容器设置固定IP

1、创建一个自定义的网络，网段172.18.0.0/16，网络名称为： myNetwork。命令如下：docker network create --subnet=172.18.0.0/16 myNetwork2、可以显示看到名称为myNetwork的记录，说明创建成功！命令如下：docker network ls my-centos3、创建docker容器并设置固定的...

2020-04-16 17:12:56 1490

原创 Centos8用Docker启动Centos8镜像

1、拉取Centos镜像去阿里云上寻找Centos镜像docker pull centos:centos82、创建容器（主服务器端口与容器端口映射--5000:22）docker run -itd <imageID> /bin/bashdocker run -itd -p 5000:22 --name CentosY --privileged=true <...

2020-04-16 16:53:34 6582

原创 centos8安装配置docker

1. 安装／升级Docker客户端Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker[root@hfdy ~]# uname -aLinux hfdy 4.18.0-80.el8.x86_64 #1 SMP Tue Jun 4 09:19:46 UTC 2019 x86_64 x86_64 x86_6...

2020-04-16 16:11:45 1003

原创 mysqlbinlog日志上传集群HDFS

#!/bin/bash##echo "执行节点"`hostname`# 正时ip=$1portc=4044if [ $# -eq 4 ] ; then portc=$2yearId=${3}dateId=${4}startTime=${4}" 00:00:00"endTime=${4}" 23:59:59"else echo "输入参数有误：<...

2019-12-31 16:20:15 259 1

原创 Hive 常用函数案例测试

数据准备：zhangsa dfsadsa323 new 67.1 2lisi 543gfd old 43.32 1wanger 65ghf new 88.88 3liiu fdsfagwe new 66.0 1qibaqiu fds new 54.32 1wangshi f332 old 77.77 2liwei hfd old 88.44 3wutong 543gdfsd n...

2019-12-31 14:34:48 407

原创 Hive基于SQL创建漏斗模型

为了突出重点，总结就写在最前面了。从拿到需求开始，我们经历了以下步骤来完成工作：需求分析设计测试数据集及测试用例数据清洗需要实现测试其中数据清洗主要是做了两个工作：去掉用户每一次访问中重复的页面记录，只保留每个页面的最后一次访问记录。将用户访问记录进行合并，将所有访问过的页面和访问时间整合到1行当中。实现的判断依据如下：乱序漏斗：访问的页面数小于4，或者页面顺序...

2019-12-27 09:50:11 1093 1

原创 hive排序：distribute by 、sort by 、cluster by 、order by 区别

1). order by 只有一个reduce负责对所有的数据进行排序，若大数据量，则需要较长的时间。建议在小的数据集中使用order by 进行排序。2). order by 可以通过设置hive.mapred.mode参数控制执行方式，若选择strict，则order by 则需要指定limit（若有分区还有指定哪个分区）；若为nostrict，则与关系型数据库差不多。3). sort ...

2019-12-25 17:11:08 80

原创二叉树遍历案例--详解 (前序遍历、中序遍历、后序遍历)

一：前序遍历对于当前节点，先输出该节点，然后输出它的左孩子，最后输出它的右孩子。即根结点 ---> 左子树 ---> 右子树。以上图为例，递归的过程如下：首先输出根节点1。输出左儿子2。因为2没有左儿子，所以输出下一个，即输出右儿子5。因为5没有左儿子，所以输出下一个，即输出右儿子8。至此根的左儿子都输出完毕，开...

2019-12-24 18:36:45 1110

原创 flume 介绍

1、flume背景： flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。2、fl...

2019-01-21 23:23:31 246

转载数据库切片

2018-10-19 15:07:14 3385

原创 Linux 系统 IP设置

设置静态IP配置网络需要的文件 ifcfg-eth0文件路径：etc/sysconfig/network-scripts/ifcfg-eth0 TYPE=Ethernet DEVICE=eth0 BOOTPROTO=none ONBOOT=yes IPADDR=10.0.1.27 NETMASK=255.255.255.0 GATEWAY=10.0.1.1 ...

2018-10-18 16:34:01 726

转载 kylin从入门到实战：实际案例

2018-10-17 17:35:01 1021

转载使用mysqlbinlog提取二进制日志

MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。binlog日志属于二进制文件，我们可以从binlog提取出来生成可阅读的SQL语句来重建当前数据库以及根据需要实现时点恢复或不完全恢复。本文主要描述了如果提取binlog日志，并给出相关示例。  &...

2018-10-17 10:20:11 484

转载 Kudu:支持快速分析的新型Hadoop存储系统

Kudu 是 Cloudera 开源的新型列式存储系统，是 Apache Hadoop 生态圈的新成员之一（ incubating ），专门为了对快速变化的数据进行快速的分析，填补了以往 Hadoop 存储层的空缺。本文主要对 Kudu 的动机、背景，以及架构进行简单介绍。背景——功能上的空白&nbsp;...

2018-10-16 09:20:18 188

转载 Linux 命令之 set

set命令可以用来定制shell环境，使用选项“o”来打开或者关闭选项。例如打开选项：set -o 选项，关闭选项目：set +o 选项。例如要打开vi交互式命令行编辑，则如下：[bigdata@master bin]$ set -o #查看当前设置情况allexport ...

2018-10-15 17:21:42 783

转载 IntelliJ IDEA 插件的安装及使用方法

温馨提示：IntelliJ IDEA 支持非常多的插件，熟练的使用插件，能够有效提高我们的开发效率以及用户体验。正文首先，进入插件安装界面：Mac：IntelliJ IDEA -&gt; Preferences -&gt; Plugins; Windows：File -&gt; Settings -&...

2018-10-15 17:12:54 3342

转载使用Hue创建Spark2的Oozie工作流

1.Oozie共享库添加Spark21.查看当前Oozie的share-lib共享库HDFS目录oozie admin -oozie http://lefincluster-rt1:11000/oozie -sharelibupdate[ShareLib update status] share...

2018-10-15 16:58:49 688 1

转载 Hive之——怎样写exist/in子句

Hive 不支持 where 子句中的子查询， SQL 常用的 exist in 子句需要改写。这一改写相对简单。考虑以下 SQL 查询语句：SELECT a.key, a.valueFROM aWHERE a.key in54(SELECT b.keyFROM B);可以改写为SELECT a.key, a.valueFROM a LEFT OUTER JOIN b...

2018-10-15 16:03:28 287

转载使用mysqlbinlog提取二进制日志

MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。binlog日志属于二进制文件，我们可以从binlog提取出来生成可阅读的SQL语句来重建当前数据库以及根据需要实现时点恢复或不完全恢复。本文主要描述了如果提取binlog日志，并给出相关示例。有关binlog的介绍与描述请参考：MySQL 二进制日志(Binary Log)1、提取mysqlb...

2018-10-15 15:58:46 181

转载在Cloudera Manager提交spark任务失败

在hue中配置workflow，提交以后，报如下错误： Log Type: stderr Log Upload Time: Wed Aug 29 10:36:23 +0800 2018 Log Length: 1452 SLF4J: Class path contains mult...

2018-10-15 15:54:21 504

原创 HIVE 模型

在数据仓库的建设中，一般都会围绕星型模型、雪花模型来设计表关系和表结构。星型模型：是一种多维的数据关系，它由一个事实表和一组维表组成，每一个维表都有一个维作为主键，所有这些维表的主键作为事实表的主键，强调的是对维度进行预处理，将多个维度集合到一个事实表，形成一个宽表。这也是我们在使用hive时，经常会看到一些大宽表的原因，大宽表一般都是事实表，包含了维度关联的主键和一些度量信息，而维度表则...

2018-10-15 15:41:45 2799

原创 HIVE数据仓库发的理解

数据仓库英文名称为Data warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。　　数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。数据仓库的主要特征：数...

2018-10-15 15:05:19 1398

原创 HIVE 数据模型

体系结构：元数据 /HQL的执行安装：嵌入 /远程 /本地管理： CLI /web界面 /远程服务数据类型：基本 /复杂 /时间数据模型：数据存储 /内部表 /分区表 /外部表 /桶表 /视图WEB管理工具：http://tdxy-bigdata-04:8889/notebook/editor?type=hive集群状态管理：http://tdxy-bigdata-03:7180/...

2018-10-15 11:35:05 646

K8s集群部署配置文件包

Centos7.6-install-k8s-v1.16.4-HA-cluster-master.zip

ClouderaHiveODBC64.msi

空空如也