zh_s_z的博客

原创 datax导入es7

datax es7问题。

原创 hive 内存不足

Current usage: 758.0 MB of 2 GB physical memory used; 5.9 GB of 4.2 GB virtual memory used. Killing container.或java.lang.OutOfMemoryError: Java heap space解决方法：1、修改yarn-site.xml文件。<property><name>yarn.scheduler.maximum-allocat...

原创 datax从hive导入ES

hadoop2.7elasticsearch7.7.01、下载datax：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz2、解压到服务器tar -zvxf datax.tar.gz .3、下载 elasticsearchwriter 插件把插件放入datax/plugin/writer/ 下。4、修改并运行json文件。python /opt/datax/bin/datax.py --jvm="-X

原创 beeline导出CSV

sql_per="select * from dual "beeline -n songzan.zhang -u jdbc:hive2://mx163p113:10000/yyyf --showHeader=false --silent=true --outputformat=tsv2 -e "${sql_per}--showHeader=false ## 不要表头。--silent=true ## 减少信息展示。--outputformat=tsv2 ## 输出格式。...

原创 shell 月末

shell 月末TX_DATE='2020-05-29'MON_LAST_DAY=$(date -d "$(date -d "$(date -d ${TX_DATE} +%Y-%m-01) 1 month" +%Y-%m-%d) -1 days " +%Y-%m-%d)echo ${MON_LAST_DAY}1、先获取本月1号。2、加1个月。3、减去1天。如果先加1个月，会出现5.31号，加1个月,就是7.1了。例如：2020-05-31本月1号是：2020-05-01，加1个月..

原创 sqoop抽取例子

##mysql建表create table dict_dir(id varchar(10) comment '主键',name varchar(20) comment '名称',class varchar(25) comment '分类')comment '字典表'insert into dict_dir values('1_1','苹果','fruits'),('1_2','香...

原创 tez-ui

tez使用版本：tez-0.9.1.tar.gztomcat使用版本：tomcat-8.5.28.tar.gzhadoop使用版本：hadoop-2.7.3.tar.gz============================tez-site.xml&lt;!-- url 与tomcat节点端口号一致--&gt;&lt;configuration&gt;  &lt;property&...

原创 mysql8-glibc2安装

上传，解压缩数据库包。[root@rac01 mysql8]# tar -zvxf mysql-8.0.11-linux-glibc2.12-x86_64.tar.gz -C /usr/local/[root@rac01 local]# mv mysql-8.0.11-linux-glibc2.12-x86_64 mysql   ##一定要是/usr/local/mysql[root@rac...

原创 xftp报错：cannot create local file

linux下copy到windows时,报错:cannot create local file,可能原因如下文件：/usr/local/pentaho-kettle-8.1.0.4-R/assemblies/client/target/assembly/system/karaf/system/org/apache/servicemix/bundles/org.apache.servicemix....

原创 pentaho-big-data-plugin-8.1.0.4-595下载

pentaho-big-data-plugin-8.1.0.4-595官方下载速度慢,多次链接失效，经过一天的下载终于下载好了。放到百度盘里供大家下载使用原始地址：https://nexus.pentaho.org/content/groups/omni/pentaho/pentaho-big-data-plugin/8.1.0.4-595/pentaho-big-data-plugin-8.1...

原创 mysql8 linux-glibc2 重启数据库

[root@host01 support-files]# /usr/local/mysql/support-files/mysql.server restart 

原创 asmcmd命令报错.Connected to an idle instance

错误描述：[grid@rac01 grid]$ asmcmdConnected to an idle instance.ASMCMD&gt; ls ASMCMD-08102: no connection to ASM; command requires ASM to run解决方法（每个节点看一下，会有收获）:[oracle@rac01 db_1]$ sqlplus sys/ora...

原创 INS-40725 Failed to run "oifcfg"

问题描述：[INS-40725] Unable to determine the existence of an interface with a subnet matching the SCAN VIP subnet.Cause - A failure has occurred during the determination of the existence of an interface...

原创 redhat官方文档下载方法

打开地址：https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/如图下载pdf格式文件：

原创 findbugs、Protocol Buffer 安装与卸载

安装 findbugs下载地址：http://findbugs.sourceforge.net/downloads.html[root@hdp02 local]# tar -zxvf findbugs-3.0.1.tar.gz -C  /usr/local/[root@hdp02 local]# vi /etc/profileexport FINDBUGS_HOME=/usr/local...

原创 pandas 校验每行的列数,loc与iloc区别测试

import pandas as pdimport numpy as np# 读取训练数据,header=-1第一行非字段名称csv_data = pd.read_csv('D:/data/abc.csv',encoding='gbk',header=-1)  ##校验每行的列数def by_size(rows):    f_count = True    f_800 = True...

原创 安装mysql-python报错 _mysql.c(42) Cannot open include file: 'config-win.h': No such file or directory

windows安装mysql-python_mysql.c(42)  Cannot open include file: 'config-win.h': No such file or directory解决方法：安装 mysql-connector-python-2.1.6-py2.7-winx64.msi或者：MySQL-python-1.2.3.win-amd64-py2.7...

原创 eclipse使用spark2.3.0编辑WordCount

# wordcountpackage cn.study.coreimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject WordCount {  def main(args: Array[String]): Unit = {    val conf=new SparkConf().set...

原创 eclipse安装scala

使用前先安装：JDK 8+Eclipse 4.7+1、方法一、直接下载最新版本。http://scala-ide.org/2、下载eclipse插件http://scala-ide.org/download/current.html点击红色框下的链接下载。解压文件包到..\eclipse\dropins 目录下，重启eclipse。scala...

原创 rename 批量重命名文件名

替换前：start-all.sh              start-mesos-shuffle-service.sh  start-thriftserver.sh   rename start spark-start start*# rename 关键字# start  被替换的字符串# spark-start 替换的字符串# start*   文件名以start开头的,中间...

原创 hadoop多节点安装

原创 hive的启动和停止

一、启动后台运行打出日志便于差错,如不需要可省略。[hadoop ~]# nohup hive --service metastore >> ~/metastore.log 2>&1 & ##hivemetastore[hadoop ~]# nohup hive --service hiveserver2 >> ~/hivese...

原创 airflow添加用户失败，找不到password属性

import airflowfrom airflow import models, settingsfrom airflow.contrib.auth.backends.password_auth import PasswordUseruser = PasswordUser(models.User())user.username = 'airflow    'user.email = 'new_u...

原创 centos安装mysql glibc

==============解压版安装============tar -zvxf mysql-5.7.16-linux-glibc2.5-x86_64.tar.gz -C /usr/local/cd /usr/local/mv mysql-5.7.16-linux-glibc2.5-x86_64 mysql添加组合用户 设置安装目录权限sudo groupadd mysqlsudo userad...

转载 error: command 'gcc' failed with exit status 1

yum install gccyum install python-devel

原创 mysql_config not found

Collecting mysqlclient&gt;=1.3.6 (from apache-airflow[all]==1.8.1) Using cached https://files.pythonhosted.org/packages/6f/86/bad31f1c1bb0cc99e88ca2adb7cb5c71f7a6540c1bb001480513de76a931/mysqlclient-...

原创 Centos 报错 sasl/sasl.h no such dir

Centos中报错：sasl/sasl.h no such dir需要安装 rpm -ivh cyrus-sasl-lib****.rpm --force --nodepsrpm -ivh cyrus-sasl-plain***.rpm --force --nodepsrpm -ivh cyrus_sasl_devel**.rpm --force --nodepspip install --no...

原创 bootstrap日期控件的使用

 使用控件：bootstrap-3.3.7-dist.zip 下载地址：http://www.bootcss.com/bootstrap-datetimepicker-master.zip 下载地址：https://codeload.github.com/Eonasdan/bootstrap-datetimepicker/zip/masterjquery-...

原创 MAVEN安装

1、MAVEN官方：http://maven.apache.org/2、下载地址：http://maven.apache.org/download.cgi3、安装：Installing Apache MavenThe installation of Apache Maven is a simple process of extracting the archive and adding the b...

转载 python读取中文目录

for dir in os.listdir("D:/"):    print(dir.decode('gbk').encode('utf-8'))

原创 pyhs2连接hive

pip install pyhs2--------------------代码如下：#!/usr/bin/env python# -*- coding: utf-8 -*-# hive util with hiveserver2import pyhs2from pyhs2.error import Pyhs2Exceptionimport sysfrom file_util import file...

原创 hadoop 错误

Permission denied: user=hive, access=WRITE, inode="/tmp/hive":hadoop:supergroup:drwxr-xr-x/tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x解决方法：su hadoop hadoop fs -

原创 hive outOfMemory GC overhead limit execeded

error communicating with the metastore internal error processing abort_txndetected pause in jvm or host machine pause of approximatelyoutOfMemory GC overhead limit execededhadoop 中修改：

原创 pg使用shell执行sql

vi connnect.shpsql "host=192.168.0.123 port =5432 user = treece password =1123 dbname=amt" -f ./deal_str.sqlvi deal_str.sqlupdate stu set age=12 where sex=1 ;update str set score=90 where

原创 pg数据库连接命令

psql --help 命令可查看数据库连接帮助文档。pg_dump  命令可查看导数帮助文档。dyb为库名，username为数据库用户方法一，需要手动输入密码：psql -U username -h 196.128.0.19 -p 5432 -d dybenter passwd for username: (这里输入密码)pg_dump -U username -h 1...

转载 hive null处理

NULL转化为空字符串，可以节省磁盘空间，实现方法有几种 1）建表时直接指定（两种方式）     a、用语句    ,如：    CREATE TABLE text_1 (    id int    ,name STRING)     PARTITIONED BY ( partation_date string)     ROW FORMAT SERDE ‘org.

转载 PG 创建库指定字符集

转自：

转载 小命令

解决方法为各个渠道找到，如有损害您的利益，请留言。

原创 shell 逐个压缩备份数据

备份数据日期大前天的数据，逐个文件压缩，并删除原有文件bacak_data.sh 20171120#！/bin/bashday_id=$1yesteday_3=`date -d "${day_id} i -3 day" + '%Y%m%d'`cd /data/cbus/${yesteday_3}cbus_path="/data/cbus/${yesteday_3}"