- 博客(36)
- 收藏
- 关注
RSS订阅原创 使用presto将数据从数据库导入monggo
使用presto将数据从数据库导入monggo一简介二步骤1. 通过presto在mongo创建表结构2. 在mongo创建表三问题1.presro读取orcal的number类型时以decimal类型读入,可能会超长溢出,要在orcal进行小数长度限制一简介本次为orcal导入mongo,将orcal替换为其他数据库也可,本次为增量导入,如果mongoDB存在就更新,不存在就插入Presto版本:0.260mongo :3.4.24orcal :CORE 11.2.0.4.0调度
2021-09-26 11:17:11
550
2
原创 mysql强制修改密码
mysql强制修改密码前因操作步骤前因操作系统:centos7mysql版本:5.7(5.7与5.7以前修改密码是有区别的)安装musql5.7,不知道为什么也没有生成原始密码,所以只能强制修改密码操作步骤重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：vim /etc/my.cnf在文档内搜索mysqld定位到[mysqld]文本段：/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)在[mysqld]后面任意一行添加“skip-grant-tables”用
2020-06-06 13:50:57
677
原创 sqoop导出到mysql的连接问题
export_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_statistics_diuser=rootD_PASSWORD='Trtjk@2019'T_TABLE=app_member_statistics_diCONNECT='jdbc:mysql://10.8.157.179:3306/dp_st...
2020-04-22 10:48:57
377
原创 pgsql笔记
pgsql自动生成时间序列select day_id,cate1 from (SELECT 1 AS JOIN_ID,cate1 FROM (select distinct cate1 AS cate1 from dim_prd_category) a ) t2left join(select 1 AS JOIN_ID,day_id from (SELECT DISTINCT da...
2020-04-13 20:13:52
186
原创 shell操作sqoop从hive导出到mysql(使用hive数据文件导入)
#!/bin/bashexport_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_sales_order_diD_BASE=data_center_odsuser=rootD_PASSWORD=Trtjk1234@D_schema=shop_one#mysql的表T_TABLE=app_membe...
2020-03-16 10:03:52
1162
原创 shell操作sqoop从mysql导入到hive
此脚本可输入参数,单独运行某个表,也可不输入参数,导入全部的表sh sqoop_tp_member.sh 运行全部sh sqoop_tp_member.sh ods_t_mc_member_df 单独运行 ods_t_mc_member_df#!/bin/bash#参数列表--需要进行业务进行修改的#获取前一天日期do_date=`date --date="-1 day...
2020-03-16 09:51:56
399
原创 shell脚本工具
#!/bin/bash#参数输入:开始结束日期;日期格式:20190101;#功能:跑历史数据脚本时给定时间内的每天日期等的获取#author:Tengyue_hui#date:20200113#函数介绍: ######01:时间范围内连续日期列,闭区间连续 ######02:时间范围内连续月初,闭区间连续 ######03:时间范围内连续月末,闭区间连续 ######04:时间...
2020-02-20 17:42:37
169
原创 sqoop从mysql到hive的时间字段问题
一、问题发现与分析问题：用公司的大数据平台导数，已经开发上线一个多月的一批报表，突然有同事说有个报表数据不准。出在时间字段上。分析:1、先看了原数据MySQL字段类型为datetime,目标字段为string类型；2、经发现所有时间的差距都是8小时，怀疑是因为时区转换的原因；3、对比其他表，看看是大范围现象还是特殊情况，发现其他的同样情况字段的一样没有问题二、解决办法经过对比：sq...
2020-02-20 17:32:25
1597
原创 定时删除es中的数据
定时删除es中的数据根据时间字段删除时间之前的数据#!/bin/sh# example: sh delete_es_by_day.sh indexname datefield 3index_name=$1daycolumn=$2savedays=$3format_day=$4if [ ! -n "$savedays" ]; then echo "the args is n...
2019-08-31 14:32:24
5914
原创 kibana更改时间显示格式
原因:es如果用了默认时间格式,那么kiban显示的时间格式是下图,导出数据,时间显示也是下图看着不方便,导出来也不好操作在kibana的management > Index Patterns点击修改修改为下图格式斌点击 update fieidok,完成了...
2019-08-08 18:36:48
5487
1
原创 Elasticsearch Reindex数据(将字符串转换为数字类型)
场景:在创建的时候使用string,进入es后是keyword类型,在使用kibana的时候不能使用它做视图在网上找了很多,不能更改字段类型,有些很麻烦,看这个比较简单其实就是创建一个新的index,再把老index导入进去话不多说上干货老的index是qzwl_dcs数据json是{ "_index": "qzwl_dcs", "_type": "qzwl_dcs", "...
2019-08-08 16:54:40
8296
10
原创 hbase使用协处理器同步es
hbase同步到eshbase版本:1.1.2es版本:6.3.2一开始从网上找的也能用,但是发现运行一段时间发现报错,丢失数据,后来又从网上搜索加上自己整理的,终于成功了不多说上代码public class ElasticSearchBulkOperator { private static final Log LOG = LogFactory.getLog(ElasticS...
2019-07-31 18:31:59
2164
6
原创 hive关联映射hbase
CREATE EXTERNAL TABLE hbase_dcs(key string comment “hbase rowkey”,station string comment “站”,area string comment “区”,moduleId string comment “模块ID”,moduleName string comment “模块名字”,name string c...
2019-07-31 17:48:11
207
原创 linux重新分配硬盘空间
***起因:***安装linux，一开始没在意,后来发现空间不够用,这才知道home空间占用了大部分,root只占用了一小部分更改空间使用查看分区df -h备份home分区文件tar cvf /tmp/home.tar /home卸载/home，如果无法卸载，先终止使用/home文件系统的进程yum install psmisc (防止fuser不能用)fuser -km /hom...
2019-07-31 17:42:50
5518
原创 【hbase】HBase报错org.apache.hadoop.hbase.NotServingRegionException的解决办法
【hbase】HBase报错org.apache.hadoop.hbase.NotServingRegionException的解决办法问题起因:在使用hbase协处理同步es时候,替换协处理器出错,然后使用scan查询hbase出现以下错误百度查询,有网友说是异常关闭导致的,我确实重启了hbase,也有说是region分裂导致的,但处理办法都差不多,修复一下解决方法然后想使用hba...
2019-07-18 14:13:13
4211
2
原创 ambari集成hue4.20
环境:Centos：7.0ambari 2.6.2hdp 2.6.5HDP-UTILS：1.1.0.22Hue下载地址：http://gethue.com/downloads/releases/4.2.0/hue-4.2.0.tgz下载后，将hue-4.2.0.tgz文件拷贝到本地yum源的/var/www/html/repo/HDP/HDP-2.6.4.0/centos7/2.6....
2019-05-16 18:34:06
1281
4
原创 ambari集成kibana
一 安装Service1 下载Mpack include version 6.3.2 of ElasticSearch, Logstash, Kibana, FileBeat, and MetricBeatwget https://community.hortonworks.com/storage/attachments/87416-elasticsearch-mpack-2600-9.ta...
2019-05-16 18:09:03
679
原创 ambari集成es
ambari2.6.5 安装 elasticsearch6.3.2ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装：hdp2.3-2.6版本以外版本请看问题1/usr/bin没有java原因:自己手动安装的jdk,使用linux原生JDK不会出现此问题注意要先看/usr/bin下边是否有java和...
2019-05-16 18:03:49
1308
原创 centos7安装ambari(亲自安装流程)
环境:centos7与centos6一样只是centos6与7有一些命令不一样,在centos6上安装请注意更换命令刚安装完的centos7,所以我这上面缺少一些功能,后续会在使用中下载先下载文件,很大提前下载http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-cent...
2019-05-16 17:57:59
9194
10
原创 hue使用hbase报错User: root is not allowed to impersonate admin
hue刚进hbase把报错Api Error: HTTPConnectionPool(host=‘ambari-3’, port=9090): Max retries exceeded with url: / (Caused by NewConnectionError(’: Failed to establish a new connection: [Errno 111] Connection...
2019-05-16 17:16:09
2277
1
原创 ambari集成elasticsearch时报错：could not find java; set JAVA_HOME or ensure java is in PATH
ambari集成es ,已经将es服务添加到ambari的安装列表,但是在安装过程中报错es版本 6.3.2 hdp2.6.5ambari集成es链接https://blog.csdn.net/weixin_42348946/article/details/89919097resource_management.core.exceptions.ExecutionFailed: ...
2019-05-07 13:45:48
1252
原创 ambari集成安装 elasticsearch
ambari2.6.5 安装 elasticsearch6.3.2ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装：hdp2.3-2.6版本以外版本请看问题1注意要先看/usr/bin下边是否有java和javac,没有就将自己安装的ln到/usr/bin下边ln -s $JAVA_HOME/bi...
2019-05-07 13:21:14
2313
原创 记一次台式机安装centos7的问题
使用优盘安装centos7安装详细步骤见连接https://blog.csdn.net/weixin_42348946/article/details/89478940在安装过程中遇到一个奇怪的事情,安装linux过后还会进入安装界面,无限安装.安装成功了 ,在最后reboo之后,重启之后,还是会进入linux安装界面,并没有进入linux,我怀疑是不是U盘启动,把U盘拔下来,再次启动,却...
2019-04-24 13:03:53
846
原创 详细的U盘安装linux(台式机)
一、准备工作大于8G U盘一个CentOS 7.4 ISO镜像ultralSo下载地址：https://cn.ultraiso.net/xiazai.htmlCentos7镜像 官方下载地址：http://centos-mirror.rbc.ru/pub/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso二、制作Linux启动盘建议用ul...
2019-04-23 19:06:25
7115
原创 kafka-strom-hbase
从kafka读取数据到hbasexml <dependencies> <!--storm相关jar --> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifac...
2019-04-19 10:40:13
103
转载 （亲测可用）CentOS7安装virtualbox
1.进入virtualbox官网https://www.virtualbox.org/2.点击download3.点击Linux distributions4.向下翻至如图，并且进入同种框选页面5.在/etc/yum.repos.d/目录下新建virtualbox.repo并写入如下内容[virtualbox]name=Oracle Linux / RHEL / CentOS-...
2019-04-16 14:19:55
203
原创 错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
清理完磁盘后就报错了,以前能用查看zookeeper日志:错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain原因在这里插入图片描述从其他节点复制下就行了...
2019-04-09 17:13:22
25052
7
原创 集群挂掉后zookeeper一直出现连接异常
虚拟机集群跑程序死掉了,重启后zookeeper一直报错以前一直正常运行,挂掉后就不行了,查询网上资料修改zookeep的配置文件 zoo.cfg如果有三个节点,将三个节点的配置文件对应的server改成0.0.0.0:2888:3888节点1对应的sever.1,就将server1修改为0.0.0.0:2888:3888节点2对应的sever.2,就将server2修改为0....
2019-04-09 15:24:29
891
原创 spark读取csv写入csv
spark读取csv，写入csvpackage dailyimport handler.Transfromimport org.apache.spark.SparkConfimport org.apache.spark.sql.{Row, SaveMode, SparkSession}object Data { def main(args: Array[String]):...
2019-04-03 15:53:35
4568
原创 配置ip时重启网卡遇错误
配置ip是遇到的错误：Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.先检查是否配置文件内配置错误（逐个单词检查），发现没有问题因为...
2019-03-26 17:15:32
806
原创 运行SHELL时报错Expression Syntax.报错 source /etc/peofile
运行SHELL时报错Expression Syntax.报错 source /etc/peofile1.检查shell脚本没有语法错误（但是却报语法错误）2.使用的是 source /etc/peofile ，修改环境变量时报的错3.如果以前source能用则不是本问题检查步骤：使用命令echo $SHELL此命令查看shell显示为csh修改shell为bashchsh...
2019-03-26 15:57:42
3343
原创 scala中reducebykey使用时的坑
先上代码def artList(dataFrame: DataFrame) = { //dataFrame.repartition(80) //创建变量 //处理数据 val artData: RDD[(String, util.List[lang.String])] = dataFrame .repartition(180) .rdd.mapPa...
2018-10-25 11:03:10
5455
原创 **scala split遇到的坑 **
**scala split遇到的坑 **使用Scala编程很方便，常用之后就是flatMap()flatMap与split截取字符串统计遇到的坑val str = “1,122,xxx,shandongyin”val file=sc.textFile(logFile)file.flatMap(line=&amp;gt;line.split(&quot;,&quot;)(3))上面代码本意是根据&quot;,“分隔，取”3...
2018-10-25 10:55:09
1986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人