AA赵师傅-CSDN博客

#全局操作#查看集群健康状况GET /_cat/health?v#查看节点情况GET /_cat/nodes?v#查看各个索引状态GET /_cat/indices?v#创建索引 PUT 索引名?prettyPUT /movie_index#删除索引DELETE /movie_index#查看某索引的分片情况GET /_cat/shards/movie_index#创建文档PUT /movie_index/movie/1{ "id":100, "name":"o.

2022-01-05 22:44:49 1054

原创 mysql修改函数权限未生效

mysql修改函数权限后未生效，仍报错：execute command denied to user 'test'@'%' for routine 'tospur_house_user.function1'修改执行权限sql即可：GRANT EXECUTE ON FUNCTION lw.historynextval TO ‘UserA’@’192.168.10.61’flush privileges...

2021-11-10 15:25:50 563

原创 Git操作命令

1.1本地库初始化 git init1.2设置签名项目级别/仓库级别：仅在当前本地库范围内有效git config user.name tom_progit config user.email [email protected]信息保存位置：./.git/config 文件系统用户级别：登录当前操作系统的用户范围git config --global use...

2021-09-06 22:36:58 200

原创 Python使用第三方 SMTP 服务发送(QQ)

# -*- coding: UTF-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.utils import formataddrmy_sender = '[email protected]' # 发件人邮箱账号my_pass = 'XXXXX' # 发件人邮箱密码(即授权码)my_user = '[email protected]' # 收件人邮箱账号，我这边发送给自己def mail(.

2021-08-18 15:41:54 1164

原创 mysql根据中文字段首字母排序

SELECT * FROM student_info ORDER BY CONVERT(TRIM(name) USING gbk) ASC

2021-08-16 13:43:27 277

原创第一个FLINK程序之WordCount

package com.atguigu.day1import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time/** * @author ：ZCB * @date ：Created in 2021/8/10 23:01 * @desc： */object WordCountFromSocket { case class WordWithCou.

2021-08-15 21:37:25 109

原创 Scala之二流程控制

1、分支控制if-else样例：需求1：需求：输入年龄，如果年龄小于18岁，则输出“童年”。如果年龄大于等于18且小于等于30，则输出“中年”，否则，输出“老年”object TestIfElse { def main(args: Array[String]): Unit = { println("input age") var age = StdIn.readInt() if (age < 18){ pr

2021-08-09 22:42:27 175

原创 Scala之一变量和数据类型

1、字符串输出（1）字符串，通过+号连接（2）printf用法：字符串，通过%传值。（3）字符串模板（插值字符串）：通过$获取变量值package com.atguigu.chapter02object TestCharType { def main(args: Array[String]): Unit = { var name: String = "jinlian" var age: Int = 18 //（1）字符串，通

2021-08-09 22:24:45 133

原创 mysqldump批量导出mysql建表语句

mysqldump -h ip -uuser_name -p'password' --databases --no-data dbname > getddl.sql

2021-05-14 16:10:06 1255

原创 mysql免密登录设置

mysql有时会忘记root密码，免密登录设置如下1、在/etc/my.cnf中修改在[mysqld]最后添加：skip-grant-tables2、重启mysqlservice mysql restart3、免密登录直接输入mysql进入数据库4、修改密码use mysql;update user set authentication_string=password(“admin12345”) where user=“root”;FLUSH PRIVILEGES;

2021-05-12 18:48:45 5786 1

原创 mysql树形结构递归查询

oracle支持树形递归查询start with ... connect by，但mysql不支持，不过可以通过创建函数来实现递归查询。创建函数DELIMITER //DROP FUNCTION IF EXISTS f_get_suborg;CREATE FUNCTION f_get_suborg(parentId VARCHAR(5000))RETURNS VARCHAR(5000)BEGIN DECLARE oTemp VARCHAR(5000); DECLARE o.

2021-05-08 15:39:45 619

原创 notepad++背景颜色调整选项中文释义

Indent guideline style 缩进参考线的颜色Brace highlight style 鼠标指针在框架左右时框架的颜色（如css中{} js中的（））Bad brace color 错误的框架的颜色（如js中{}里面有错误，这个{}的颜色）Current line background colour 鼠标指向的当前行的背景颜色Selected text colour 选中文本的颜色Caret colour 鼠标指针的颜色Line number margin 行号...

2021-04-29 10:28:32 197

原创 shell取某一时间范围内月份

#!/bin/shif [ -n "$1" ] ;then db_date=$1else db_date=`date -d "-1 day" +%Y%m%d`fiend_date="20180101"while [[ $db_date > $end_date ]]doecho ${db_date:0:6}db_date=`date -d "-1 month $db_date" +%Y%m%d`done

2021-03-25 09:03:47 541

原创按照日期进行累加sql

样例数据：uid,dt,cntguid01,2018-02-28,1guid01,2018-03-01,2guid01,2018-03-02,2guid01,2018-03-04,0guid01,2018-03-05,0guid01,2018-03-06,2guid01,2018-03-07,3guid02,2018-03-01,4guid02,2018-03-02,1guid02,2018-03-03,0guid02,2018-03-06,2结果要求：对用户每天金额进行累加，

2021-02-23 20:51:57 4339

原创 sql实现连续登陆7天以上用户统计

测试数据：用户ID、登入日期uid,dtguid01,2018-02-28guid01,2018-03-01guid01,2018-03-02guid01,2018-03-04guid01,2018-03-05guid01,2018-03-06guid01,2018-03-07guid02,2018-03-01guid02,2018-03-02guid02,2018-03-03guid02,2018-03-06步骤：*操作步骤： * 1、我将用户分组，日期排序【升序】打上标

2021-02-23 20:31:14 2904

原创 hive解析json格式数据

get_json_object函数使用1）数据xjson[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2）取出第一个json对象select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');结果是：{"name":"大郎","sex":"男".

2021-02-02 20:56:41 1184

原创 Yarn容量调度器设置

1）增加hive队列默认Yarn的配置下，容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列，修改以下属性，增加hive队列。<property> <name>yarn.scheduler.capacity.root.queues</name> <value>default,hive</value> <description> Th...

2021-02-01 22:08:01 669

原创 hadoop集群间数据拷贝

hadoop distcp -i -m 1000 hdfs://10.161.25.210:8020/user/hive/warehouse/source.db/user_base_info_test_${month_id}/* hdfs://10.162.4.36:8020/user/hive/warehouse/zcb.db/user_base_info_test_${month_id}

2021-01-29 21:37:35 167

原创 shell脚本采集ftp数据样例

#!/bin/bash#author zcb# *************************************# 功能描述:# 检查从ftp 下载数据情况# 输出文件:# remain_${month_id}_no_uploaded.txt 未上传到ftp列表# remain_head.txt 未上传到ftp列表-表头# remain_${month_id}.txt 未下载或者未下载到本地列表# **********************************.

2021-01-29 11:15:03 340

原创 sqoop采集mysql to HDFS样例shell脚本

#! /bin/bashsqoop=/opt/module/sqoop/bin/sqoopdo_date=`date -d '-1 day' +%F`if [[ -n "$2" ]]; then do_date=$2fiimport_data(){$sqoop import \--connect jdbc:mysql://hadoop102:3306/gmall \--username root \--password 000000 \--target-dir /orig...

2021-01-29 11:09:25 216

原创 flume初始化内存优化

1）问题描述：如果启动消费Flume抛出如下异常ERROR hdfs.HDFSEventSink: process failedjava.lang.OutOfMemoryError: GC overhead limit exceeded2）解决方案步骤：（1）在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management

2021-01-27 21:42:35 376

原创 flume消费kafka数据配置

（1）在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件[mars@hadoop104 conf]$ vim kafka-flume-hdfs.conf在文件配置如下内容## 组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2## source1##类型为kafkaa1.sources.r1.type = org.apache.flume.sou..

2021-01-27 21:37:15 1296

原创 Kafka压测

1）Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2）Kafka Producer压力测试（1）在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下说明：[mars@hadoop102 kafka]$ bin/kafka-prod

2021-01-26 22:08:48 241

原创 Kafka部署与监控

kafka简介：kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线

2021-01-26 21:23:08 607

空空如也

空空如也