- 博客(92)
- 资源 (52)
- 收藏
- 关注
RSS订阅原创 彻底解决CRT中文显示乱码问题
找到配置文件C:\Users\username\AppData\Roaming\VanDyke\Config\Sessions\Default.ini修改output transformer name = UTF–8Filenames Always Use UTF8 = 00000001
2022-08-16 19:20:07
2123
1
原创 cdh6.3.2集成flink1.12.0
网上查资料发现使用flink-shaded-12.0-src.tgz编译后确实没有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.2-10.0这个文件，但是flink-shaded-10.0也适配flink1.12环境，于是改用官网提供的flink-shaded-10.0-src.tgz进行编译。文件夹下的flink-1.12.0-bin-scala_2.12.tar、FLINK_ON_YARN-1.12.0.jar就是目标包。添加服务–>选中flink-yarn。.....
2022-08-12 16:59:23
908
原创 cdh6.3.2集成zeppelin0.10.1及简单使用
3.在Zeppelin配置文件目录中，创建名为zeppelin-env.sh的环境文件，在其中配置Hadoop配置目录、hive的配置文件的classpath目录、Zeppelin服务器的IP地址和端口号。1.下载二进制包 https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz至目录/opt。输入设置好的用户名/密码 zeppelin/zeppelin。2.解压到/opt/zeppelin目录下。.....
2022-08-11 15:39:52
912
1
原创 cdh3.6.2集成kylin3.0.2及简单使用
1.下载kylin https://archive.apache.org/dist/kylin/apache-kylin-3.0.2/ 到/software目录。http://192.168.1.162:7070/kylin 用户名/密码 ADMIN/KYLIN。7.下载mysql的驱动包，并放到/opt/kylin/ext/目录。在弹出的页面选中default下的5张表，点击sync按钮。b.add demensions，按需要选择列，下一步。c.选择需要的列，下一步。.........
2022-08-10 16:38:46
759
原创 cdh6.3.2中2种spark命令行读取hive表数据方法
将hive配置文件hive-site.xml放到spark的conf目录下。在页面重启spark。
2022-08-09 15:02:10
816
原创 java、redis、mysql归纳总结
1 HashMap底层源码，数据结构hashMap的底层结构在jdk1.7中由数组+链表实现，在jdk1.8中由数组+链表+红黑树实现，以数组+链表的结构为例。JDK1.8之前Put方法：JDK1.8之后Put方法：附：一、HashMap底层实现原理解析我们常见的有数据结构有三种结构：数组结构链表结构哈希表结构下面我们来看看各自的数据结构的特点：1）数组结构： 存储区间连续、内存占用严重、空间复杂度大优点：随机读取和修改效率高，原因是数组是连续的（随机访问性强，查找速度快）缺点：插
2022-04-27 20:24:27
4280
原创 Spring Boot归纳总结
1 什么是springboot ？用来简化spring应用的初始搭建以及开发过程 使用特定的方式来进行配置（properties或yml文件）创建独立的spring引用程序 main方法运行嵌入的Tomcat 无需部署war文件简化maven配置自动配置spring添加对应功能starter自动化配置答：spring boot来简化spring应用开发，约定大于配置，去繁从简，just run就能创建一个独立的，产品级别的应用2 Springboot 有哪些优点？-快速创建独立运行的spri
2022-04-27 20:23:51
322
原创 Spring归纳总结
1、Spring是什么?Spring是一个轻量级的IoC和AOP容器框架。是为Java应用程序提供基础性服务的一套框架，目的是用于简化企业应用程序的开发，它使得开发者只需要关心业务需求。主要包括以下七个模块：Spring Context：提供框架式的Bean访问方式，以及企业级功能（JNDI、定时任务等）；Spring Core：核心类库，所有功能都依赖于该类库，提供IOC和DI服务；Spring AOP：AOP服务；Spring Web：提供了基本的面向Web的综合特性，提供对常见框架如Stru
2022-04-27 20:17:49
683
原创 flink归纳总结
1.14 Flink1 简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。DataStream API，对数据流进行流处理操作，将流式
2022-04-27 19:58:56
238
原创 spark归纳总结
transformation：1、sortBy ： 对于RDD的是非元组型，rdd1.soreBy(x=>x),元组型按value排序rdd.soreBy(_._2)（进行shuffle）2、sortByKey ： 对于RDD内存的是元组类型的使用（进行shuffle） ，sortBy和sortByKey都是transformation算子，但都会触发job任务，底层new了一个rangePartition对象，底层会调用一个foreach方法，进行排序，所以会触发job3、reduceB
2022-04-26 21:09:51
708
原创 kafka归纳总结
1. Kafka架构生产者、Broker、消费者、ZK；注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。2. Kafka的机器数量Kafka机器数量 = 2 （峰值生产速度 * 副本数 / 100）+ 13. 副本数设定一般我们设置成2个或3个，很多企业设置为2个。副本的优势：提高可靠性；副本劣势：增加了网络IO传输4. Kafka压测Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-pro
2022-04-23 17:26:57
1147
原创 Hadoop、Hdfs归纳总结
1. Hadoop常用端口号hadoop2.x Hadoop3.x访问HDFS端口 50070 9870访问MR执行情况端口 8088 8088历史服务器 19888 19888客户端访问集群端口 9000 80202. Hadoop配置文件以及简单的Hadoop集群搭建（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-
2022-04-23 17:13:17
252
原创 java poi读取word内容
1.读取word所有内容（非表格）public static String readDoc(String path) { String resullt = ""; //首先判断文件中的是doc/docx try { if (path.endsWith(".doc")) { InputStream is = new FileInputStream(new File(path)); WordExtractor extractor
2022-04-14 19:19:28
7509
原创 map常用5种遍历方法
map常用5种遍历方法public static void learnMap() { Map<String, String> map = new HashMap<String, String>(); for (int i = 1; i <= 10; i++) { map.put("key" + i, "value" + i); } // 效率最高，推荐使用 System.
2022-04-12 19:32:30
628
原创 java poi读取excel报错Your InputStream was neither an OLE2 stream, nor an OOXML stream
错误描述java poi读取excel报错Your InputStream was neither an OLE2 stream, nor an OOXML stream楼主是上传的另存为的excel定位报错代码String basePath = "E:\\test\\数据data.xls";InputStream inp = new FileInputStream(basePath);Workbook wb = WorkbookFactory.create(is);源码定位分析publ
2022-04-11 20:12:29
10415
原创 spire.xls.free操作excel简单实用
下载依赖包spire.xls.free-2.2.0.rar https://download.csdn.net/download/qq_25073261/85060851操作案例复制tmp路径下的model_test.xlsx，如下图所示添加进maven依赖，并将jar导入maven库1.先本地安装好maven插件，并配置好本地环境变量2.执行maven命令行导入jar包mvn install:install-file -DgroupId=com.spire -DartifactId=xl
2022-03-31 18:47:59
8397
原创 maven命令行将下载的jar包添加到本地maven仓库及生成对应的pom文件
方案原因有时候，直接在maven项目中引入pom依赖，犹豫各种原因，始终下不下来想要的jar包前提条件1.安装配置好本地maven环境2.网上下载好需要的jar包，以达梦驱动包DmJdbcDriver18.jar为例命令mvn install:install-file -DgroupId=com.dm -DartifactId=DmJdbcDriver -Dversion=18 -Dpackaging=jar -Dfile=D:\Download\DmJdbcDriver18\DmJdbcDri
2022-03-24 16:37:06
3175
原创 excel表达式分离字段类型、长度及转字符串转化
原格式如下需求将字段类型分成一列、字段长度分成一列、字段精度分成一列、是否为空将YES转化为Y，NO转化为N结果字段类型转化=IF(ISNUMBER(FIND("(",E2)),LEFT(E2,FIND("(",E2)-1),E2)字段长度转化=IF(ISNUMBER(FIND("(",E2)),MID(E2,FIND("(",E2)+1,FIND(")",E2)-FIND("(",E2)-1),"")字段精度需要手动改，或者自写函数公式将YES转化为Y，NO转化为N=IF(ISNU
2022-03-23 16:18:05
2739
原创 clickhouse删除ReplicatedMergeTree复制表后，新建同名表失败原因分析
执行操作##先新建复制表库名、复制表create databases if not exists schema_name_test on cluster default_cluster;create table if not exists schema_name_test.tableName on cluster default_cluster (`id` String, `name` String, `createTime` DateTime) engine=ReplicatedMergeTre
2022-03-22 20:21:44
7192
1
原创 loader(sqoop2)抽取数据基本命令
1.sqoop2-shell执行shell脚本vim /opt/temp/sqoop2_shell.sh#!/bin/bash#环境变量source /opt/temp/bigdata_env#安全认证kinit -kt /opt/temp/user.keytab userName/opt/sqoop2/sqoop2-shell /opt/temp/sqoop2_shell_job.shvim /opt/temp/sqoop2_shell_job.sh#show create con
2022-03-10 15:30:19
2715
1
原创 hive数据类型
数字类类型 长度 备注TINYINT 1字节 有符号整型SMALLINT 2字节 有符号整型INT 4字节 有符号整型BIGINT 8字节 有符号整型FLOAT 4字节 有符号单精度浮点数DOUBLE 8字节 有符号双精度浮点数DECIMAL – 可带小数的精确数字字符串日期时间类类型 长度 备注TIMESTAMP – 时间戳，内容格式：yyyy-mm-dd hh:mm:ss[.f…]DATE – 日期，内容格式：YYYYMMDDINTERVAL – --字符串类类型 长度
2022-02-11 10:52:26
735
原创 shell脚本读取配置文件【多个对象】
参考：https://blog.csdn.net/weixin_44100850/article/details/94775443配置文件myconfig.ini[Class]ids=student1,student2,student3files=profilefile [student1]name=LiLeiage=16 [student2]name=HanMeiMeiage=15 [student3]name=Lucyage=15shell脚本configOpe
2022-02-10 15:45:22
705
原创 docker版hue集成mysql、elasticserach、hive、presto、clickhouse、oozie、yarn、hdfs
安装dockeryum install docker附docker常用操作命令 https://blog.csdn.net/qq_25073261/article/details/109236637下载hue镜像为了支持国产化，使用的鲲鹏版本服务器，下载的arm架构hue镜像下载地址 docker_hue_arm64.ziphttps://download.csdn.net/download/qq_25073261/23266653docker版hue4.10--arm64架构，先zip解压
2021-09-16 18:19:42
1085
原创 mwget下载安装以及报错strcmp’ was not declared in this scope问题解决
Linux多线程下载工具mwget（加速wget下载速度）前提准备yum -y install openssl openssl-devel gcc gcc-c++ intltool bzip2安装wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2tar -xjvf mwget_0.1.0.orig.tar.bz2 cd mwget_0.1.0.orig./config
2021-08-23 18:08:05
635
1
原创 hue4.9.0编译欧拉euler系统aarch
环境华为欧拉arm架构Linux version 4.19.36-vhulk1907.1.0.h821.eulerosv2r8.aarch64 (abuild@szxrtosci10000) (gcc version 7.3.0 (GCC)) #1 SMP Fri Aug 14 09:36:55 UTC 20201.前提准备python --version2.7.15如果使用3.6+版本的Python，在build之前需要设置对应的版本export PYTHON_VER=python3.7.0
2021-08-20 18:34:04
763
原创 qemu编译报错util/memfd.c:44:12: error: static declaration of ‘memfd_create’ follows non-static declara
报错详情make[1]: flex: Command not found BISON dtc-parser.tab.cmake[1]: bison: Command not found LEX dtc-lexer.lex.cmake[1]: flex: Command not foundmake[1]: '/soft/qemu-2.11.0/capstone/libcapstone.a' is up to date. CC util/memfd.o
2021-05-10 18:28:51
1426
1
原创 kudu常用命令
https://www.cnblogs.com/starzy/p/10573508.html1.建表语句create TABLE kudu.default.my_first_table(id BIGINT WITH (primary_key = true),name varchar)WITH (number_of_replicas = 3,partition_by_hash_buckets = 2,partition_by_hash_columns = ARRAY[‘id’],partit
2020-10-23 10:10:12
2111
原创 hdfs常用命令
https://blog.csdn.net/QMW19910301/article/details/83502459一般以hadoop fs 操作hdfshdfs***hdfs dfs -ls /hdfs默认的块大小是64MB还是128MB呢？查看Hadoop官网，可以看到，block size之前是64MB的，从2.7.3版本开始，block size的大小就由64MB变成了128MB，因为块越大，寻址时间越短。1.-ls功能：显示目录信息示例： hadoop fs -ls hdfs://
2020-10-23 10:08:27
283
原创 spark基础
中文字符用utf-8编码占用3个字节(bit)，GBK、GB2312收编的汉字占2个字节(bit)，严格地用iso8859-1无法表示汉字，只能转为问号ASCII 英文一个字节gb2312，gbk 中文两个字节，英文一个字节在中文系统中ansi一般指gb2312或gbkGB2312、GBK都属于双字节字符集 (DBCS)Utf-8 中文三个字节，英文一个字节Unicode 中文两个字节，英文两个字-------------------hadoop start -----------------
2020-10-23 10:06:08
213
原创 scala基础
Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。:paste// Entering paste mode (ctrl-D to finish)scala中class与object区别calss scala编译器会字段帮我们生产一个私有字段和2个公有方法get和setscala 中没有 static 关键字，所以 对于一个class来说，所有的方法和成员变量在实例被 new 出来之前都是无法访问的因此在class中的main方法没什么用了scala 的o.
2020-10-23 10:02:33
183
原创 docker常用命令
教程https://www.runoob.com/docker/docker-hello-world.htmldocker中怎样设置开机启动–随容器的启动而启动服务？https://www.cnblogs.com/yougewe/p/10425387.html★★★★★★如何备份当前容器的修改？备份是可靠性的一个保证！ start★★★★★★1.如何备份当前容器的修改？备份是可靠性的一个保证！ 1. 使用commit 命令保存到本地docker commit -m “msg” abcommit
2020-10-23 10:01:24
599
1
原创 es
集群搭建https://blog.csdn.net/sinat_26594945/article/details/1026458981.创建索引put localhost:9200/commodity{“settings”: {“number_of_shards”: 3,“number_of_replicas”: 2},“mapping”: {“_doc”: {“properties”: {“commodity_id”: {“type”: “long”},“commodity_n
2020-10-23 10:00:33
216
原创 flink基础
1.任何程序都是需要有输入、处理、输出，Flink专业术语对应Source，map，Sink。提到Flink程序的时候，我们会有Source数据源，然后map其实就是对输入的数据处理的意思，接着Sink就是落地数据，也就是我们存储数据到什么地方。2.将核心数据处理接口分为两大类，一类是支持批计算的接口DataSet API，另外一类是支持流计算的接口DataStream API3.Flink窗口：窗口分类可以分成：翻滚窗口（Tumbling Window，无重叠），滑动窗口（Sliding Windo
2020-10-23 09:59:47
295
1
原创 git常用命令
1.查看所有分支git branch -a2.查看当前使用分支(结果列表中前面标*号的表示当前使用分支)git branch3.切换分支git checkout 分支名4.git stash （这是将本地代码回滚值至上一次提交的时候，就是没有你新改的代码）5.git pull origin dev（将远程的拉下来）6.git stash pop（将第一步回滚的代码释放出来，相等于将你修改的代码与下拉的代码合并）然后解决冲突，你本地的代码将会是最新的代码7.git add .8.git
2020-10-23 09:58:34
271
原创 go常用命令
0.Go Bulid 命令a.打包成exe后缀文件，在windows上可以直接运行,首先，进入到main.go文件目录下，执行以下命令 go build main.go-o 参数可以指定输出目录与打包后的文件名 go build -o gotest main.gob.打包成二进制文件，可以在linux平台运行首先，进入到main.go文件目录下，执行以下命令set CGO_ENABLED=0set GOARCH=amd64set GOOS=linux GOOS指的是目标操作系统，支
2020-10-23 09:55:32
286
原创 hbase简介
hdfs***hdfs dfs -ls /------------------------------基础-------------------------------------------------HDFS是分布式文件存储系统，核心功能就是为用户提供更加稳定合理的文件存储方式。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库，一个分布式、可
2020-10-22 17:12:27
254
1
原创 hbase-phoenix常用命令
1.Phoenix链接hbase sqlline.py cdh01,cdh02,cdh03 sqlline.py hadoop01,hadoop02,hadoop03,hadoop04,hadoop05相关操作语法https://blog.csdn.net/u010916338/article/details/80309513按天数取每天的最大select parkid,parkname,malenum,mennum,timestateid, DATE_FORMAT(from
2020-10-22 17:09:36
1450
原创 hive常用命令
1.设置显示schemahiveset hive.cli.print.header=true;2.set mapred.reduce.tasks=100; 查看set mapred.reduce.tasks;3.（1）启动hivehive (bin/hive)（2）查看数据库show databases;（3）打开默认数据库3use default;（4）显示default数据库中的表3show tables;（5）创建一张表3create table student(id in
2020-10-22 17:02:01
823
原创 idea常用命令
单行注释（行首） ctrl + /段落注释 ctrl + shift + /生成get/set方法 alt + insert 再选择 getter and setteridea格式化代码快捷键：Ctrl+Alt+L撤销/恢复 ctrl + Z / ctrl + shift + Z新增/删除行 ctrl + D / ctrl + Xdebug模式，查看变量值，alt + F8debug模式，F7下一步，F9跳过当前断点接口方法进入实现类方法 CTRL+ALT+Bdebug断点，查看.
2020-10-22 17:00:42
558
azkaban已编译后的tar.gz包azkaban3.90_tar_gz.zip
2020-07-23
azkaban已编译后的zip包azkaban3.90.zip
2020-07-23
gradle-4.6-all组件.zip
2020-07-23
confluent实时同步sqlserver数据debezium-connector-sqlserver.zip
2020-03-20
websocket前端Demo.zip
2019-09-06
xshell与xftp多开窗口.zip
2019-09-06
shell之demo示例+学习指南
2017-06-13
Git安装包及下载安装说明
2017-06-12
MUI中文文档及包含demo
2017-06-05
MUI开发初学demo
2017-06-05
cdh6.3.2集成flink1.12.0所需要的编译好的包
2022-08-12
excel(xls或xlsx)便捷copy及poi操作demo.rar
2022-04-11
hdp集群从0到1搭建
2022-04-03
spire.xls.free-2.2.0.rar
2022-03-31
docker_hue_arm64.zip
2021-09-16
MobaXterm_Portable_v11.0_cracked.zip
2020-10-26
kudu与hbase组成底层图解.zip
2020-10-22
springboot集成phoenix/presto/tidb/redis各模式等组件demo.zip
2020-04-14
perl连接mysql或者oracle生成java实例perlCreateJavaClass.exe
2020-04-13
zabbix监控安装\预警\监控数据库等文档.docx
2020-01-20
HTMLTestRunner_PY3.zip
2019-11-08
mqtt前端客户端Demo.zip
2019-10-31
Spark2.2Doc API 中文参考文档
2019-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人