- 博客(29)
- 收藏
- 关注
RSS订阅原创 markdown编辑器的使用
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-10-24 19:03:19
180
原创 java运行jar包报错：Error: A JNI error has occurred, please check your installation and try again
今天打包执行的jar包一直报错：查了很多博客，有的说是因为java -version 和 javac -version版本不一致的原因，但是我的版本是一致的，有的说要打开jar包文件中的META-INF目录，将*.SF,*.DSA,*.RSA文件删除，我的jar包的META-INF目录可以看到：包含.RSA文件和.SF文件，我将其全部删除后，报错Connect refused，最后有的博客说只用删除.SF文件即可，因为依赖jar包中的META-INF中有多余的.SF文件与当前jar包冲突
2020-07-21 11:22:23
7187
8
转载 大数据常见错误及解决方案
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、java Kafka producer error:ERROR kafka.utils.Utils$ - fetc
2020-07-08 19:16:45
5564
转载 MySQL配置文件解析
[client]#客户端设置，即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default-character-set = utf8mb4#编码[mysqld]#服务端基本设置port = 3306#MySQL监听端口socket = /usr/local/mysql/data/mysql.sock#为MySQL客户端程序和服务器之间的本地通讯指定一..
2020-07-03 16:33:00
201
原创 Hive之宏
一、啥是宏宏可以看做是一个简短的函数，或者是对一个表达式取别名，同时可以将这个表达式中的一些值做成变量调用时传入，比较适合于做分析时为一些临时需要用到很多次的表达式操作封装一下取个简短点的别名来调用。宏只在当前会话有效，当退出hive控制台再进入时上次创建的宏就丢失了，如果需要永久保留某个宏，可以将其加入到${HIVE_HOME}/.hiverc文件中。二、创建宏创建宏的语法：CREATE TEMPORARY MACRO macro_name([col_name col_type, ...
2020-07-02 16:59:29
809
转载 HashMap(1.8)源码阅读
一、初始化1.无参构造函数//负载因子默认值static final float DEFAULT_LOAD_FACTOR = 0.75f;//指定loadFactor负载因子的值是0.75fpublic HashMap() { this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted}2.指定初始化大小和负载因子//hashmap的最大容量static final int MAXIMUM_
2020-07-01 15:55:06
108
转载 Spark之DataFrame操作大全
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.
2020-06-27 10:22:11
1830
原创 Vue Devtools 插件安装
Vue Devtools 插件让我们在一个更友好的界面中审查和调试 Vue 项目,插件安装步骤:1.下载devtools,百度网盘地址(地址永久有效,只要我还活着):链接：https://pan.baidu.com/s/13Y1qeGDq_yNvlZuekV7iRg提取码：0tam2.进入谷歌浏览器开发者模式,2种进入方式: (1)谷歌浏览器访问： chrome://e...
2020-06-03 15:17:03
218
原创 Linux主机时钟同步-NTP
NTP服务器主机 (192.168.96.46)安装：yum install ntp -y ;vi /etc/ntp.conf，增加配置：server 127.127.1.0 ；fudge 127.127.1.0 stratum 8；sudo service ntpd start；sudo systemctl enable ntpd.service；
2020-06-02 17:09:40
152
转载 CDH集群添加新的节点
1、新加机器环境配置首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。2、上传cloudera-manager文件到/opt目录，修改agent配置文件：vi /opt/cm-5.15.0/etc/cloudera-scm-agent/config.iniserver_host = Mastervim etc/cloudera-scm-agent/config.ini 设
2020-05-29 08:57:05
2627
1
原创 Hive元数据表信息
Hive的元数据库表一般是存在数据库中的,以MySQL为例:Hive元数据表,各表名和表意义,作用为空的表示这个表是空数据,说明Hive的一些功能我还没有用到,所以元数据的表是空的。Hive元数据表 表名 作用 BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联 CDS 一个字段CD_ID，与SDS表关联 COLUMNS_...
2020-04-24 18:16:45
278
原创 Result window is too large, from + size must be less than or equal to: [10000] but was [13314300]
由于前端没有从Es请求到数据,用postman测试接口是否有问题,结果报错:Result window is too large, from + size must be less than or equal to: [10000] but was [13314300]。这是因为用Elasticsearch做分页查询时，Es查询结果集默认是10000，结果集大小是int，最大为21亿左右（2^...
2020-04-16 15:04:32
1190
转载 十亿级别数据量的es查询优化
面试题es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？面试官心理分析这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了。第一次搜索的时候，是5~10s，后面反而就快了，可能就几百毫秒。你就很懵，每个用户第一次访问都会...
2020-04-15 10:41:58
771
原创 JVM-内存指针压缩技术
JVM 在内存小于 32 GB 的时候会采用一个内存对象指针压缩技术。在 Java 中，所有的对象都分配在堆上，并通过一个指针进行引用。 普通对象指针（OOP）指向这些对象，通常为 CPU字长的大小：32 位或 64 位，取决于你的处理器。指针引用的就是这个 OOP 值的字节位置。对于 32 位的系统，意味着堆内存大小最大为 4 GB。对于 64 位的系统， 可以使用更大的内存，但是 ...
2020-04-14 21:14:56
652
转载 Hive复杂数据类型Array、Map、Struct
Array 创建表，字段类型array 指定数组分隔符 collection items terminated by ‘:’ where 查询需要使用函数 数组包含某个值：array_contains(数组名,‘value’) 数组长度：size(数组名) # 创建表，字段类型array# 指定数组分隔符 collection items terminat...
2020-04-13 15:27:21
713
原创 HBase LSM树存储结构
一、LSM树的由来在了解LSM树之前，大家需要对hash表和B+树有所了解。hash存储方式支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是最佳选择B+树不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树...
2020-04-09 21:05:27
207
原创 Linux打包和解压命令
一、打包压缩01-.tar格式解包：[root@user]$ tar xvf FileName.tar打包：[root@user]$ tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）02-.gz格式解压1：[root@user]$ gunzip FileName.gz解压2：[root@user]$ gzip -d FileNam...
2020-04-09 16:37:07
225
原创 Hive的视图和索引
目录1、Hive Lateral View2、Hive视图3、Hive索引1、Hive Lateral View1、基本介绍Lateral View用于和UDTF函数（explode、split）结合来使用。 首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表。主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其...
2020-04-08 19:48:16
1246
2
原创 Elasticsearch启动报错: failed to obtain node locks
查看Cloudrea Manager发现有个节点报红了，重启该节点后报错：failed to obtain node locks在该节点查看进程，kill掉该进程后，在Cloudrea Manager中重启，问题解决。...
2020-04-08 10:55:03
1383
原创 Hive内置函数和自定义函数
目录1.内置运算符2.内置函数3.内置的聚合函数（UDAF）4.内置表生成函数（UDTF）Hive中提供了非常丰富的运算符和内置函数支撑，具体操作如下：1.内置运算符1.1关系运算符运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQ...
2020-04-07 17:21:39
248
原创 Hive的基本操作和CRUD
目录一、Hive产生的原因二、数据仓库-Hive一、Hive产生的原因1. 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式。2. 提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析。二、数据仓库-Hive1. 数据仓库基本概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定...
2020-04-07 11:17:38
595
原创 linux切换yum源
1、需要提前安装wget命令yum install wget -y2、切换到yum的安装目录/etc/yum.repos.d/3、将所有的已经存在的文件添加备份(1) 给文件该名称添加 .bak (2)创建backup目录，将所有的文件移动进去4、打开镜像网站 https://mirrors.aliyun.comwget -O /etc/yum.repos....
2020-04-07 10:55:10
389
原创 运行idea项目报错java.io.Exception：Could not locate executable null\bin\winutils.exe in the Hadoop binaries
Windows下启动idea项目报错 java.io.Exception:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.原因：本地配置的hadoop文件bin目录下缺少winutils.exe 和hadoop.dll文件解决办法：https://blog.csdn.net/guoliduo...
2020-03-30 10:04:01
441
原创 Windows下Hadoop报错：Failed to locate the winutils binary in the hadoop binary path
报错的原因是因为：没有找到Hadoop目录,需要配置Hadoop的环境变量，并在hadoop bin目录下添加winutils.exe 和hadoop.dll文件。1.下载所需版本的hadoop文件下载链接:https://archive.apache.org/dist/hadoop/common/2.配置环境变量(以windows10系统为例)(1) 先配置HADOOP_HOME...
2020-03-30 09:55:40
794
转载 CDH中添加Elasticsearch服务
此前Elasticsearch我一直是单独搭建的，后来偶然发现可以在Cloudera Manager中添加ES服务,于是度娘,在搭建过程中这篇博客给了我很多帮助https://www.cnblogs.com/zhangrui153169/p/11447423.html但存在一些问题,在这里记录下来以作为这篇文章的补充,也希望能帮助大家少踩坑。一、制作Elasticsearch的Parc...
2020-03-24 17:08:13
8291
25
原创 常用的Vim命令
1、vi的基本概念基本上vi可以分为三种状态，分别是命令模式（command mode）插入模式（Insert mode）底行模式（last line mode）1) 命令行模式command mode）控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入Insert mode下，或者到 last line mode。2) 插入模式（Insert mode）只有在Inser...
2020-03-11 16:37:47
132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人