- 博客(33)
- 收藏
- 关注
RSS订阅原创 cdh运行spark2-shell，hive异常处理
1、Cause: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.ha...
2020-10-30 21:59:51
1054
原创 常用命令随笔
1、windows查看端口占用及关闭进程1、netstat -ano |findstr "8080" -> PID 3532 2、tasklist |findstr "3532" >查看占用端口的进程 3、taskkill -pid 3532 -t -f -> 成功2、linux查看端口占用情况 netstat -tunlp |grep 27017 查看该端口进程运行: lsof -i :port zip 压缩：zip -r html.zip html-bac...
2020-10-30 21:28:49
157
原创 字符串分割方法比较
s.split()与StringUtils包下的方法比较String s=":a:b::";System.out.println(s.split(":").length); //3Arrays.stream(s.split(":")).forEach(x->System.out.print("-"+x +"\t") );//- -a -b按照常用字符串拆分后，得到的长度及拆分后的数据方法 拆分后长度 拆分后数据结果 被忽略的字符 s.split(":") .
2020-10-30 20:53:53
206
原创 Jmeter压测报告
账户分析压测报告一、测试内容 本次测试是针对账户分析进行的压力测试，在账户分析查询接口中，只对用户资产查询接口进行压力测试，其中不包含用户签名校验功能。二、测试方法 本次采用apache的开源测试工具jmeter，采用本地动态拼装请求数据并通过http协议GET方式发送每日盈亏查询请求。并采用1000个用户账号测试访问情况。...
2020-10-30 20:35:42
6038
1
原创 Mysql自定义函数，group_concat，find_in_set使用
一、Mysql字符串拼接，list查询内置函数1、Mysql字符串字符串拼接函数concat():将多个字符串连接成一个字符串;手动拼接，字段较多时，比较麻烦。concat_ws():和concat()一样，将多个字符串连接成一个字符串，但是可以一次性指定分隔符注意：若字段中有一个为null，拼接的结果就为nullgroup_concat()：将group by产生的同一个分组中的值连接起来，返回一个字符串结果2、查询某个值是否在集合中find_in_set(str,list)：查找str是
2020-10-27 22:22:51
603
原创 Hive array指定长度求和
/** * @description: hive Array数组根据求和，从m to n的元素 * 1、编写udf函数,打包 * 2、将jar 添加到hive shell 中 ，add jar /home/ql/jar/test.jar; * 3、创建函数 , * 1、临时函数,仅对当前(session)窗口有效，切换库可以正常使用：在当前hive 客户端＞ create temporary function arraysum as 'com.ql.SubArraySum'; *.
2020-10-15 11:01:13
1491
原创 Hadoop 个人学习记录
1、Hadoop组成结构1.1、MapReduce架构：分布式计算框架 Map阶段：各个任务并行处理数据 Reduce阶段：对map结果进行汇总 1.2、Yarn架构：资源调度框架 NodeManager(NM):单个节点的leader，管理YARN集群中的每个节点 管理单个节点的资源； 处理来自ResourceManager的命令； 处理来自ApplicationMaster的命令； ApplicationM.
2020-09-30 21:58:22
112
原创 Hadoop HA 原理
1、Zookeeper为基础的集群上，NameNode 部署在2个节点上；两个NameNode 在ZK中谁先注册，谁就是Active，剩余的就是Standly状态；而同一时间只有一个NameNode 对外提供服务 ->Active NameNode。2、Zookeeper中有两个FailoverController，一个负责ANN的状态，一个监控SNN的状态，FailoverController通过心跳负责将监控信息保存在znode中。3、Standly NN负责同步Active NN中的元数
2020-09-12 23:51:07
100
原创 MapReduce工作流程
1、MapReduce工作流程（1）、客户端执行submit()方法之前，会先获取待读取文件的信息；（2）、将文件切片信息，jar包，job.xml 提交到yarn;（3）、yarn根据job.xml ，启动切片数量相应的MapTask；（4）、MapTask 调用inputFormat()方法读取HDFS文件，InputFormat()方法调用RecordRead()方法，默认TextInputFormat()将数据以行首字母的偏移量为key，一行数据为value，传到map...
2020-09-09 23:36:19
398
原创 HDFS序列化与反序列化
1、序列化：将内存中的对象，转成字节序列，可以用于在网络传输或者持久化到磁盘上。2、反序列化：将网络中接收到的字节序列或者磁盘持久化的数据，转换成内存中的对象。3、Hadoop本身是Java开发，为什么不直接使用java序列化框架(Serializable)？ Java的序列化是一个重量级框架，一个对象被序列化之后，除了序列化数据之外，还会附带很多信息（数据校验信息，Header等），无效的数据太多，在网络传输较慢，序列化后很占内存。所以，Hadoop自己实现一套序列化机制(Writab...
2020-09-08 22:39:39
197
原创 HDFS 读写流程
HDFS 读写流程1、写数据流程1.1、数据写入流程说明：client向nameNode 请求文件上传，nameNode检查目标文件是否存在，父目录是否存在； nameNode返回是否可以上传； client对文件切分，请求第一个block传输到哪些DataNode服务器上； NameNode 返回3个DataNode 服务器DataNode1,DataNode2,DataNode3； client...
2020-07-04 17:39:46
129
原创 Hadoop 常用shell命令
dfs 是fs 的实现类hadoop dfs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp ...
2020-07-01 22:17:00
142
原创 Hive-从安装到实践
1、hive介绍百度百科：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓...
2019-10-10 10:42:09
156
原创 Java 打包
编译:javac -xx.java编译含jar文件java代码:javac -cp aa.jar bb.jar xx.javaeg： javac -cp fastjson-1.2.44.jar SocketDemo.java打包：jar -cvf xx.jar xx.class
2019-09-29 00:29:10
176
原创 linux抓包
linux抓取数据报文 tcpdump安装：yum install -y tcpdump一般服务器只有一个网卡，eth0，可用ifconfig查看 抓包：tcpdump -i eth0 host ip and port 端口 -w /etc/xx.cap
2019-09-29 00:27:41
333
原创 Sql导入导出，Mongo导入导出，hive导入导出，hbase导入导出
1.Sql导入导出 1.1、从Mysql数据库导出sql文件 /usr/local/mysql/bin/mysqldump -h 192.168.88.131-u root -123456 userinfo>/home/test/userinfo.sql 1.2、将sql文件导入myql 1.选择数据...
2019-07-22 19:19:26
759
原创 windows 环境下搭建redisCluster
1、下载redis下载地址：https://github.com/MSOpenTech/redis/releases。2、将redis解压，并复制5份，命名如下：3、修改配置文件；如（端口，内存大小等），详情见https://blog.csdn.net/qq_31108731/article/details/842620944、创建每个redis运行的快捷方式 在每一份...
2019-05-24 17:10:43
128
原创 JDK8时间API整理
在jdk8之前经常使用到的时间API包括（Date、Calendar），date与字符串之间的转换使用SimpleDateFormat进行转换，用SimpleDateFormat类的parse方法，可以将满足格式要求的字符串转换成Date对象，使用SimpleDateFormat类的format方法，可以将Date类型的对象转换成一定格式的字符串。然而SimpleDateFormat并非是线程安全...
2019-05-14 21:49:40
706
原创 sl4j日志配置
由于logback性能优，加载速度快，且能自动清理和压缩等优点。记录一下个人在使用时配置。1、去掉pom.xml中所有的log4j2相关的引用（否则配置不生效）2、配置logback.xml文件<?xml version="1.0" encoding="utf-8"?><!--级别从高到低 OFF -> FATAL -> ERROR -> W...
2019-05-05 21:18:11
466
原创 多线程-基础-2[Concurrent包下的并发线程]
10.1、CountDownLatch ：闭锁，线程递减锁需要指定一个数字，可以同构await（）方法产生阻塞，直到数字减为0时，阻塞自动被解开，可以通过contDown()方法使数字递减。经常用于监听某些初始化操作，等待初始化执行完毕后，通知主线程继续工作。/** * ContDownLatch :用于程序资源初始化时 */@Slf4jpublic class UserCo...
2019-04-26 22:53:51
147
转载 消息队列面试必备知识
消息队列为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这...
2019-04-26 20:32:27
160
原创 多线程-基础-1
线程安全：多个线程同时访问这个类时，始终返回正常的行为，称为线程安全。1、Synchronized1.1 多个线程一个锁/**同步：synchronized * 同步的概念就是共享，我们要牢记“共享”，如果不是共享的资源就没必要进行同步 * 异步：asynchronized * 异步就是独立，相互之间不受任何制约。就好像我们学习http的时候，在页面发起ajax请求...
2019-04-16 23:10:00
115
原创 MySQL调优总结
一、为什么需要SQL优化?在系统开发初期，由于数据库中数据较少，对于SQL语句，复杂的视图的编写等看不出SQL语句的各种写法的性能优劣，但是随着应用的持续开发，系统交付实际应用之后，随着数据量的增加，系统的响应速度很慢，这就需要系统解决了，而最重要的一个优化就是SQL优化。对于海量数据，优质的SQL与劣质的SQL之间的速度差距可以达到上百倍，对于一个系统，不仅仅是只是实现其功能，还要写出高质量...
2018-12-02 18:17:21
198
原创 Redis 从搭建到集群实践
第一章 安装1.1.windows 安装1.1.1下载下载地址： https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。打开一...
2018-11-19 23:25:28
432
原创 oracle，mysql，406,json转换错误整理
一. 数据库-Oracle数据库的安装，将两个压缩包解压到一个目录下，然后点击安装，注意其中的相关事项： 1.1将基目录和软件安装不能在一个目录，可以将软件放在基目录的子包下。 遇到的问题 1. 安装过程中出现监听异常，后台服务监听程序启动起来后自动停止，解决办法，在开始菜单中找到...
2018-11-19 23:07:59
298
原创 数据库事务
说明：本文章属于个人学习归纳总结，其中内容有摘自他人博客内容，严禁转载。数据库事务:控制事务的隔离级别，保证数据的完整性，安全性，一致性，在此基础上实现高性能访问。##msyql事务1.mysql:传统理解 mysql 中的一次操作过程(sql 执行)是一次事务。2.mysql:那么多个线程 同时操作 mysql 中的数据（同一条数据，一个范围内数据）就叫并发事务。3.mysql:...
2018-10-28 23:21:50
103
原创 Java 调c/c++ so库中接口
1、vs2013 新建win32 dll 空项目，main.h ：extern "C" _declspec(dllexport) void hello(); extern "C" _declspec(dllexport) int add(int first, int second); 2、main.cpp，然后生成dll文件 ：#include "main.h" #incl...
2018-09-22 18:25:40
1242
原创 Linux下对java文件调试——Jdk
利用jdk自带的调试工具对java代码进行调试。编译： javac –g –classpath jar包 xxx.java 运行： jdb –classpath :jar包 xxx 在需要的地方打断点:(1), stop at 类名:行号(2), stop in 类名.方法名.变量名启动： run 断点调试：step / stepi 查看某个变量的值: print...
2018-09-22 18:23:26
1274
1
原创 JVM总结归纳
JVM介绍说明：本文章属于个人学习归纳总结，其中内容有摘自他人博客内容，严禁转载。1 jvm介绍jvm是运行在操作系统之上的，与硬件系统没有直接的交互。1.1 程序计数器在CPU的寄存器中只有一个pc寄存器，存放下一条指令地址。每一条线程都有一个独立的程序计数器，Java虚拟机中的程序计数器指向正在执行的字节码地址，而不是下一条。1.2 虚拟机栈虚拟机栈是线程...
2018-08-26 12:57:04
1049
原创 java8 新特性整理
一、JDK8新特性1、hashMap优化1.1、Jdk1.7中：hashmap（数组（16）-链表） 使用一个Entry数组存储数据，用key的hashcode取模来决定key会被分配到数组的位置，如果hashcode相同，或者hashcode取模后的结果相同(hash collison)，那么这些key会被定位到Entry数组的同一个格子里，这些key会形成一个链表。如果在同...
2018-08-12 20:43:36
204
原创 java 多线程
3.1.1、线程安全 多个线程访问某个类时，不管运行环境和调度方式，这个类始终表现出正确的行为，称为线程安全 。3.1.2、多线程编程3个核心概念 原子性：同数据库，要么全执行，要么全失败。（锁和同步） 可见性：并发访问共享变量时，对共享变量的修改，其他都能看到。（volatile修饰） 顺序性：jvm优化，调整顺序代码，程序的执行顺序并非按照代码的先后顺序。...
2018-07-22 21:12:28
114
原创 VMware 虚拟机的安装
1.安装VMware12 ，安装好后在编辑栏中配置虚拟网络编辑器设置成桥接模式（启动虚拟机时会自动分配IP地址，但是换网络环境时，网络地址会发生变化） 2.安装虚拟机，我安装的是CentOS7 在配置网络适配器时使用桥接模式。 3.启动虚拟机 安装yum2.使用NAT模式配置虚拟机2.1 启用VMnet8 这是NAT连接，禁用VMnet1(桥接连接适配器) 配置VMnet8的ipv4属性，ip地址...
2018-07-08 22:05:29
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人