- 博客(34)
- 收藏
- 关注
RSS订阅
原创 JUC多线程及高并发之volatile
一、volatile1、volatile是什么?volatile是java虚拟机提供的轻量级的同步机制保证可见性不保证原子性禁止指令重排1.1、volatile可见性验证不加volatile代码package com.nuc;import java.util.concurrent.TimeUnit;/** * @Author yrx * @Date 20...
2020-04-23 20:45:58
264
原创 hive_sql简单优化方案
这里的优化方面只在sql【spark】层面，对于参数的调整，这里不做介绍。1、表设计层面优化① 尽量使用分区表操作。② 利用桶表优化③ 选择合适的文件存储格式2、语法和参数层面① 优先过滤数据尽量减少每个阶段的数据量，对于分区表能用上分区字段的尽量使用，同时只选择后面需要使用到的列，最大限度的减少参与join的数据量。除了需要必须表里所有的字段，否则禁止使用select *② ...
2020-02-28 18:30:34
301
原创 flink-kafka-mysql【flink消费kafka外部存储kafka偏移量，并满足事务机制】
flink-kafka-mysql【事务，外部管理偏移量】有时候，因为业务的需要，我们需要保证端到端的语义一致性。那么，如果我们将kafka的偏移量外存，再辅以事务机制，即可做到端到端的语义一致性。（当然，如果可能的话，我们只需要保证min等性，也不需要这么麻烦。）话不多说，直接上案例。首先，需要建立一张student表，以及kafka偏移量的表。CREATE TABLE `kafka` ...
2019-08-29 23:58:40
1964
17
原创 Flink on yarn日志输出
Flink on yarn日志输出-终极方案题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。log4j-cli.pro...
2019-08-29 22:57:08
12435
5
原创 git基础操作--一篇即可
git1、git实操① 创建版本库git init() --初始化git config user.name "yrx"git config user.email "[email protected]"--global 表示全局属性，所有的git项目都会共用属性（如果不想用全局的就把global去掉）② 提交文件1、查看文件状态： git status...
2019-08-17 11:29:54
298
原创 spark技术之常用必备算子
1、常用算子① aggregate算子import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD/** * 测试aggregate算子 * action操作, * 第一个参数是初始值, * 第二个参数:是2个函数[每个函数都是2个参数 * (第一个参数:先对个个分区进...
2019-08-17 11:11:27
381
原创 kafka如何选择分区数及kafka性能测试
kafka如何选择分区数及kafka性能测试1、简言 如何选择合适的分区，这是我们经常面临的问题，不过针对这个问题，在网上并没有搜到固定的答案。因此，今天在这里主要通过性能测试的工具来告诉如何选择相对应的kafka分区。2、性能测试工具 kafka本身提供了比较的性能测试工具，我们可以使用它来测试适用于我们机器的kafka分区。① 生产者性能测试分别创建三个topic，副本数设置...
2019-03-27 19:52:55
12213
原创 Netty学习第一章-JAVA的I/O演进之路
Netty学习第一章-JAVA的I/O演进之路1、I/O基础java1.4之前的早起版本，对I/O的支持并不完善，开发人员在开发高性能I/O程序的时候，会面临一些巨大的挑战和困难，主要困难如下：没有数据缓冲区，I/O性能存在问题没有Channel的概念，只有输入和输出流同步阻塞式I/O通信，通常会导致通信线程被长时间阻塞支持的字符集有限，硬件可移植性不好。因此，高性能服务端开发领域一直被C++和C长期占据【因为他们可以直接使用操作系统的异步I/O或者AIO的能力】，当并发访问量增大或者响
2020-07-24 17:38:48
310
原创 spark源码一站式编译
spark源码一站式编译前段时间，想熟悉下spark的源码，遇到了一些问题，在此记录，期待可以帮到更多的小伙伴！后续会陆续将阅读的spark源码笔记公布出来。。1、具体步骤 # 从spark github上clone下相应的源码 git clone https://github.com/apache/spark.git # 设置maven，防止 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" # 编译 mvn
2020-07-09 16:55:06
341
原创 spark的动态资源配置
spark的动态资源配置对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减 Executor个数，从...
2019-08-25 11:06:52
922
原创 HBase安装
HBase安装1、首先保证zk正常部署，启动zk[yrx@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[yrx@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start[yrx@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start2、保证h...
2019-08-25 11:06:20
142
原创 安装sqoop【基于centos 7.0】
安装sqoop1、解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/2、更改名称mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop3、配置环境变量,并sourcesudo vi /etc/profileexport SQOOP_HOME=/opt/module/sqoope...
2019-08-25 11:05:37
176
原创 spark2.4 on yarn高可用安装【基于Centos7.0】
spark2.4 on yarn高可用安装【基于Centos7.0】1、首先，安装spark需要安装scala，这里不做陈述2、下载spark，并上传到相应位置3、解压sparktar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/module/4、修改名字mv spark-2.4.0-bin-hadoop2.7/ spark5、进入sp...
2019-08-25 11:04:46
981
原创 安装Kylin
安装Kylin1、这几个需要都在/etc/profile里面有配置,并source使其生效2、启动hadoop、hive、hbase、zk 、hadoop的历史服务之后，然后启动kylinbin/kylin.sh start3、出现报错情况Failed to find metadata store by url: kylin_metadata@hbase这个错误原因是因为我们hb...
2019-08-25 11:04:23
145
原创 安装kafka
安装kafka1、解压安装包[yrx@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2、修改解压后的文件名称[yrx@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka3、在/opt/module/kafka目录下创建logs文件夹[yrx@h...
2019-08-25 11:03:20
131
原创 Hive安装【基于centos7.0】
3.0、Hive安装【基于centos7.0】1、hive安装配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[yrx@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bi...
2019-08-25 11:02:47
129
原创 大数据集群之-安装mysql【基于centos7.0】
# 安装mysql1．查看mysql是否安装，如果安装了，卸载mysql（1）查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64（2）卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642．下载安装mys...
2019-08-19 19:33:51
385
原创 hadoop集群完全分布式集群搭建【基于centos7.0】
hadoop集群完全分布式集群搭建1、集群部署规划2、创建集群脚本a）在/home/yrx目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：注：如果没有安装xsync的话，我们可以先装yum -y install rsync #启动rsync服务systemctl start rsyncd.servicesystemctl enable rsyncd...
2019-08-19 19:24:45
226
原创 大数据集群启动操作-单节点、集群
1、启动hadoop① 需要启动1、启动hdfssbin/start-dfs.sh2、启动yarnsbin/start-yarn.sh3、启动日志（特别关键，可以很方便的从历史日志中查看你哪里出错，包括system.out.println打印的也可以呈现）sbin/mr-jobhistory-daemon.sh start historyserver2、启动zookeeperb...
2019-08-17 11:32:41
798
原创 HBase基础介绍
Hbase内核与能力1、Hbase概念 HBase(Hadoop Database)，是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。• 松散表结构(Schema free)• 原生海量数据分布式存储• 随机查询、范围查询• 高吞吐，低延迟• 在线NOSQL数据库• 多版本，增量导入、多维删除2、Hbase的四大基因2.1、自动分区...
2019-08-17 11:30:52
171
原创 python-字符串与集合
二、字符串与集合2.1、字符串2.1.1、字符串切片Python中的字符串用单引号 ' 或双引号 " 括起来，同时使用反斜杠 \ 转义特殊字符。下标从0开始 加号 + 是字符串的连接符， 星号 * 表示复制当前字符串，紧跟的数字为复制的次数。 (1)字符串截取 变量[头下标:尾下标:正倒序) -6 -5 -4 -3 -2 -1 0 1 2 ...
2019-08-17 11:16:40
5952
原创 python-基础
1.1、编码默认情况下，python3源文件以UTF-8编码，所有字符串都是unicode字符串。同时可以指定源文件的不同编码文件开头加上 允许在源文件中使用utf-8字符集中的字符编码，对应的适合语言为中文等# -*- coding: UTF-8 -*-# coding=utf-8(等号两边不能有空格)1.2、注释单行注释：#多行注释：’’’ ‘’’1.3、关键字...
2019-08-17 11:15:34
103
原创 kvm扩容
kvm扩容主要针对lvm格式磁盘进行扩容操作virsh shutdown hadoop104qemu-img create -f qcow2 hadoop104.qcow2 200Gvirsh edit hadoop104virsh start hadoop104ssh hadoop@hadoop104开始进行分区切换root用户sudo -ifdisk ...
2019-08-17 11:08:19
177
原创 scala之隐式转换
1、隐式转换① 基本介绍 隐式转换函数是以implicit关键字声明的带有单个参数的函数。这种函数将会自动应用，将值从一种类型转换为另一种类型② 示例object ImplicitDemo01 { def main(args: Array[String]): Unit = { //编写一个隐式函数转成 Double->Int 转换 //隐式函数应当在作用域...
2019-08-17 11:03:39
168
原创 scala之函数式编程
1、偏函数① 基本介绍在对符合某个条件，而不是所有情况进行逻辑操作时，使用偏函数是一个不错的选择② 示例给你一个集合val list = List(1, 2, 3, 4, “abc”) ，请完成如下要求:将集合list中的所有数字+ 1，并返回一个新的集合要求忽略掉 非数字 的元素，即返回的 新的集合 形式为 (2, 3, 4, 5)object PartialFunDemo...
2019-08-17 11:01:29
211
原创 scala之面象对象高级
1、伴生对象1.1、基本介绍 Scala语言是完全面向对象(万物皆对象)的语言，所以并没有静态的操作(即在Scala中没有静态的概念)。但是为了能够和Java语言交互(因为Java中有静态概念)，就产生了一种特殊的对象来模拟类对象，我们称之为类的伴生对象。这个类的所有静态内容都可以放置在它的伴生对象中声明和调用1.2、示例object AccompanyObject { def ma...
2019-08-17 11:00:21
114
原创 scala之面象对象之中级
1、scala包1.1、基本语法package 包名1.2、包的作用（和java一样）区分相同名字的类当类很多时,可以很好的管理类控制访问范围可以对类的功能进行扩展1.3、命名规则只能包含数字、字母、下划线、小圆点.,但不能用数字开头, 也不要使用关键字。demo.class.exec1 //错误 , 因为class是关键字demo.12a // 错误，因为不能...
2019-08-17 10:58:52
103
原创 拉链表的设计-订单
数仓之-拉链表的设计拉链表设计图：1、创建数据库create database ods;create database dwd;2、在ods层中创建订单表2.1、创建ods的订单表初始表(相当于是从mysql出来数据的，懒得去走mysql)create table ods_order_init(`id` string COMMENT '订单编号',`order_status`...
2019-06-10 09:54:11
3491
5
原创 CentOS7.0 kvm安装（亲手实践过）
kvm安装1、查看cpu是否⽀支持kvm(如果是⽤用windows的vm实验的话必须要如下图所示配置vm，这 样才能开启vm的虚拟化)，如果出现vmx则表示⽀支持虚拟化，如果什什么都没有显示的话， 我们就要考虑我们的cpu是否⽀支持虚拟化)grep -E ‘(vmx|svm)’ /proc/cpuinfo2、关闭selinux将 /etc/sysconfig/selinux 中的 SE...
2019-04-13 11:59:35
375
原创 centos7.0 安装vnc--亲测成功
安装vnc1、查看当前centos系统是否安装了VNCserverrpm -q tigervnc-server如果出现如下显示，则说明没有安装package vnc is not installed2、配置vnc(复制一份，也就是我们启动server@:1的时候的样子，如果说，我们要启动server2的话，同样，再复制一份，然后改名)cp /lib/systemd/system/v...
2019-03-27 20:01:34
1037
原创 scala之面向对象基础
面向对象基础1、类1.1、基本语法[修饰符] class 类名 { 类体} 1.2、注意事项scala语法中，类并不声明为public，所有这些类都具有公有可见性(即默认就是public)一个Scala源文件可以包含多个类.,而且默认都是public2、属性/成员变量(详情见5.6构造器参数)属性的定义语法同变量，示例：[访问修饰符] var 属性名称 [...
2018-11-18 16:55:49
219
原创 scala之for循环
文章目录for循环的几种方式第一种第二种第三种（循环守卫）第四种（引入变量）第五种（嵌套循环）第六种（循环返回值）第七种（会用花括号代替小括号）注意总结for循环的几种方式第一种i 表示循环的变量， <- 规定好 to 规定i 将会从 1-3 循环， 前后闭合for(i <- 1 to 3){ print(i + " ")}第二种这种方式和前面的区别在于...
2018-11-15 18:31:53
31100
2
原创 递归
文章目录递归1、递归的定义3、递归的过程4、几个递归算法的例子例子一：求下面函数输出的值例子二斐波那契数：请使用递归的方式，求出斐波那契数1,1,2,3,5,8,13...给你一个整数n，求出它的斐波那契数是多少？例子三有一堆桃子，猴子第一天吃了其中的一半，并再多吃了一个！以后每天猴子都吃其中的一半，然后再多吃一个。当到第十天时，想再吃时（还没吃），发现只有1个桃子了。问题：最初共多少个桃子？5、...
2018-11-15 18:25:39
237
原创 scala环境搭建（indows，linux，idea集成工具）
环境搭建1、windows环境搭建安装jdk（最好是jdk1.8的）下载对应的scala安装文件解压并配置环境变量SCALA_HOME path里进行配置 %SCALA_HOME%\bin测试安装成功！2、linux搭建安装jdk通过远程工具上传mkdir /usr/local/scala 创建目录tar -xvzf s...
2018-11-15 14:42:35
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人