life_+-CSDN博客

原创批量加载excel的xsl文件到hive分区表

批量加载excel的xsl文件到hive分区表

2022-08-19 16:14:18 547

原创 hive Serde解析复杂json串

使用hive-json-schema自动生成建表语句，Serde解析器解析JSON文件

2022-08-09 16:43:26 777

一、grep1.1.语法和选项语法： grep [选项] '关键字' 文件名常见选项：OPTIONS: -i: 不区分大小写 -v: 查找不包含指定内容的行,反向选择 -w: 按单词搜索 -o: 打印匹配关键字 -c: 统计匹配到的行数 -n: 显示行号 -r: 逐层遍历目录查找 -A: 显示匹配行及后面多少行 -B: 显示匹配行及前面多少行 -C: 显示匹配行前后多少行 -l：只列出匹配的文件名

2021-12-25 12:53:07 324

原创五、定制Docker镜像

一、定制Docker镜像当我们从docker镜像仓库中下载的镜像不能满足我们的需求时，我们可以通过以下两种方式对镜像进行更改。从已经创建的容器中更新镜像,并且提交这个镜像使用Dockerfile指令来创建—个新的镜像好处1、对于开发人员，可以为开发团队提供一个完全一致的开发环境2、对于测试人员，可以直接拿开发时所构建的镜像测试。3、对于运维人员，在部署时，可以实现快速部署、移值。镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写

2021-10-02 11:34:50 509

原创四、Docker安装mysql

一、安装mysql搜索镜像docker search mysql拉取镜像docker pull mysql:5.6设置密码docker run --name mysql5.6 -e MYSQL_ROOT_PASSWORD=root -d mysql:5.6进入mysql命令行界面,允许mysql远程登录docker exec -it mysql5.6 bashmysql -uroot -prootgrant all privileges on *.* to 'roo

2021-10-02 11:15:36 56

原创三、Docker安装nginx

一、安装nginx拉取nginxdocker pull nginx:latest查看本地镜像列表(即可看到nginx)docker images运行容器docker run --name nginx-test -p 80:80 -d nginx参数说明:--name nginx-test 容器名称-p 80:80:端口进行映射，将本地8080端口映射到容器内部的80端口。-d nginx:设置容器在在后台一直运行。验证安装使用数据卷映射配置nginx配

2021-10-02 11:13:06 140

原创一、Docker基础

一、Docker背景1.常见项目特点2.Docker应用场景快速实现对分布式微服务架构一键部署基于云计算、大数据时代，解决忙闲不均、服务资源高效利用持续集成与持续交付(CI/CD)二、Docker基础1.Docker简介背景问题1:某IT部门要上线一个项目。常规操作，直接去线上服务器，拷贝一个tomcat，然后改端口号，然后部署应用到webapps文件夹下，重启就好。一个服务器上可能会部署多个应用服务。如果某个应用出现问题，CPU100%，可能这个服务器上的其他应用也会出现问题。对

2021-10-02 11:07:01 103

原创二、Docker容器

一、容器1.1.介绍简单的说，容器是独立运行的一个或一组应用，以及它们的运行环境。对应的，虚拟机可以理解为模拟运行的一整套操作系统（(提供了运行态环境和其他系统环境）和运行在上面的应用。1.2.查看容器状态docker ps//查看运行的容器docker ps -a l/查看所有的容器(包含运行和退出)docker container lsdocker container ls-a1.3.容器与镜像的关系二、Docker启动容器启动容器有二种方式，一种是基于镜像新建一个容器并启动，

2021-10-02 10:40:03 100

原创 2021-09-21

2021-09-21 22:39:47 162

原创二、Sqoop常见问题总结

Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性,转化的过程中遇到null-string,null-non-string数据都转化成指定的类型，通常指定成"\N"。在导出数据时采用–input-null-string “\N” --input-null-non-string “\N” 两个参数。导入数据时采用–null-string “\N” --null-non-string “\N”。Sqoop

2021-04-28 19:17:58 544

原创 scala函数式编程-常用的函数

foreach用来遍历集合的采用 foreach 来遍历集合, 可以让代码看起来更简洁, 更优雅.格式def foreach(f:(A) => Unit): Unit//简写形式def foreach(函数)说明案例 def main(args: Array[String]): Unit = { val list: immutable.Seq[Range.Inclusive] = List(1 to 10) val list2: immutable.Seq[I..

2021-04-01 19:09:14 87

原创 Scala集合

1.数组1.1定长数组创建数组语法格式一 : 通过指定长度定义数组val /var 变量名 = new Array[元素类型](数组长度)格式二 : 通过指定元素定义数组val /var 变量名 = Array(元素1, 元素2, 元素3...)注意在scala中，数组的泛型使用 [] 来指定.使用数组名 (索引) 来获取数组中的元素.数组元素是有默认值的, Int:0, Double:0.0, String: null通过数组名 .length 或者数组名 .size 来

2021-03-31 20:14:57 110

原创偏函数与Option类型

偏函数1.1 定义偏函数提供了更简洁的语法，可以简化函数的定义。配合集合的函数式编程，可以让代码更加优雅。所谓的偏函数是指被包在花括号内没有 match的一组case语句 , 偏函数是PartialFunction[A, B]类型的的一个实例对象, 其中A代表输入参数类型, B代表返回结果类型.1.2 语法格式val 对象名 :PartialFunction[类型1，类型2]= { //这对大括号及其内部的一组case语句, 就组成了一个偏函数. case 值1 => 表达式1

2021-03-30 18:56:45 82

原创 Scala隐式转换

1.1 概述隐式转换和隐式参数是Scala中非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能隐式转换的本质：隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型,那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。当编译器第一次编译失败的时候，会在当前的环境中查找能让代码编译通过的方法，用于将类型进行转换，实现二次编译。1.2 分类隐式参数普通方法或者函数中的参数可以通过 implicit 关键字声明为隐式参数，调用该方法时

2021-03-29 15:38:35 107

原创 Scala泛型

1. 泛型泛型的意思是泛指某种具体的数据类型, 在Scala中, 泛型用[数据类型]表示. 在实际开发中, 泛型一般是结合数组或者集合来使用的, 除此之外, 泛型的常见用法还有以下三种:泛型方法泛型类泛型特质1.1 泛型方法泛型方法指的是把泛型定义到方法声明上, 即:该方法的参数类型是由泛型来决定的. 在调用方法时, 明确具体的数据类型.格式def 方法名[泛型名称](..) = { //...}需求定义方法getMiddleElement(), 用来获取任意类型数组的

2021-03-28 21:59:44 1081

原创三、算术运算符

1.1 运算符简介用来拼接变量或者常量的符号就叫: 运算符, 而通过运算符连接起来的式子就叫: 表达式. 实际开发中, 我们会经常用到它.例如: 10 + 3 这个就是一个表达式, 而+号, 就是一个运算符. 注意: 在Scala中, 运算符并不仅仅是运算符, 也是函数的一种, 这点大家先了解即可, 后续我们详细讲解.1.2 运算符的分类算术运算符赋值运算符关系运算符逻辑运算符位运算符注意: Scala中是没有三元运算符的, 被if-else给替代了.

2021-03-27 12:46:19 690 1

原创二、输出语句和分号

1.1 输出语句方式一: 换行输出格式: println(里边写你要打印到控制台的数据);方式二: 不换行输出格式: print(里边写你要打印到控制台的数据);注意: 不管是println(), 还是print()语句, 都可以同时打印多个值.格式为: println(值1, 值2, 值3...)1.2 分号Scala语句中, 单行代码最后的分号可写可不写. 如果是多行代码写在一行, 则中间的分号不能省略, 最后一条代码的分号可省略不写.示例:println("Hello

2021-03-26 22:41:19 452

原创 1. Scala简介与环境搭建

1. Scala简介与环境搭建1.1 概述 Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)", 它是一门基于JVM的多范式编程语言, 通俗的说: Scala是一种运行在JVM上的函数式的面向对象语言. 之所以这样命名, 是因为它的设计目标是: 随着用户的需求一起成长. Scala可被广泛应用于各种编程任务, 从编写小型的脚本到构建巨型系统, 它都能胜任. 正因如此, Scala得以提供一些出众的特性, 例如: 它集成了面向对象编程和面向函数式编程的各种特性, 以

2021-03-26 21:59:58 168

原创一、Mysql主从复制（一主多从）搭建

介绍在实际生产中，数据的重要性不言而喻如果我们的数据库只有一台服务器，那么很容易产生单点故障的问题，比如这台服务器访问压力过大而没有响应或者奔溃，那么服务就不可用了，再比如这台服务器的硬盘坏了，那么整个数据库的数据就全部丢失了，这是重大的安全事故.为了避免服务的不可用以及保障数据的安全可靠性，我们至少需要部署两台或两台以上服务器来存储数据库数据，也就是我们需要将数据复制多份部署在多台不同的服务器上，即使有一台服务器出现故障了，其他服务器依然可以继续提供服务. MySQL提供了主从复制功能以..

2020-08-02 21:20:24 347

原创（一）HBase基础

（一）HBase基础一、介绍官网1、基本概念 hbase是bigtable的开源java版本，是建立在hdfs之上。提供高可靠性、高性能、列存储、可伸缩、实时读写nosql 的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事

2020-07-20 20:50:34 168

原创 (五)JDBC-连接池

(五)JDBC-连接池一、介绍1、连接池是创建和管理一个连接的缓冲池的技术，这些连接准备好被任何需要它们的线程使用2、作用连接对象创建和销毁是需要耗费时间的,在服务器初始化的时候就初始化一些连接。把这些连接放入到内存中,使用的时候可以从内存中获取，使用完成之后将连接放入连接池中。从内存中获取和归还的效率要远远高于创建和销毁的效率,提升性能。二、常见的开源连接池druid Druid阿里旗下开源连接池产品C3P0C3P0是一个开放源代码的JDBC连接池，Hibernate

2020-07-20 20:42:10 75

原创 (四)JDBC-MySQL 事务

一、介绍1、概念事务指的是逻辑上的一组操作，组成这组操作各个逻辑单元要么全都成功，要么全都失败。MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在转账交易当中，甲转给乙100元，那么甲的账户要减少100，同时乙的账户增加100.2、Mysql中的事务在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务。事务处理可以用来维护数据库的完整性，保证成批的 SQL 语句要么全部执行，要么全部不执行。事务用来管理 insert,upda

2020-07-20 20:03:59 107

原创 (三)JDBC-SQL注入漏洞和CRUD操作之PreparedStatement

一、SQL注入漏洞分析1、分析2、测试public class UserDao { /** * 完成用户登录的方法：解决SQL注入漏洞 * @param username * @param password * @return */ public boolean login2(String username,String password){ Connection conn = null; Prepa...

2020-07-19 13:07:37 207

原创 (二)JDBC API

[jdbc]一、DriverManager1、作用一这个方法可以完成驱动的注册，但是实际开发中一般不会使用这个方法完成驱动的注册。原因：如果需要注册驱动，就会使用DriverManager.registerDriver(new Driver());，但是查看源代码在代码中有一段静态代码块，静态代码块已经调用了注册驱动的方法。如果再手动调用该方法注册驱动，就会导致驱动被注册两次。实际开发中一般会采用：Class.forName(“com.MySQL.jdbc.Driver”);2、作用二：管理事务

2020-07-19 12:49:20 888

原创 (一)JDBC-工具类使用

(一)JDBC-工具类使用一、介绍 Java数据库连接，（Java Database Connectivity，简称JDBC）是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。JDBC也是Sun Microsystems的商标。我们通常说的JDBC是面向关系型数据库的。各种不同类型的数据库都有相应的实现，本文中的代码都是针对MySQL数据库实现的。二、案例测试数据create database mydb character set

2020-07-19 12:23:30 283

原创 mybatis

案例源码地址：https://download.csdn.net/download/gj_user/12236230一、架构SqlMapConfig.xml：mybatis的核心配置文件，主要用于配置数据库连接等一些信息Mappers.xml：这些配置文件有多个，每一个配置文件对应数据库当中的一张表，主要用于我们数据库中的字段与我们JavaBean实体类中的字段的相互映射，mappers....

2020-03-10 09:04:51 99

原创 MapReduce

一、介绍 MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce二、架构 MapReduce 框架结构一个完整的 mapreduce 程序在分布式运行时有三类实例进程： 1、MRAppMaster：负责整个程序的过程调度及状态协调 2、MapTask...

2019-05-25 15:48:52 112

原创 HDFS文件系统

一、HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是Hadoop 核心组件之一，作为最底层分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。二、Name...

2019-05-25 14:28:42 238

原创 hive(一)介绍

一、Hive介绍维基百科：https://cwiki.apache.org/confluence/display/Hive1、简介Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。Apache Hive起初由Facebook开发，目前也有其他公司使用和开发Apache Hive，例如Netflix等。亚马逊公司也开发了一个定制版本的Ap...

2019-03-26 18:43:56 378

原创 Hbase 工具类

/** * 创建表、删除表、新增数据、查询数据（get、scan、scan filter） */public class HBaseUtil { private static Connection connection; public static ArrayList<ArrayList<Map<String, String>>> s...

2018-12-02 14:50:38 431

原创 solrcould javaAPI测试

public class SolrTest {```private CloudSolrServer solrServer;@Beforepublic void createSolrServer() { // zkHost：zookeeper的地址列表 String zkHost = "192.168.8.100:2181,192.168.8.101:2181,192.168.8....

2018-12-02 14:47:00 177

原创 Hbase shell

HBase shell一、kerberos认证命令 kinit -kt */*.keytab hbase二、表的管理1、查看表的列表 list2、创建表语法：create 't1', {NAME => 'f1', VERSIONS => 1}, {NAME => 'f2', VERSIONS => 1} create 'tablenam...

2018-12-02 14:35:06 191

原创一、Redis安装

一、Redis介绍 Redis 是用C语言开发的一个开源的高性能键值对数据库。它通过提供多种键值对数据类型来适应不同场景下的存储需求，目前Redis支持的键值数据类型如下：字符串类型散列类型列表类型集合类型有序集合类型二、安装下载地址：wget http://download.redis.io/releases/redis-4.0.9.tar.gz1、将安装包上传到linuxalt+p//...

2018-05-05 11:16:00 133

原创十三、过滤器

一、介绍Filter可以管理web服务器中所有的web资源,开发人员通过Filter技术，对web服务器管理的所有web资源：例如Jsp, Servlet, 静态图片文件或静态 html 文件等进行拦截，从而实现一些特殊的功能。例如实现URL级别的权限访问控制、过滤敏感词汇、压缩响应信息等一些高级功能。　　Servlet API中提供了一个Filter接口，开发web应用时，如果编写的Java类实...

2018-05-04 16:05:16 117

原创九、EL表达式

EL表达式一、　EL 全名为Expression Language。EL主要作用：　1、获取数据　　　　EL表达式主要用于替换JSP页面中的脚本表达式，以从各种类型的web域中检索java对象、获取数据。(某个web域中的对象，访问javabean的属性、访问list集合、访问map集合、访问数组)，　　2、执行运算　　　　利用EL表达式可以在JSP页面中执行一些基本的关系运算、逻辑运算和算术...

2018-04-30 10:40:37 130

原创六、cookies

一、cookie概述 Cookie是客户端技术，程序把每个用户的数据以cookie的形式写给用户的浏览器，当用户使用浏览器去访问服务器中的web资源时，就会带着数据，这样web资源就可以处理用户各自的数据了。 Session是服务端技术，利用这个技术，服务器在运行时可以为每个用户创建一个独享的HttpSession对象，由于session为用户独享，所以当用户访问服务器的w...

2018-04-30 10:39:42 135

原创八、JSP内置对象

JSP内置对象一、jsp的九大内置对象内置对象代表意义类型pageContext JSP页面的上下文对象，可以获得其他八个内置对象javax.servlet.jsp.PageContextrequest请求对象javax.servlet.http.HttpServletRequestresponse响应对象javax.servlet.http.HttpServletResponsese...

2018-04-30 10:38:12 169

原创七、JSp

一、JSP介绍JSP全名为Java Server Pages，中文名叫java服务器页面，其根本是一个简化的Servlet设计，它实现了在java当中使用HTML标签，是一种动态的网页技术标准也是javaee的标准，jsp与servlet一样也是在服务端执行的。当访问一个jsp页面时，其实也是在访问一个Servlet，服务器在执行jsp的时候，首先把jsp翻译成一个Servlet，所以我们访问js...

2018-04-30 10:36:51 201

原创五、Session

一、session与cookie的区别Cookie是把用户的数据写给用户的浏览器。Session技术把用户的数据写到用户独占的session中。Session对象由服务器创建，可以调用request对象的getSession方法得到session对象。二、session实现原理服务器创建session出来后，会把session的id号，以cookie的形式回写给客户机，这样，只要客...

2018-04-30 10:31:12 120

原创四、HttpServlertRequest

四、HttpServlertRequest一、获取请求行参数 String addr = request.getRemoteAddr(); System.out.println(addr); String path = request.getContextPath(); System.out.println(path);//项...

2018-04-30 10:29:27 383