- 博客(29)
- 收藏
- 关注
RSS订阅转载 hive分析窗口函数--详解及举例
相信此链接的内容，会让你对hive的分析窗口函数有一个很好的理解，同时也十分感谢笔者！hive分析窗口函数
2020-03-02 15:16:30
231
1
原创 HDFS2.0 HA实现
Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务；ZKFailoverController（主备切换控制器，FC）：ZKFailoverController 作为独立的进程运行，对...
2019-10-31 22:30:57
265
原创 Linux 不同压缩格式 的不同解压命令
不同压缩格式的文件对应的解压命令：*.tar 用 tar –xvf 解压*.gz 用 gzip -d或者gunzip 解压.tar.gz和.tgz 用 tar –xzf 解压.tar.gz和.tgz 用 tar –xzf 解压*.bz2 用 bzip2 -d或者用bunzip2 解压*.tar.bz2用tar –xjf 解压*.Z 用 uncompress 解压*.tar.Z 用...
2019-09-18 21:16:52
322
原创 eclipse maven项目 【Missing artifact jdk.tools:jdk.tools:jar:1.7】解决方法
问题：pom.xml总是提示 Missing artifact jdk.tools:jdk.tools:jar:1.7原因：工程maven找不到系统内的jdk1.7，根本原因是没有指定javaw.exe的的位置导致的解决方案：解决方案有两个：找到eclipse的安装路径，在安装路径下找到eclipse.ini，将其文件打开，在文件中找到“-vmargs”，在“-vmargs”之前添...
2019-09-09 11:03:34
1269
1
原创 Base64编码 去掉 换行符 方法
问题：Base64编码后出现了换行符，导致无法解码，解码时提示RuntimeError原因：根据RFC822规定，BASE64Encoder编码每76个字符，会加上一个回车换行解决方案：用Apache的 commons-codec.jar， Base64.encodeBase64String(byte[]）编码后的字符串是不会带换行符的依赖：<!-- https://mvnre...
2019-08-29 10:48:31
12736
1
原创 Java常用的转义字符
在Java里，使用反斜杠线 \ 来表示转义，反斜杠线和紧跟在它后面的字符一起组成了转义的字符，从而达到转义的字符。\a:响铃\b:退格\r 表示接受键盘输入，相当于按下回车\f 换页\n 表示换行。\t 水平制表符，相当于Table键\b 退格键，相当于Back Space\ ’ 单引号\’’ 双引号\ 表示一个斜跨\ ? 问号字符\0 空字符\ddd 任意字符 ...
2019-08-28 00:18:51
996
原创 spark core 介绍
Spark Core1、Spark架构设计1.1 架构设计图1.2 相关术语名词解释RDD (Resilient Distributed DataSet)弹性分布式数据集，是对数据集在spark存储和计算过程中的一种抽象。是一组只读、可分区的的分布式数据集合。一个RDD 包含多个分区Partition(类似于MapReduce中的InputSplit)，分区是依照一...
2019-08-16 12:50:51
7972
1
原创 spark RDD常用操作
Spark常用算子分析与应用1、算子概述什么是算子 英文翻译为：Operator（简称op） 狭义：指从一个函数空间到另一个函数空间（或它自身）的映射。 广义：指从一个空间到另一个空间的映射 通俗理解：指事物(数据或函数)从一个状态到另外一个状态的过程抽象。 实质就是映射，就是关系，就是变换。 算子的重要作用 算子越少，灵活性越低，则实现相同功能的编程复杂度越高，...
2019-08-16 12:10:53
1657
转载 Eclipse自动导入相应包的类名的快捷键
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 ...
2019-08-14 17:08:57
3091
原创 Java数据类型
1.释义 数据类型是为了把数据分成所需内存大小不同的数据，编程的时候需要用大的数据才申请 大内存，这样可以充分利用内存。 Java 语言是一种强类型语言，要求所有变量先声明后使用。目的就是为了保证变量或者表 达式在编译时就能够确定其类型，并为其分配相应的内存。2.分类2.1 整型 2.1.1Java整型 by...
2019-08-12 15:53:02
980
1
原创 hbase架构设计
目录 1、架构设计 2、核心概念释义 3、hbase写流程 4、hbase读流程1、架构设计 架构设计图 2、核心概念释义 1) Client 发起读写请求的角色，面向hbase client编程。 首先hbase...
2019-08-10 15:57:52
2452
原创 hbase的简单介绍
1、历史背景 产生原因 内因 hadoop之mapreduce/hdfs/hive等适合做批量数据处理，且只能以顺序方式访问数据。 外因 现实开发应用场景中，经常需要海量数据场景下的实时数据随机访问的需求，hadoop作为大数据的承载和计算平台应该予以满足。 2、hbase概述 hbase介绍 ...
2019-08-10 15:49:39
520
原创 Linux软件安装
三种安装方式yum安装源码安装二进制安装yum安装它是基于RPM包安装的一种方式，如果单独安装RPM包，是无法解决包依赖问题的，要我们安装时手动解决，YUM提供了自动解决依赖的机制，只需要简单几条命令，很快就能把相关软件装到机器上。但是前提是，你的机器一定要能连外网!!!查看已安装未安装的软件包总列表 yum list查看已安装的软件包列表 yum list in...
2019-08-07 23:02:58
266
1
原创 Java操作redis (jedis)
Java操作redisJava操作redis的第三方库位jedismaven pom配置：加入jedis相应版本依赖百度 jedis maven 即可找到测试redis server是否正常开启 package com.czk.utils; import redis.clients.jedis.Jedis; public class RedisUtil { pub...
2019-08-07 22:45:12
178
原创 redis常用操作
1.key常用命令 序号 命令 作用 1 set key value 设置kv对 2 get key 通过给定key获取其对应的value 3 del key ...
2019-08-07 16:19:54
437
原创 关于redis持久化的介绍
redis持久化重要说明redis数据存储模式只有两种 cache-only 只做为“缓存”服务，数据均在内存中，不持久化数据，服务停掉则数据全部丢失，且无恢复方法，高速但安全性低；persistence 数据不只是在内存中，还会以配置的持久化方式持久化到磁盘中，保证服务停止后数据还可以恢复。持久化方式选择 ...
2019-08-07 12:30:40
137
原创 Java之下载相关网页到本地
题目：通过URL/UrlConnetion编程，将百度首页下载到本地，存储文件baidu.txt中代码实现package com.tl.job005.test.io;import java.io.BufferedInputStrea...
2019-08-02 22:50:36
210
原创 Java之常用三大排序（冒泡排序，简单选择排序，快速排序）
题目：给定一个一维整型数组，自己实现冒泡排序、简单选择排序、快速排序完成对其的升序排列并输出?答案冒泡排序按降序排列public class TestBubbleSort { public static void m...
2019-08-02 22:43:41
486
原创 scala之特质trait
特质trait1.概念说明：1）相当于Java的接口和抽象类的二合一，即可以当接口使用，也可以像抽象类去定义实际的方 法和抽象方法去使用。2）特征是支持多继承的，解决了scala单继承的问题，间接达到scala多继承的效果。3）用关键字trait来定义特征2.应用示例：/** * 定义核心计算特征 */trait CalcuteCoreTrait { def ad...
2019-08-01 22:19:24
153
原创 scala之十种函数高级应用
函数高级应用主要包含10种函数高级应用，函数传名调用指定函数参数名调用可变参数的函数默认参数值函数递归函数高阶函数内嵌函数匿名函数偏应用函数函数柯里化函数传名调用o概念说明传值调用：先计算参数表达式的值，再应用到函数内部，把=>去掉即可，即按原始的方式传名调用：将未计算的参数表达式直接应用到函数内部，用=>来设置...
2019-08-01 21:01:52
1175
原创 用递归法实现斐波那契序列、阶乘、阶乘的阶乘
斐波那契序列实现规则：当前这个数值，等于其前两位数值的和，示例如：1 1 2 3 5 8 13 21 34…实现方法：递归实现递归实现的要点终止条件循环主体具体代码实现package com.czk;public...
2019-08-01 20:40:02
499
原创 Java之Date操作
工具类意义描述日期操作是最典型、最常用的技术之一，在绝大多数项目开发当中均会有所涉及。代码实现import java.text.ParseException;import java.text.SimpleDateFormat;...
2019-08-01 20:18:56
280
原创 Java之文件操作
工具类意义描述文件操作是最典型、最常用的技术之一，在绝大多数项目开发当中均会有所涉及。代码实现import java.io.BufferedReader;import java.io.File;import java.io....
2019-07-31 23:01:54
103
原创 Java之正则表达式常用操作
工具类意义描述正则表达式操作是最典型、最常用的技术之一，在绝大多数项目开发当中均会有所涉及。代码实现package com.tianliang.spider.utils;import java.util.ArrayList;...
2019-07-31 22:57:03
367
原创 Java之IO操作
工具类意义描述IO操作是最典型、最常用的技术之一，在绝大多数项目开发当中均会有所涉及代码实现import java.io.BufferedReader;import java.io....
2019-07-31 22:22:16
359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人