- 博客(67)
- 收藏
- 关注
RSS订阅原创 hive drop表恢复手册
前言语法:DROP TABLE [IF EXISTS] table_name [PURGE]; -- (Note: PURGE available in Hive 0.14.0 and later)删除此表的元数据和数据。如果配置了Trash (没有指定 PURGE)，数据实际上会移动到 .Trash/Current 目录。元数据完全丢失。删除外部表时，表中的数据不会从文件系统中删除。当删除视图引用的表时，不会给出警告(视图关联表被删除视为无效，必须由用户删除或重新创建)。
2021-01-10 12:33:54
523
原创 图解RDD血缘关系
需求有三个RDD ,分别是 rddA,rddB,rddC.取数据1,2,3,4,5并且分成三个分区,对输入的数据的每一个数据*2 ,只取大于 6 的数据.代码 val rddA = sc.parallelize(List(1, 2, 3, 4, 5),3) //rddA: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRD...
2019-12-17 08:25:21
1236
原创 spark实现排序的三种方式
根据购买人数降序,购买人数相同根据价格降序排序object SparkDemo01 { def main(args: Array[String]): Unit = { //简单的 demo // productDemo1() //通过 class 实现 // productDemo2() //通过 case class实现 p...
2019-12-12 06:40:14
1826
原创 centos 7 上安装hadoop环境被挖矿
使用top查看信息 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1047 hadoop 20 0 113132 4364 3336 S 178.5 0.1 0:00.02 sysupdat...
2019-10-31 13:16:43
845
原创 hive drop表恢复手册
前言语法:DROP TABLE [IF EXISTS] table_name [PURGE]; -- (Note: PURGE available in Hive 0.14.0 and later)删除此表的元数据和数据。如果配置了Trash (没有指定 PURGE)，数据实际上会移动到 .Trash/Current 目录。元数据完全丢失。删除外部表时，表中的数据不会从文件系统中删...
2019-10-22 01:27:26
993
原创 Apache Flume快速入门手册
介绍apache fulme是一个分布式的高可用的框架，可以从不同的数据源大量的操作日志数据，能高效的收集，聚合，移动日志数据集中到存储中。apahce fulme不仅仅是日志聚合功能，还能自定义数据源，用于传输大量的事件数据，网络流量数据，社交媒体数据，邮件数据以及其他数据Apache Flume 目前有两种主版本： 0.9.x 和 1.x。其中 0.9.x 是历史版本，称之为 Flume...
2019-09-17 01:55:09
215
原创 求1到100中的素数
/** * 判断是否为素数 * 指在大于1的自然数中，除了1和它本身以外不再有其他因数的自然数。 */object PrimeNumber { def main(args: Array[String]): Unit = { //1到100中的素数 val num = Array(1 to 100) for (x <- 0 to num(0).length...
2019-09-09 23:49:12
1827
原创 idea写好的mapreduce程序跑在yarn上
添加配置到文件core-site.xml <property> <name>fs.defaultFS</name> <!--Yarn 需要使用 fs.defaultFS 指定NameNode URI --><!-- # 配置自己机器的IP--> <value>hdfs://b...
2019-09-02 23:34:06
343
原创 windows下hadoop开发踩坑日志
NO.1org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /heasy/data could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are...
2019-08-31 00:22:03
512
原创 阿里云搭建hadoop伪分布式
购买机器地址：https://www.aliyun.com/product/ecs?spm=5176.12825654.eofdhaal5.2.e9392c4acVBgPk使用root登录机器创建用户$ useradd hadoop $ vi /etc/sudoers # 找到root ALL=(ALL) ALL，添加 hadoop ALL=(ALL) NO...
2019-08-27 00:02:32
310
原创 spark2.4.2版本编译
机器环境:mac 10.14.6Apache Maven 3.5.4(https://archive.apache.org/dist/maven/maven-3/3.5.4/)Java version: 1.8.0_151(https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html...
2019-08-08 20:01:04
651
原创 hadoop 编译 版本(hadoop-2.6.0-cdh5.15.1)
编译前准备工作系统环境配置操作系统版本：CentOS Linux release 7.5.1804需要提前支持的类库：# 安装 gcc、gcc-c++yum install gccyum install glibc-headersyum install gcc-c++ # 安装 cmakeyum install cmake# 安装 openssl-develyum ins...
2019-08-04 02:00:07
3570
1
原创 使用idea插件，完美提升逼格
.ignore.ignore插件忽略不必要提交的文件https://github.com/JetBrains/idea-gitignoreLombok开发神器，可以简化你的实体类，让你i不再写get/set方法，还能快速的实现builder模式，以及链式调用方法，总之就是为了简化实体类而生的插件。https://github.com/rzwitserloot/lombokhttp...
2019-07-14 22:57:50
1629
原创 浅谈二叉树的概述、创建、遍历（附java版本代码）
树结构树结构定义树结构是一种非线性存储结构，能表示“一对多”的关系。树结构特点只有一个节点的树也是树新节点与任何一个节点连接形成的树称为子树根节点，没有父亲节点，叶子节点没有子节点除根节点外，任何一个节点都只有一个父节点二叉树结构二叉树的定义每个节点最多有两个子节点的树称为二叉树一棵深度为k，且有2^k-1个节点的二叉树，称为满二叉树。这种树的特点是每一层上的节点数...
2019-07-07 02:29:55
140
原创 centos 7.5hadoop环境搭建详解
开发环境mac 系统 vm fusion centos 7.5mini配置静态的ip地址修改vim /etc/sysconfig/network-scripts/ifcfg-ens33 这个配置文件在该文件中添加,修改如下内容:BOOTPROTO="static" #配置为静态ip#增加ip信息内容IPADDR=192.168.31.11GATEWAY=192.168.31.1...
2019-06-30 21:07:31
315
原创 zokeeper集群安装
下载下载地址https://archive.apache.org/dist/zookeeper/从这里选择适合自己的版本，由于我这里使用的是cdh版本的，所以我这里的下载地址是http://archive.cloudera.com/cdh5/cdh/5/从这里选择对应的cdh版本，然后使用wget 选择的版本的下载地址命令加上下载地址进行下载。注意：这里虽然两个版本不一样，但是在集群安装的方...
2019-06-05 00:34:39
196
原创 hive 2.3.4安装
下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/下载apache-hive-2.3.4-bin.tar.gz解压文件tar -zxvf apache-hive-2.3.4-bin.tar.gz -C ../module/安装和配置mariadb安装 yum install mariadb-serv...
2019-05-20 23:36:48
447
原创 idea 项目发布到github
mac 机器上使用 command + ,快捷键打开Preferences对话框.windows机器在file-&gt;’seting’中可打开点击Version Control -&gt;GitHub在右边会看到如下界面点击Create API Token 会弹出如下对话框,在对话框中输入github用户名密码,点击登录,如图,登录通过后会回到2界面,可点击2界面中的Test,当弹出suc...
2018-08-11 00:10:26
436
原创 mysql 5.7 yum 安装 centos 7
安装步骤:下载安装包1.wget https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm使用rpm安装下载包2.rpm -ivh mysql57-community-release-el7-11.noarch.rpmyum安装3.yum install mysql-community-server启动服务4.syste...
2018-05-21 09:24:32
274
原创 JDK1.8 ArrayList 扩容详解
arraylist这个数据结构比较简单，总体来说，arraylist 底层结构是数组，他的很多方法都是从数组上面演变而来的，下面分析下arraylist的扩容机制，每次在add()一个元素时，arraylist都需要对这个list的容量进行一个判断。如果容量够，直接添加，否则需要进行扩容。在1.8 arraylist这个类中，扩容调用的是grow()方法，通过grow()方法中调用的Array...
2017-11-29 10:43:29
14710
8
原创 java身份证校验工具类
java身份证校验工具package quanmin.personhealth.Util;import java.util.Calendar;import java.util.GregorianCalendar;import java.util.HashMap;import java.util.Map;public class IDCardUtil { final sta
2017-05-05 23:01:25
4583
2
原创 Linux服务器 tomcat 远程调试，
修改 catalina.sh # OS specific support. $var _must_ be set to either true or false. cygwin=false darwin=false os400=false case "`uname`" in CYGWIN*) cygwin=true;; Darwin*) darwi
2017-04-24 12:05:13
384
原创 关于The reference to entity "characterEncoding" must end with the ';' delimiter. org.xml.sax.SAXParseE
关于The reference to entity "characterEncoding" must end with the ';' delimiter.org.xml.sax.SAXParseException: The reference to entity "characterEncoding" must end with the ';' delimiter 错误处理jdb
2017-04-24 11:57:49
580
原创 关于tomcat编码
tomcat默认使用iso8859-1进行编码。一般我们对中文支持需要修改成utf-8。修改方式如下：打开tomcat安装目录下的conf/server.xml文件 修改前：属性详解：port：服务端口protocol：使用协议connectionTimeout：启动服务时间redirectPort：重定向端口增加 URIEncoding
2017-03-28 09:58:20
343
原创 数素数 令Pi表示第i个素数。现任给两个正整数M <= N <= 10000，请输出PM到PN的所有素数。
输入描述:输入在一行中给出M和N，其间以空格分隔。输出描述:输出从PM到PN的所有素数，每10个数字占1行，其间以空格分隔，但行末不得有多余空格。输入例子:5 27输出例子:11 13 17 19 23 29 31 37 41 4347 53 59 61 67 71 73 79 83 8997 101 ...
2017-02-07 16:44:07
8441
原创 给定一个十进制数M，以及需要转换的进制数N。 将十进制数M转化为N进制数
给定一个十进制数M，以及需要转换的进制数N。 将十进制数M转化为N进制数 输入描述: 输入为一行，M(32位整数)、N(2 ≤ N ≤** 16)，以空格隔开。输出描述: 为每个测试实例输出转换后的数，每个输出占一行。 如果N大于9，则对应的数字规则参考16进制（比如，10用A表示，等等）输入例子: 7 2输出例子: 111import java
2017-01-18 15:46:08
7501
2
原创 网易校招编程题 翻转数字
网易校招编程题翻转数字对于一个整数X，定义操作rev(X)为将X按数位翻转过来，并且去除掉前导0。例如:如果 X = 123，则rev(X) = 321;如果 X = 100，则rev(X) = 1.现在给出整数x和y,要求rev(rev(x) + rev(y))为多少？
2016-09-23 11:16:10
1821
1
原创 网易校招编程题 计算糖果
网易2017校园招聘笔试题 计算糖果 A,B,C三个人是好朋友,每个人手里都有一些糖果,我们不知道他们每个人手上具体有多少个糖果,但是我们知道以下的信息：A - B, B - C, A + B, B + C. 这四个数值.每个字母代表每个人所拥有的糖果数.现在需要通过这四个数值计算出每个人手里有多少个糖果,即A,B,C。这里保证最多只有一组整数A,B,C满足所有题设条件。
2016-09-23 10:56:33
1385
原创 Oracle 11g the account is locked问题的解决方法
Oracle 11g the account is locked问题的解决方法
2016-09-18 19:12:25
2002
原创 简单谈hashmap hashtable linkedhashmap treemap的区别
hashmap hashtable linkedhashmap treemap的区别
2016-08-30 19:48:57
894
原创 angularjs 单选按钮 默认选中
如图：代码如下： 特殊日期：<label> <input type="radio" ng-value=true ng-model="state" name="selectState">是</label><label> <input type="radio" ng-value=false ng-model=...
2016-08-22 16:56:01
14788
1
原创 冒泡法排序
import java.util.Scanner;/** *冒泡法排序： *把大的数据放在最前面，一次找出一个最大的数据，找完了再找第二个 */public class arraySortDemo { public static void main(String[] args) {// 创建输入对象 Scanner sc = new Scanner(System.in);
2015-09-11 10:57:53
457
原创 金额转换，阿拉伯数字转换成中国传统形式。 例如：101000001010 转换为 壹仟零壹拾亿零壹仟零壹拾圆整
金额转换，阿拉伯数字转换成中国传统形式。 例如：101000001010 转换为 壹仟零壹拾亿零壹仟零壹拾圆整package com.itheima;import java.util.ArrayList;/** * 第10题: 金额转换，阿拉伯数字转换成中国传统形式。 * 例如：101000001010 转换为 壹仟零壹拾亿零壹仟零
2015-08-21 17:11:58
3179
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人