zhangbinu-CSDN博客

原创 JDK环境变量配置

JAVA_HOMEC:\Program Files\Java\jdk1.8.0_172CLASSPATH.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jarPATH%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

2020-03-19 09:42:00 186

原创惠普Envy dv4笔记本电脑U盘安装win10系统

关于惠普HP Envy dv4惠普HP Envy dv4笔记本电脑的BIOS设置界面：设置从U盘启动开机按 “F9” 直接选择启动方式开始 ”F10“ 进入BIOS设置界面开机按 “F11” 进入恢复模式注意：以上操作按键只需要在开机后按一次即可，持续连按或按住不放反而会发出“嘀嘀…:响声，电脑无法启动进入PE安装原版Windows10系统在PE桌面打开"一键智能装机"，默认...

2020-03-18 09:45:13 1515

原创 HBase创建表的Java代码

HBase1.x和2.x版本的建表代码如下： /** * @Description 创建HBase表 * @Params [] * @Return * @Author zhangbinu */ @PostConstruct public synchronized boolean createHBaseTable() throws ...

2020-03-16 10:03:06 1489

原创 Hive远程模式安装时server-client端配置

以下是在查阅资料时找到的讲解得比较好的博客截图，仅作备忘录使用：

2020-01-13 17:01:35 198

原创 sed命令使用遇到的一些问题

##问题1：执行： sed -i “s/77/$JAVA_HOME:8781/” zookeeper.properties 报错！分析：替换时变量不能有敏感字符下划线:_，变量也不能为：/7/8/9这种路径格式，因为有敏感字符:/解决方案：改用替换整行的命令：sed -i “/77/c $JAVA_HOME:8781/abc” zookeeper.properties##问题2：执...

2020-01-13 16:22:35 1086

原创 Centos7系统SSH免密钥登录配置及权限记录

修改主机名（永久）: hostnamectl set-hostname hadoop01修改DNS: /etc/hosts重启: reboot创建ssh秘钥并相互拷贝公钥p.s. 有的机器不支持：ssh-copy-id -i id_rsa.pub user@user@user@host提示找不到ssh-copy-id 命令，所以使用下面的方法（稳如狗）。 ssh-keyge...

2019-12-28 13:40:44 778

原创 CDH集群启动后使用Hive报错解决办法

CDH集群启动后使用Hive报错：解决方案：查看状态二个namenode节点都为standby状态：$./hdfs haadmin -getServiceState namenode1standby$./hdfs haadmin -getServiceState namenode2standby在CM界面手动切换即可：...

2019-11-06 19:23:45 1212 1

原创 HBase查询-Scan类实用设置

Scan类常用方法说明1. 指定需要的family或column ，如果没有调用任何addFamily或Column，会返回所有的columnsscan.addFamily();scan.addColumn();2. 指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本scan.setMax...

2019-04-29 19:33:11 1358

原创 HTML图片上传效果预览及对象保存

在线JQuery引用：HTML源码：<html><head><style> #box{ width: 300px; height: 300px; border: 2px solid #858585; } #imgshow{ width: 100%; height: 10...

2019-04-29 09:39:34 966

原创 Hive中的默认分隔符及其表示

默认记录和字段分隔符\n 每行一条记录^A 分隔列（八进制 \001）^B 分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔（八进制 \002）^C 分隔MAP中键值对的“键”和“值”（八进制 \003）...

2018-08-28 19:42:49 10646

原创 Sqoop分批导入Mysql上亿条数据的表到HDFS

因数据量过大，运行sqoop跑不动或者卡内存，于是通过写脚本分批导入到HDFS，然后再加载到Hive表中。 shell脚本如下：#!/bin/bashsource /etc/profilehost=127.0.0.1for((i=1; i<=100; i++))do start=$(((${i} - 1) * 100000 + 1)) end=$(...

2018-08-28 19:37:38 5013 3

原创 shell中比较时间大小的方法

在shell脚本中难免要通过年月日来进行条件判断一般是通过将其转为时间戳来进行比较#!/bin/bashdate1="180609"date2="180610"day=$(date "+%Y-%m-%d" -d "$date1 0 day")echo $dayt1=`date -d "$date1" +%s`t2=`date -d "$date2" +%s`e

2018-08-27 09:07:56 26808

原创 shell中使用EOF赋值变量

注意这个括号 cat后面使用 &lt;#!/bin/bashsql=$(cat&lt;&lt;EOF //1. 2. 3 helloworldEOF //4) //5echo $sql

2018-08-27 09:06:00 12655 1

原创 Sqoop从HDFS导出Hive表到Mysql的shell脚本

因统计需求，要指将Spark SQL计算好的结果，从Hive导出到Mysql数据库，于是写了个批量导的脚本。运行参数：开始时间结束时间注意点： 1. 在shell中，sqoop语句的每一行末尾不能有多余的空格，否则执行时报错！ 2. shell中的if条件判断，只能是数字和才能比较大小，需要将时间转成时间戳！代码如下：#!/bin/bashsource /etc/pr...

2018-08-24 16:55:34 1295 1

原创 Sqoop从MySQL导入数据到Hive的Shell脚本

因工作需求，要将mysql的数据导入到Hive中通过Spark SQL进行分析，经过一翻周折，完成了这个自动化脚本，算是实现需求的第一步，也算是在Shell编程这条路上算是迈出了第一步。mysql中每天一张表，hive中一个表，按时间分区，如dt=180820.以下是导数据的Shell脚本：#!/bin/bashsource /etc/profilehost=127.0.0.1...

2018-08-20 17:18:34 2806 2

原创 Spring AOP的一些概念理解

以下是对spring aop当中的一些概念的理解备忘切面、通知、连接点、切入点：切入点表达式：

2018-05-05 13:58:57 468 1

原创 MySQL解压版安装步骤

MySQL解压版安装步骤：推荐图形化工具：HeidiSQL

2018-04-24 23:46:53 218

原创 REST解释

REST： REpresentational State Transfer = 直接翻译：表现层状态转移。这个中文直译经常出现在很多博客中。尼玛谁听得懂“表现层状态转移”？这是人话吗？首先，之所以晦涩是因为前面主语被去掉了，全称是 Resource Representational State Transfer：通俗来讲就是：资源在网络中以某种表现形式进行状态转移。分解开来： Resource：

2017-12-20 22:49:08 435

原创 elasticsearch安装与使用

【在多台机器上执行下面的命令】es启动时需要使用非root用户，所有创建一个bigdata用户：useradd bigdata为hadoop用户

2017-12-06 00:42:02 662

原创 jdbc事务封装之DBCPUtil和ThreadLocal

ThreadLocal事务管理

2017-12-05 22:43:47 592

原创 mysql数据清洗备忘

表必须是单主键的，（如果是联合主键，先删联合主键，加自增主键，完成加密后，再删除自增主键，加回联合主键）

2017-12-03 16:25:32 647

原创 elasticsearch入门学习备忘

elasticsearch学习笔记

2017-11-23 00:46:56 195

原创 java将UTC时间转换成本地时间

使用java将UTC格式的时间字符串转换成本地时间易读的时间字符串

2017-11-09 23:49:00 6599

原创堆排序的Java实现

堆排序原理需要先明白，这里直接上代码

2017-08-31 23:24:33 298

原创用Java实现二叉树的三种遍历方式

用java实现二叉树的三种遍历方式，包括递归与非递归。

2017-08-29 16:42:45 3981

原创用C++实现二叉树的三种遍历方式

C++实现二叉树的三种遍历方式，包括递归方式与非递归两种方式

2017-08-29 16:35:22 1779

原创 mongodb学习笔记

mongodb的连接、插入的数据、查找

2017-08-29 09:57:22 279

原创快速排序的Java和Scala实现

分别用java代码和scala代码实现快速排序

2017-08-28 18:16:45 471

原创 Ant配置文件build.xml示例

<?xml version="1.0" encoding="UTF-8" ?><project name="HelloWorld" default="run" basedir="."> <property name="src" value="src" /> <property name="dest" value="classes" /> <property name="he

2017-08-18 14:35:39 329

原创 JDK环境变量配置及常用Java命令

**JDK环境变量配置**JAVA_HOME: C:\Program Files\Java\jdk1.8.0_11PATH: %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;CLASSPATH: .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar**JDK检测**javajavacjav

2017-08-18 14:32:18 258

原创 IntelliJ IDEA实用快捷键

IntelliJ IDEA常用快捷键

2017-08-09 15:34:05 224

pcre-8.43.tar.gz [nginx依赖包]

Linux上安装nginx所需要的依赖包，可下载后进行离线安装，亲测可用！

2019-03-05

Java反编译工具jd-gui

超级实用的java反编译工具，开发必备！ jar包或.class文件直接拖入就能查看到源代码。

2016-10-08

windows7/8/8.1以及windows xp用户不用升级windows10即可拥有比win10更好用的虚拟桌面效果，此软件小巧、功能强大、绿色免安装、解压即可用！ ps:软件设置中可设置言为中文,自定义快捷键,可把过快捷方式添加到启动项来实现开机启动，win8以上用户添加开机启动方法：将快捷方式复制到C:\ProgramData\Microsoft\Windows\Start Menu\Programs\StartUp 即可

2015-08-22