我爱奔跑的浮云-CSDN博客

原创 sqoop 从 MySQL 导入数据到 hdfs 中

MYSQL 数据导入到 HDFSsqoop import --connect jdbc:mysql://192.168.66.4:3306/networkmanagement \--username sendi \--password 1234 \--table people \--columns "name,age" \--where "age>18" \--targ...

2018-06-21 19:21:42 8025 1

原创 sqoop 从mysql 导入数据到 hbase 中

MYSQL 到 HBASEbin/sqoop import --connect jdbc:mysql://192.168.66.4:3306/networkmanagement \--username sendi \--password 1234 \--table alarm_result \--hbase-table sqoop_test \--column-f...

2018-06-21 19:20:52 2079

原创 sqoop 从mysql 导入数据到 hive 详细教程

一、简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。把MySQL、Oracle等数据库中的数据导入到HDFS...

2018-06-21 19:19:45 18371 2

原创 hive 建表与 load语法

hive 建表语法内部表：create table fzname(id int,name string,age int,tel string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE;外部表：create external table fz_external_name(id int,...

2018-06-21 19:04:07 5678

介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载...

2018-05-27 15:57:57 444

原创 redis 3.0 redis-trib.rb工具的使用

官网：https://redis.io/documentation 中文官网：http://www.redis.cn/documentation.htmlredis redis-trib.rb工具的使用1、create：创建集群2、check：检查集群3、info：查看集群信息4、fix：修复集群5、reshard：在线迁移slot6、rebalance：平衡集群节点slot数量7、a

2018-04-02 23:02:37 1897

原创 redis 基础笔记

为什么需要用到redis？http://blog.csdn.net/yujin2010good/article/details/54729939特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即mas

2018-04-02 22:18:34 137

原创 redis 3.0 集群安装，包含一些遇到的坑。

## Redis 简介 Redis 集群是3.0之后才引入的，在3.0之前，使用哨兵（sentinel）来监控各个节点之间的状态。Redis 集群可谓是让很多人久等了。Redis 集群是一组能进行数据共享的Redis 实例（服务或者节点）的设施，集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集；Redis 集群通常具有高可用、可扩展性、分布式、容错等特性。了解redis的集群后，

2018-04-02 11:28:42 339

转载 JAVA回调机制(CallBack)详解

序言最近学习java，接触到了回调机制(CallBack)。初识时感觉比较混乱，而且在网上搜索到的相关的讲解，要么一言带过，要么说的比较单纯的像是给CallBack做了一个定义。当然了，我在理解了回调之后，再去看网上的各种讲解，确实没什么问题。但是，对于初学的我来说，缺了一个循序渐进的过程。此处，将我对回调机制的个人理解，按照由浅到深的顺序描述一下，如有不妥之处，望不吝赐教！开始之前，先想象一个

2017-05-19 11:06:46 802

原创 mybatis pagehelper分页插件使用

mybatis pagehelper

2017-03-16 18:44:30 16294 6

原创 java socket编程长链接处理

在进行Java socket编程的时候，涉及到两种链接方式，一种是短连接，一种是长连接。当我们在学习网络编程TCP的时候，一般都只是涉及到短连接编程，很少辉涉及到长连接，那么什么是长连接，什么是短连接呢？1.概念：短连接：指建立SOCKET连接后发送后接收完数据后马上断开连接，比如http，只是连接、请求、关闭，过程时间较短,服务器若是一段时间内没有收到请求即可关闭连接。长连接：指建立SOCKET长

2017-03-16 16:48:32 2146

原创 java短信发送接口开发

发送短信验证码几乎是现在每个网站都要使用到的一个功能，如注册的时候要发送短息验证码，修改密码的时候也要发送。但是第三方提供给我们的接口只是一个方法而已，并没有提供给我们更多的一个良好，可读性强的接口，如何设计一个阅读性强，扩展性高的接口。那么我们就需要设计两个接口：一.SmsSender 接口，对接第三方短信，可以扩展支持不同的实现，如创蓝，leancloud等（相当于dao层），这个接口只负责

2017-03-08 18:06:56 2093 1

原创 mybatis 一对多映射 column属性注意事项

昨天在做一个小项目的时候，使用了mybatis作为持久层，在进行一对多的结果集映射的时候，发生了结果集映射结果没有成功，后来在断的实验之下，终于发现的问题的所在，原来是column字段的问题，在学习mybatis的时候，我的理解是column字段对应的就是数据库中的字段，但是这是一个错误，column字段对应的应当是数据库查询结果字段，而不是数据库中的字段。

2017-03-08 09:17:25 11239 1

原创第三方登录access token过期问题

前几天参加面试的时候，被面试官问道第三方登录的问题，流程其实很简单，但是当面试官问为什么要保存access token，他过不过期有什么意义。当时答得不是很对，现在总结一下：第三方登录流程第一步：获取 code：https://graph.qq.com/oauth2.0/authorize?response_type=code //固定写法&client_id=" . $app_i

2017-02-18 12:19:25 19593 4

原创获取乱序list或数组中合适的数据

获取乱序list中合适的数据这个方法很简单，很多人都会，所以直接上代码吧！//需求：获取最接近6，但是又比6小的数据 int a = 6; int[] arr = {1,5,9,2,3,8,7}; int tem = -1; for (int i = 0; i < arr.length; i++) { if(

2016-10-27 09:50:25 489

原创阿里的 com.alibaba.fastjson的日常使用

json 在java中的使用技巧本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：什么是[json][6] json是一种轻量级的数据交换格式, 易于人阅读和编写。同时也易于机器解析和生成。格式对象： {key：value, key：value} 的键值对的结构数组：[{key：value, key：value}，{key：value, k

2016-10-26 17:10:39 3942

原创 Java String.split() 总结

Java String.split() 总结在项目当中，我们经常需要对一些特殊的字符串进行分割解析，这个时候会用到[split()][6]这个方法，下面总结一下使用这个方法需要注意的地方。正常字符串分割时： str.split(“分隔符”)特殊的字符串分割时：用“.”分隔时,,str.split(“\\.”)这样才正确的分隔开,String.split(“.”)是错误的;用“|”分隔时,,s

2016-10-13 18:59:44 424

原创 java中获取资源文件

java中获取资源文件在开发java程序的过程中，我们经常要获取到资源的路径或者输入流，在java程序中资源的存放位置也是各异的。有的存放在classpath中，有的存放在文件系统中，有的存放在web应用中。而对于不同位置的资源，java程序获取这些资源的方法各有不同。下面让我们来看看常用的获取方式：获取到Path,当前类的绝对路径；加”\”Thread.currentThread().ge

2016-04-25 23:30:41 579

原创 java Io流文件夹的拷贝

public class FileCopy {public static void main(String[] args){//源文件夹String start = "H:/shiyan/src";//目标文件夹String end = "H:/shiyan/ttt";copyDirectory(new File(start),new File(end));}

2015-12-02 10:02:00 454

原创线程的阻塞以及优化

当android程序启动是，系统会自动分配一个main 主线程，也叫UI线程，它负责分发事件给构件，包括绘制事件。我们在这里才能与Android UI工具包中的组件进行交互。1. 当在UI线程进行一个耗时操作的时候，比如从服务器读取数据，获取网络资源的时候，应重启一个新的线程，方法： new Thread(new Runable(){});2. 因为android是线

2015-11-26 22:41:18 1136

我爱奔跑的浮云_的博客