Wonf-CSDN博客

原创 Spark 读取HDFS的Zip文件

Spark 读取HDFS的Zip文件import java.util.zip.ZipInputStream;import java.io.BufferedReader;import java.io.InputStreamReader; val path = "xxxx.zip"def loadZip(path:String)={ val minPartitions =10 sc.binaryFiles(path, minPartitions) .flatMap {

2021-07-29 14:45:01 382

翻译 ROCKETMQ 搭建学习i笔记

一、部署准备的组件64bit OS, Linux/Unix/Mac is recommended;64bit JDK 1.8+;Maven 3.2.xGit构建 $ git clone -b develop https://github.com/apache/incubator-rocketmq.git$ cd incubator-rocketmq$ mvn -Prelease-a

2017-11-16 00:24:41 1403 1

原创 Oozie自学（二）-运行job、function、workflow、coordinnate

使用自带的 oozie-examples.tar.gz运行oozie.解压 oozie-examples.tar.gz 到本地系统中，将examples目录文件拷贝到hdfs系统中$ hadoop hdfs -put examples examples 注意:如果examples已经存在hdfs系统，必须将之前的进行删除,否则会拷贝失败。1. 添加

2017-04-11 00:36:12 2807

原创 Oozie的简介，及环境搭建

1.Oozie Oozie v3 is a server based Bundle Engine that provides a higher-level oozie abstraction that will batch a set of coordinator applications. The user will be able to start/stop/suspend/resume

2017-03-31 01:13:52 644

转载 Java内的国际化及数字格式化

import org.junit.jupiter.api.Test;import java.text.NumberFormat;import java.util.Locale;/** * Created by huangxgc on 2017/3/23. */public class Test { public static void main(String[] args) {

2017-03-29 01:46:33 1075

原创 Hive数据的导入和导出

1.Load files into tables 格式：load data [local] inpath ’ filePath‘ [overwrite] into table tablename [partition] (partcol1=val1,partcol2 =val2)filePath原始文件存储的位置本地localhdfs 对表的数据操作

2017-03-28 01:40:31 455

原创 Hive自带Function使用及UDF编程

Hive的自定义function

2017-03-28 01:31:02 2646

原创 hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建

采用三台虚拟机，分别搭建hadoop的单节点、伪分布式、分布式及HDFS的高可用性的日志管理

2017-03-19 12:32:07 1441

原创 jQuery简单实现购物车添加删除操作

注：示例仅是简单实现，只写body部分内容，未对jQuery文件进行导入。//<body> <table border="1" cellpadding="0" cellspacing="0"> <tr> <td><label><input type='checkbox'/>全选</label></td> <td>商品信息<

2017-03-12 22:53:28 10028

原创 JQuery 的简单介绍

JQuery的优势强大的选择器出色的DOM封装可靠的事件处理机制出色的浏览器兼容性使用隐式迭代简化编程丰富的插件支持体积小，压缩后只有100KB左右在页面中引入jQuery首先需在页面中引入jQuery. 引入方法： <script src="js文件路名" type="text/javascript"></script> jQuery语法结构$(selector).

2017-03-12 22:51:35 1467

原创 HTML的表单

表单的典型应用- 注册用户- 收集信息- 反馈信息- 为网站提供搜索工具表单包含的控件 type属性值，默认text text、password、select、radio、file、checkbox、submit、reset、textarea 、hidden、button checked属性：仅与或配合使用，选中值为checked。表单页面的基本结构 <form act

2017-03-05 21:37:40 368

原创 HTML基本标签

什么是HTMLHyper Text Markup Langeage(超文本标记语言) W3C标准包括结构化标准怨言（XHTML、XML）表现标准语言（CSS）行为标准（DOM、ECMAcript）HTMl网页基本结构 “` 我的第一个网页程序 ““工具 Edit Plus 1. 标签 charset= 消除网页乱码2. 页面背景色或背景图像:行内元素： e

2017-03-05 21:27:24 279

原创 Linux系统管理命令

系统信息。$ uname -r 内核版本。系统和内核。$ cat /proc/cpuinfo 查看主机主机信息。$ cat /proc/meminfo 查看内存信息。 $ date -查看系统日期。$ cal 年份 -显示对应日期日历表。 # date -s 2017-02-26 设置日期为2017年02月26日。必须为root用户。$ df -lh 查看已挂载磁盘信息。

2017-02-27 00:35:11 191

原创 Java中Writer的常用类

Writer 抽象类Wirter的常用方法 write(String str)write(String str,int off,int len)void close()void flush() FileWirte 继承 OutputWriter类BufferedWriter 类writer();flush();newLine(); //写入一个换行符。 B

2017-02-24 01:10:05 5400

原创 Java文件流

File 类什么是文件？相关记录或放在一起的数据的集合文件流主要的一些方法: // 创建文件实例，建立磁盘上的文件和对象的影像。 File file = new File("pathname") // 文件属性 boolean b = file.exists() //判断文件是否存在。 file.createNewFile()

2017-02-23 00:34:31 784

原创 Java的常用类

枚举枚举指由一组固定的常量组成的类型。示例： //性别枚举。male,female 相当于Gender类型的一个对象。public enum Gdenders{ Male,Female}用枚举可以使用枚举；包装类包装类把基本类型数据转换为对象包装类有何作用提供了一系列实用的方法集合不允许存放基本数据类型数据，存放数字时，要用包装类型。包装类的构造方法

2017-02-22 00:59:40 288

原创 Java中的异常

异常1.1什么是异常异常是指在程序的运行过程中所发生的不正常的事件，它会中断正在运行的程序。 1.2关键字： 1 try(尝试执行的代码块); 2 catch（捕获异常）; 3 finally;（是否异常都执行代码） System.exit(1) //退出java虚拟机，当catch中出现此代码时,不执行finally。（唯一不执

2017-02-21 01:03:41 184

原创 Java中的集合和泛型

集合框架 List、Set是Collection接口的子接口。 - Collection 接口存储一组不唯一，无序的对象； - List 接口存储一组不唯一、有序（插入顺序）的对象； - set 接口存储一组唯一，无序的对象。 Map 不继承COllection,接口存储一组键值对象，提供到key到value的映射。 List接口ArrayList 和 LikedLiet是List

2017-02-18 09:03:01 720

原创 Java中的运算符

标识符和关键字系统定义的为关键字; 自定义的类名，变量名，常量名的为标识符；1.变量和常量字母、数字、下划线、$、不能为关键字常量：final int NUM=10;常量名通常为大写，且只能被赋值一次pi=3.14int a=3.14数据类型变量名=变量值;2.数据类型2.1基本数据类型 byte 1字节8位 -128~+127 int 4字节

2017-02-18 08:57:40 304

原创 Java中的标识符和关键字

标识符和关键字系统定义的为关键字;自定义的类名，变量名，常量名的为标识符；1.变量和常量字母、数字、下划线、$、不能为关键字常量：final int NUM=10;常量名通常为大写，且只能被赋值一次pi=3.14int a=3.14数据类型变量名=变量值;2.数据类型2.1基本数据类型byte 1字节8位 -128~+127

2017-02-17 21:50:02 760

原创集合和泛型

集合框架 List、Set是Collection接口的子接口。 - Collection 接口存储一组不唯一，无序的对象； - List 接口存储一组不唯一、有序（插入顺序）的对象； - set 接口存储一组唯一，无序的对象。 Map 不继承COllection,接口存储一组键值对象，提供到key到value的映射。 List接口ArrayList 和 LikedLiet是List

2017-02-17 21:39:29 709

转载代码使得分别出现StackOverflowError和OutOfMemoryError

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-02-16 20:16:47 248

原创 MySQL的约束和索引

一、约束:1.非空约束 not null;2.唯一约束 unique（）; ukunique约束的字段，要求必须是唯一的，但null除外。3.主键约束 primary key (); pk主键约束=not null+unique4.外键约束：foreign key() references (参考)，fkconstraint fk_dept_

2017-02-16 20:10:59 1163

原创 MySQ的数据查询语言（DQL）

1.DQl（数据查询语言） selectemp 员工信息表，emp_id 员工编号，emp_name 员工姓名，emp_sal 员工薪资，emp_bir 员工生日，1.1 查询表中所有数据列结果，采用*号符号select*from emp; //查询所有的列1.1.1 查询指定的列，可指定字段属于哪个表。select emp.emp_id ,emp_name

2017-02-16 20:06:16 408

Wonf的博客