HelyD-CSDN博客

原创 Scala中的元组

Scala中的元组使一个固定数量的组合,本体可以作为一个参数传递元组可以容纳不通过类型的数据,但是它是不可变例子:学习java时候,需要方法返回两个值,数组,集合和自定义类在scala中只需使用一个元组类型即可Scala的 Tuple1 元组是有上限的, scala中最多只能有22个,若数据过大建议使用的即使集合了定义元组val t = (1, "hello", true)val ...

2018-11-27 20:16:54 2230

先定义一个数组val arr = Array(1,2,3,4,5,6)//filter一个过滤器,根据传入的条件将数据过滤出来val arr1: Array[Int] = arr.filter(x =&amp;gt; x%2 == 0)//map把数组中每一个元素都取出来的到一个全新数组val arr2: Array[Int] = arr.map(x =&amp;gt; x)//foreach数组...

2018-11-27 19:54:14 6433 1

原创 Scala入门1

好久没有更新博客了, 最近太懒, 今天开始接触Scala了, 正好把今天学的东西整理一下写出来首先:Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。那么现在开始正题:Scala里不需要自己定义数据类型, 他会自己识别定义:val a = 1var b = 2//val修饰的相当于Java中的...

2018-11-26 21:18:31 157

原创 Hadoop杂记

1.HDFS读写流程（1）写数据流程1).客户端发出请求 hdfs dfs -put /etc/profile /qf/data2).namenode查看维护的目录结构，检查/qf/data是否存在，如不存在直接报错”no such file or directory“，如存在返回给客户端同意上传文件请求，将操作写入日志文件3).客户端请求上传第一个块，询问namenode块的存储位置...

2018-11-26 19:43:34 553 2

原创 HBase 过滤器

首先先封装一个工具类HBaseUtil.javapublic class HBaseUtil { private static final String ZOOKEEPER_QUORUM = "hbase.zookeeper.quorum"; private static final String ZOOKEEPER_ADDRS = "hadoop02,hadoop03,hadoop04";...

2018-10-23 19:11:36 127

原创 Hive的操作

HQL和SQL基本相同,**Hive的数据库名和表明不区分大小写**ps:命名的时候1.不能以数字开头 2.不能使用关键字 3.不要使用特殊字符常用命令查询数据库show databases;创建一个数据库create database bd1814;创建一个数据库名为myhive,加入描述信息添加属性信息create database myhive comment ‘this ...

2018-10-11 21:49:43 232

原创 HA高可用

什么事应用程序的高可用高可用性(high availability)通常用来描述一个系统经过专门的设计,从而减少停工的时间,而保持其服务的高度可用性高可用程序的类型主从方式(冷备)两个相同的应用程序,一个对外提供服务,成为主程序,另一个平时不运行为备程序,就是一个主程序的备份,一旦主程序出现问题,备份提供恢复操作双主互备(热备)两个相同的应用程序,同时对外提供服务(两个程序相互为对方...

2018-09-25 20:57:46 13360

原创 HDFS读取流程和写流程

HDFS读取流程1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所获取的一个对象2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置,对于每一个block,NameNode返回一个含有Block的元数据信息,接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Cl...

2018-09-18 20:56:46 824

原创 Linux的数据处理---------之 cut, awk

高级文本处理命令 cutcut：一个选取命令，将一段数据经过分析，取出我们想要的数据。一般来说，选取的数据通常是针对行来进行分析的，并不是整篇数据一起分析语法 : cut -nb 文件名 cut -c 文件名 cut -df 文件名 cut命令从文件中每一行剪切字节、字符和字段并将这些字节、字符和字段输出到标准输出。如果不指定file参数，cut命令将读取标准输入。...

2018-09-13 20:07:04 549

原创 SSH免密码登录

ssh：一种通讯协议，可以实现安全的远程登录（约定）openssh:ssh安全远程登录的开源实现（软件）想要使用ssh首先要安装ssh的软件 yum list | grep ssh 搜索ssh的安装软件包 yum -y install openssh-clients.x86_64 安装ssh客户端（每台虚拟机都需要安装）ssh-keygen -t rsa -P ” -f ~/.s...

2018-09-13 19:25:09 265

原创 Linux软件的安装---二进制安装, rpm安装, yum安装以及本地yum源和局域网yum源的配置

1.二进制的安装 0）mkdir /bigdata 1）上传文件至虚拟机/bigdata目录下 2）解压至/usr/local目录下 tar -zxvf /bigdata/jdk-8u60-linux-x64.gz -C /usr/local/ 3）配置环境变量 vi /etc/profile 在文件末尾加入两行 export JAVA_HOME=/usr/local/jdk1.8...

2018-09-13 19:18:18 728

原创 Linux指令(3)

du 显示目录大小 du -sh /home 显示home目录的总大小(包含home下的文件盒目录的大小) -s 总共 -h 人类可读df 显示磁盘分区的使用情况df -hmkfs 格式化磁盘 fdisk 用于查看磁盘的使用情况挂载 mount -t 文件类型 -o 挂接方式设备挂载点例如挂载iso镜像:mount -t iso9660...

2018-09-13 19:14:24 100

原创 Linux命令(2)

不进入系统更改密码如果你忘记了密码, 嗯, 那你可真菜啊,哈哈哈一般都会设置123456,但是还是得知道怎么改密码 1.启动虚拟机,读秒的时候按E进入grub 2.按E进入编辑 3.选择kerneal那一行(一般是第二行), 按E 4.输入空格 1 然后回车 5.按b进入单用户模式 6.输入passwd root然后回车 7.输入新密码(这里输入的密码是看不见的),回车 ...

2018-09-11 21:13:28 139

原创 Linux命令(1)

/dev/cdrom 硬件信息必须将硬件挂载到某一个目录下，相当于将硬件和目录构建了一个关联关系pwd:打印当前工作目录 cd: 切换工作目录 cd - 返回上一次所在的目录 cd 返回到当前用户的家目录 cd ~ 返回到当前用户的家目录 cd . 进入到当前目录 cd .. 进入到上一级目录tab 补全功能：自动补全命令或者目录或者文件ctrl + l 清屏 ...

2018-09-11 17:44:29 100

原创 JDBC的预编译语句

静态SQL直接将SQL语句完全写完,即不方便也不便捷, 所以提供预编译语言对象 Statement接口用于执行静态SQL 对数据库操作也提供一种预编译语句 PreparedStatement表示预编译的 SQL 语句的对象。在写SQL语句式,所有传递参数的位置都使用 ? 作为占位符存在通过当前接口下setXXX(位置符号,实际传入的值) 如何看?是哪个位置 –> ? 是从...

2018-09-08 10:09:33 1138

原创 JDBC和DAO

JDBCJDBC是一种用于执行SQL语句的java API,可以为多种关系型数据库提供统一的访问方式它由一组java语言编程的类和接口注册,JDBC提供了一种标准,据此可以构建更高级的工具和接口,使数据库开发人员能够更加便捷的开发数据库应用程序ps:图解释,因为JDBC本身就是java连接数据库的一个标准,进行数据库的连接,因为市面上有很多不同的数据库厂商 ,...

2018-09-06 19:38:14 2900 1

原创 SQL语句补充

昨天写了sql语句的一些基本操作,今天来点升级版的查询方式还有分页查询和多表查询等首先分页查询: 有假分页(逻辑分页/内存分页)和真分页(物理分页/数据库分页) 假分页/逻辑分页/内存分页一次性查询出所有的数据,存放到内存中(集合),每次翻页都是从内存中取出的指定的条数特点:翻页很快,如果数据量很大,可能会造成内存溢出真分页/物理分页/数据库分页每次翻页都是从数...

2018-09-06 19:02:15 196

原创关于SQL语句的一些基本知识和用法

今天学习了数据库SQL语句的一些基本操作,从创建数据库开始, 创建一个数据库名字叫bd1;create database db1;创建一个数据库并指定编码gbk:create database db1 character set gbk;查询数据库:show databases;查看定义数据库的信息:show create database db1;删除数据...

2018-09-05 21:03:51 301

原创 MySQL杂记

MySQL储存一个整数 Java中的数据类型 INT/INTEGER int/integer BIGINT long/Long MySQL以...

2018-09-04 18:24:29 128

原创如何安装MySQl和卸载MySQL

如何卸载MySQL://如果电脑没有安装过MySQL,那么直接忽略这一步如果安装过MySQL,那么一定卸载干净,MySQL这个东西比较恶心,想要卸载干净比较麻烦.需要以下:1.控制面板 –&gt; 程序和功能 –&gt; 卸载MySQL(只要带MySQL的全都卸载) 2.在我的电脑中 –&gt; C:盘下有一个隐藏文件(ProgramData) –&gt;文件夹中MySql文件夹删除...

2018-09-04 18:01:31 9732 1

原创数据库概述

数据库概述数据库(DataBase:DB)数据库是按照数据数据结构,存储,组织和管理数据的仓库 ps:存储和管理的仓库相当于就在磁盘上操作文件数据库管理系统: 是专门用于管理数据库,是一个计算机软件,提供对数据库的建立,维护,查询和统计等操作ps:我们一般说的数据库都是数据库服务器:DBMS,只的是数据库的服务端什么是非关系型数据库? 非关系型数据库，是指采用了没有特定关...

2018-09-04 17:46:37 125

原创 Annotation(注解)

Java5开始 Java支持对元数据的支持, 就是是Annotation(注解) 元数据: metadata描述数据的数据注解:标签 Annotation 所有的Annotation都是java.Lang.annotation.Annotation接口的子接口所有Annotation是一种特殊的接口既可以放在方法上,放在变量上,放在类或接口上使用注解需要注意:必须有三个参与才有...

2018-09-03 20:30:22 299

原创 Lambda表达式

Lambda表达式从今天开始写博客今天学习了Java的基础增强部分,Lambda表达式,注解,**Lambda表达式: Lambda表达式能干什么** 将接口的实现方式重匿名内部类的形式简化为了一个函数式表达式方式简化接口实现. 语法: (形参参数) -> 表达式或{方法体};void show();() -> {System.out.prin...

2018-09-03 20:14:52 103

HelyD的博客

原创 Java读取http api接口数据存入Mysql