- 博客(76)
- 收藏
- 关注
RSS订阅原创 上传代码工具 GIT 知识点总结
一.git的简介: ----> Linux同一个开发 —>Linus开发1.分布式的控制器二. 版本作用 协同修改多人并行不悖的修改服务器端的同一个文件。 数据备份不仅保存目录和文件的当前状态，还能够保存每一个提交过的历史状态。 版本管理在保存每一个版本的文件信息的时候要做到不保存重复数据，以节约存储空间，提高运行效率。这方面 SVN 采用的是增量式管理的方式，...
2018-10-12 11:01:35
524
原创 Flink DataStream API编程
DataStream APIFlink 的DataStream程序四实现数据流转换的常规程序(例如L过滤, 更新状态,定义窗口,聚合).最初从各种源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以例如将数据写入文件或标准输出（例如命令行终端）。Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行可以在本地JVM中执行，也可以在许多计算机的集群上执行。...
2018-08-06 18:26:14
2167
1
原创 Flink 应用篇
Apache Flink是一个用于对无界和有界数据流进行有状态计算的框架。Flink在不同的抽象级别提供多个API，并为常见用例提供专用库。流媒体应用程序的构建块 可以由流处理框架构建和执行应用程序类型由框架控制流,状态和时间的程度来定义.流 流是流处理的基本方面.Flink可以处理任何类型的流有界和无界流:流可以有界或者无界,及固定大小写的数据集,Flink具有处理无界流的复...
2018-07-31 15:26:06
3053
原创 解决问题的心得(一)
最近遇到好多问题,解决起来不能得心应手.多亏别人帮助,所以我现在想写一篇总结心得问题一:java.lang.NullPointerException at com.urundp.corona.metadata.quality.schedule.MeatdataTask.getMeatdata(MeatdataTask.java:40) at com.urundp.coron...
2018-07-27 15:54:19
1468
原创 Linux命令
Linux命令 du -sh * : 命令也可以列出当前文件以及文件夹的大小 df -h : 查看磁盘符用的大小 fdisk -l : 查看分配空间和未分配的
2018-07-11 12:09:45
191
原创 docker挂载文件
在docker下安装了Oracle后,要进入Oracle的命令界面需要先前执行下面这条命令:docker exec -it oracle bash然后进入Oracle:sqlplus system/oracle得到的画面是: 而后装了Oracle后把dmp文件传入到Oracle数据库; 这时需要注意,需要执行挂在文件命令 Docker容器启动的时候，如果要挂载宿主机的一个...
2018-07-05 14:32:37
10958
原创 JavaSE基础知识点
javaSE知识点汇总写代码：1，明确需求。我要做什么？2，分析思路。我要怎么做？1,2,3。3，确定步骤。每一个思路部分用到哪些语句，方法，和对象。4，代码实现。用具体的java语言代码把思路体现出来。学习新技术的四点：1，该技术是什么？2，该技术有什么特点(使用注意)：3，该技术怎么使用。demo4，该技术什么时候用？test。Java的三种技术架构...
2018-07-03 18:09:56
451
原创 Python的三级菜单
三级菜单: 1. 可以一层一层的进入到所有层 2. 可以在每层返回上一层 3. 可以在任意层退出, 主菜单menu = { '北京':{ '朝阳':{}, '昌平':{}, '海淀':{}, }, '上海':{ '徐汇':{}, '闵行':{}, '浦东':{}, ...
2018-06-12 22:50:14
395
原创 Oozie原理
前言: 在工作中,可能需要好几个Hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。 我们不可能就盯着程序，等它运行完再去运行下一个程序，所以，一般的做法就是通过shell来做，但是如果涉及到的工作流很复杂（比方说有1,2,3,4四个作业，1的输出作为2 3 4的输入，然后2 3的结果运算之后再和1的结果进...
2018-05-07 16:52:57
1503
转载 Hive的优化
一. 整体架构的优化 hive计算引擎不仅仅支持MapReduce,并且还支持Tez, Spark等.根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点: 1.根据不同业务需求进行日期分区,并执行动态分区. 相关参数设置: 0.14中默认hive.exec.dynamic.partition=true2.为了减少磁盘存储空间以及I/O次数.对数据进行压缩 相关参...
2018-05-07 14:24:53
206
原创 Map接口与子类
Map接口操作的是一对对象,即二元偶对象,Map接口中的每个元素都使用”key–value”的形式存储在集合中.SortedMap接口是排序接口,只要是实现了此接口的子类,都属于排序的子类.TreeMap就是此接口的一个子类Map接口常用的子类: HashMap:无序存放,新的操作类,key不允许重复Hahtable:无序存放,旧的操作类,key不允许重复TreeMap:可以排序...
2018-04-26 18:59:10
322
原创 最近面试经历的一些面试题
集合里面的一些安全线程和不安全线程? 安全的: Vector HashTable StringBuffer 非线程安全: ArrayList ： LinkedList： HashMap： HashSet： TreeMap： TreeSet： StringBulider：mybaits与hibernate的区别 hibernate:是一个标准的ORM框架（对象关系映射...
2018-04-25 23:30:11
1015
转载 Java中的多态
什么是多态? 1.面向对象的三大特性：封装、继承、多态。从一定角度来看，封装和继承几乎都是为多态而准备的。这是我们最后一个概念，也是最重要的知识点。 2.多态的定义：指允许不同类的对象对同一消息做出响应。即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用） 3.实现多态的技术称为：动态绑定（dynamic binding），是指在执行期间判断所引用对象的实际类型...
2018-04-20 00:50:54
1000
原创 Java中的一些概念
多态 指允许不同类的对象对同一消息做出反应;即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用）序列化 将对象的信息可以转为存储或传输的形式过程;在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。...
2018-04-20 00:45:13
169
原创 大数据面试题
Hadoop 客户端向HDFS写数据的流程 - 客户端和name node通信，name node检查目标文件是否已存在，父目录是否存在,检查通过以后name node通知客户端可以写入客户端向name node请求上传文件的第一个块(block1),询问name node应该把block1上传到哪些data node主机上。客户端每传一个block都要向name node请求nam...
2018-04-07 16:51:11
351
原创 大数据各框架的原理与知识点
以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下.Hadoop篇数据仓库 数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合.是单个数据存储,处于分析性报告和决策支持的而创建.HDFS原理 客户端将数据上传到DateNode,然后通过硬盘(数据节点)的水平复制功能,达到冗余度的要求.而主节点N...
2018-04-03 00:12:29
3600
2
转载 java.io.Serializable浅析
Java API中java.io.Serializable接口源码： 1 public interface Serializable { 2 } 类通过实现java.io.Serializable接口可以启用其序列化功能。未实现次接口的类无法使其任何状态序列化或反序列化。可序列化类的所有子类型本身都是可序列化的。序列化接口没有方法或字段，仅用于标识可序列化的语义。 Java...
2018-03-23 10:14:51
1030
2
转载 TCP协议详解
TCP协议 1.TCP通过以下方式提供可靠性：应用程序分割为TCP认为最合适发送的数据块，由TCP传递给IP的信息单位叫做报文段当TCP发出一个报文段后，它启动一个定时器，等待目的端确认收到这个报文段，由TCP传递给IP的信息单位叫做报文段当TCP收到发自TCP连接另一端的数据，它将发送一个确认这个确认不是立即发送，通常延迟几分之一秒。TCP将保持它首部和数据的校验和。这是一个端和端...
2018-03-22 17:36:40
135
原创 ajax 原理
什么是Ajax? AJAX 英文是”Asynchronous JavaScript And XML”,它是一种创建交互网页应用的开发技术. 通过在后台与服务器进行频繁而少量数据的交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，更新网页的某个部分。对于不使用AJAX的传统网页，如果需要更新内容，必须重载整个网页。为什么需要Ajax? Ajx不是一种新的编程...
2018-03-21 15:19:02
246
原创 JSON解谈
JSON现在广泛用于前后台数据交互，是现在最流行的交互数据格式。数据格式是一种在不同平台间传递的文本格式。JSON的全称Java Script Object Notation（JavaScript对象表示法），表示法的意思，用于表示数字或的单词等数据的字符系统。JSON的分类1.简单的JSON对象{ “name”:"Curry", “age”：20}对行啊...
2018-03-19 15:02:05
165
原创 JVM浅谈
JVM的简介 JVM的虚拟机:一种能够运行Java bytecode的虚拟机,以堆栈结构机器来进运行Java虚拟机有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM屏蔽了与具体操作系统平台相关的信息,使得Java程序只需生成Java虚拟机上运行的目标代码(字节码),就可以在多种平台上不加修改地运行.通过对中央处理器(CPU)所执行的软件实现,实现能执行编译过的Java程...
2018-03-13 11:41:15
175
原创 Java的多线程
Java的多线程 用多线程的只有一个目的,那就是更好的利用CPU资源. Java给多线程编程提供了内置的支持.一条线程值的是进程中的一个单一顺序的控制流,一个进程可以并发多个线程,每条线程执行不同的 任务. 多线程是多任务的一种特别的形式,但多线程使用了更小的资源开销多线程:指的是这个程序(一个进程)运行时产生不止一个线程并行:多个CPU实例或者多套机器同时执行一段处理逻辑,是真正的...
2018-03-12 13:44:03
129
原创 大数据面试题
1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？ 为了节省系统在多线程并发情况下不断的创建新和销毁线程所带来的性能浪费，就需要引入线程池 首先写个简单的线程池接口继承Runable, 客户端可以通过execute(Job)方法将Job提交入线程池来执行，客户端完全不用等待Job的执行完成。除了execute(Job)方法以外，...
2018-03-12 00:36:12
412
转载 Spring SpringMvc Mybatis框架详解
SpringMVC对springmvc的理解: 1.它基于组件技术的.全部的应用对象,无论控制器和视图,还是业务对象之类的都是java组件,并且和spring提供的其他基础结构密集成. 2.不依赖Servlet API(目标虽是如此,但是在实现的时候确实是依赖于Servlet的) 3.可以任意使用各种视图技术 4.支持各种请求资源的映射策略. 5.易于扩展SpringMVC的工作...
2018-03-09 11:19:12
8591
原创 Flink的安装及案例
Flink的安装介绍 Flink有如下目录 进入到conf 进入conf配置文件目录下,主要配置文件维flinkp-conf.yaml和slaves配置flink-conf.yaml解析如下: - jobmanager.rpc.address: localhost1 –jobManager 的IP地址 - jobmanager.rpc.port: 6123 –jobM...
2018-03-08 17:27:29
4633
原创 Java的面试题
1.结合项目谈谈你对MVC的理解 MVC是model-view-control的简称.也就是模型-视图-控制器.mvc是一种设计模式,它强制性的吧应用程序的输入,处理,输出分开.MVC中模型.视图,控制器分别承担正不同的任务. 视图:视图是用户看到并与之交互的界面.视图向用户显示相关的数据,并接受用户的输出.视图不进行任何业务逻辑处理 模型:表示业务数据和业务处理,相当JavaBean.一个...
2018-03-08 11:42:03
297
原创 BootStramp的浅谈
BootStrap简介——-维基百科 BootStrap是一组用于网站和网络应用程序开发的开源前端的框架,包括HTML,CSS及JavaScript的框架,提供字体排印,窗体,按钮,导航及其他各种组件及JavaScipt扩展,旨在是动态网页和web应用的开发更加容易. Bootstrap原名Twitter Blueprint，由Twitter的Mark Otto和Jacob Thornton编...
2018-03-07 11:38:52
1090
转载 Java与模式之单例模式
《JAVA与模式》之单例模式 在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 作为对象的创建模式,单例模式确保只有一个类只有一个实例,而且自行实例化并向整个系统提供这个实例.这个类称为单例类单例模式的结构 单例模式的特点:单例模式只能有一个实例单例类必须自己创建自己的唯一实例单例类必须给所有其他对象提供这一实例饿汉式单例public class...
2018-03-06 17:31:15
112
原创 Oracle数据库存储和结构简介
我们知道数据库是存储数据的容器,它的主要功能是保存,这里,我们队数据库存放数据的基础知识进行介绍.首先,Oracle数据的存储结构可以分为逻辑存储结构和物理存储结构,对于这两种存储结构,Oracle是分别进行管理逻辑存储结构:Oracle是内部的组织和管理数据的方式物理存储结构:Oracle外部(操作系统)组织和管理数据的方式1.逻辑存储结构 Oracle在逻辑上将保存的数...
2018-03-06 14:29:15
765
原创 Oracle简介
Oracle简介 维基百科 Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。到目前仍在数据库市场上占有主要份额。Oracle数据特点 完整的数据管理功能:数据的大量性数据保存的持久性数据的共享性数据的可靠性完备关系的产品信息准则一关系型DBMS的所有信息都应在逻辑上用一种方法,即表中的值显示地表示...
2018-03-06 11:13:47
49688
2
转载 SQL的经典面试题
SQL的分类 DDL一数据定义语言(create, alter,drop,declare): DML一数据操作语言(select,delete,update,insert)一些基本的语句介绍 1.说明:创建数据库 create database database-name2.删除数据库 drop database dbname3.备份sql server 创建备份数据的de...
2018-03-05 15:38:14
321
原创 爬取携程页面酒店信息并且导入到HDFS
进入获取酒店的页面 获取URL: String url= “http://hotels.ctrip.com/domestic/showhotellist.aspx?utm_medium=&utm_campaign=&utm_source=&isctrip=&allianceid=13963&sid=457771&ouid=000401app-&a...
2018-02-28 21:51:46
1632
1
原创 Spark的深入浅出
Spark的简介 维基百科: Apache Spark是一个开源的集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发.相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析运算.Spark在内存内运算速度能做到比Hadoop MapReduce的运算速度快100倍,即便是运行程序于硬盘时，Spark也...
2018-02-27 23:16:38
3506
原创 Hive
Apache Hive简介: 维基百科介绍: Apache Hive是一个建立在Hadoop架构之上的数据仓库.它能够提供数据的精炼,查询和分析,Apache Hive起初由Facebook开发，目前也有其他公司使用和开发Apache Hive，例如Netflix等。亚马逊公司也开发了一个定制版本的Apache Hive，亚马逊网络服务包中的Amazon Elastic MapReduce包含...
2018-02-27 17:19:00
212
原创 HBase
HBase的简介 HBase原型是Google的BigTable论文,从基因上讲,HBase已经是Hadoop生态系统化不可或缺的一部分 维基百科简介:HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行在HDFS文件系统之上,为 Hadoop 提供类似于BigTab...
2018-02-27 15:16:27
280
原创 新代大数据计算框架Apache Flink
大数据计算框架的发展 最近几年,出现了很多热门的开源社区,其中注明的Hadoop Storm,以及很热门的Spark, 它们有着各自专注的应用场景.Spar掀开了内存计算的先河,也以内为基础,赢得了内存计算的飞速发展.Spark的火热或多或少的掩盖了其他分布式计算的系统的身影.就像Flink.在这里把计算引擎分为几代.首先第一代无疑是Hadoop承载的MapReduce,它将计算分为两个阶段...
2018-02-17 15:12:23
501
原创 MySQL
1.MySQL的介绍1.1数据库的定义: 数据(Data): 事实或观察的结果，对客观事物的逻辑归纳，是用于表示客观事物的未加工的原始素材。在计算机系统中，数据以二进制的信息单元来表示。（0， 1） 数据库(Database): DB, 是对大量信息进行管理的搞笑解决方案,按照数据结构拿来组织,储存和管理数据的仓库. 1.2数据库的分类: 1)关系型数据库 2)非关系型数据库...
2018-02-09 10:31:16
187
原创 mybatis
一. MyBatis的概述 ##*什么是JDBC? JDBC 代表 Java Database Connectivity ，它是提供了一组 Java API 来访问关系数据库的 Java 程序。这些 Java APIs 可以使 Java 应用程序执行 SQL 语句，能够与任何符合 SQL 规范的数据库进行交互。 JDBC 提供了一个灵活的框架来编写操作数据库的独立的应用程序，该程序能够运行...
2018-02-08 10:40:29
442
转载 Java与模式之原型模式
原型模式属于对象的创建模式.通过给出一个原型对象来指定锁创建对象的类型,然后用复制这个原型对象的办法创建更多同类型的对象,这就是选型模式的用意.1. 原型模式的结构原型模式对象实现一个可以”克隆”只身的接口,这样就可以通过复制一个实例对象本身来创建一个新的实例.这样一来,通过原型实例创建新的对象,就不在需要关心这个实例本身的类型,只要实现了克隆只身的方法,就可以通过这个方法来获取新的对
2018-02-05 17:14:02
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人