- 博客(61)
- 收藏
- 关注
RSS订阅原创 hive on spark 配置过程
经过官网及网上其他的资料介绍，摸索着安装，发现各种问题。现将最终的成果分享，希望帮到其他人。1、编译spark1.6.0源码，生成无hive包组件./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"2、配置hive-site.xml<configuration><!--用户名-->...
2021-06-01 11:30:51
238
原创 tomcat做共享文件服务
1、打开server.xml2、端口默认8080，可自定义3、尾行添加，共享webapps下所有资源<Context path="" docBase="F:\apache-tomcat-9.0.12-windows-x64\webapps" reloadable="false" />reloadable:如果这个属性设为true，tomcat服务器在运行状态下会监...
2019-04-25 14:14:53
626
原创 http协议接口调用工具
import com.google.gson.Gson;import okhttp3.*;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util....
2019-04-25 14:09:12
906
原创 HikariCP连接池使用demo
/*maven依赖包*/<!-- https://mvnrepository.com/artifact/com.zaxxer/HikariCP --><dependency> <groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId>...
2019-04-25 14:04:10
1906
3
原创 HA机制hadoop搭建
HA机制hadoop搭建1、HA:双机集群系统简称HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务...
2019-03-13 10:45:47
202
原创 ambari关闭后，再次启动失去集群节点心跳
ambari管理大数据集群，节点失去心跳，操作方法：1、在失去心跳节点打开配置vi /etc/ambari-agent/conf/ambari-agent.ini在[security]下添加force_https_protocol=PROTOCOL_TLSv1_22、关闭状态vi /etc/python/cert-verification.cfg如下：[https...
2019-03-13 10:44:19
1255
原创 linux下装oracle客户端
1.、查看rpm包的默认安装路径[root@localhost tmp]# rpm -qpl oracle-instantclient-sqlplus-10.2.0.5-1.x86_64.rpm/usr/bin/sqlplus64/usr/lib/oracle/10.2.0.5/client64/bin/sqlplus/usr/lib/oracle/10.2.0.5/client6...
2019-03-13 10:42:47
1311
原创 redis编译安装
1、redis官网地址：http://www.redis.io/2、下载源码，解压缩，编译$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzf redis-2.8.3.tar.gz$ cd redis-2.8.3$ make3、编译完成后，在Src目录下可执行文件redis-server...
2019-03-13 10:40:33
139
原创 cento7安装mysql
CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-community-release-el7-5.noarch.rpm包$ sudo ...
2018-11-05 16:23:25
346
原创 distcp数据迁移方案
数据迁移distcp方案概况：根据迁移的实际情况，由于数据量大、重要、迫切性，因此实施方案每一步都需严谨执行，并且当出错时清楚缺少的数据和补救的办法。具体实施计划：大的步骤分为3步，即export、distcp、import。 在export导出数据时，以时间戳作为参数，如将三个月的数据为一个单位导出，出错时，重复执行。命令案例：sudo -u hdfs hbase org.apa...
2018-07-27 10:12:20
1367
原创 hbase export数据迁移
数据迁移export跨集群导出方案概况：根据迁移的实际情况，由于数据量大、重要、迫切性，因此实施方案每一步都需严谨执行，并且当出错时清楚缺少的数据和补救的办法。要点：确保两集群的mapreduce可以正常运行 开通源集群各个节点到目标集群namenode通讯具体实施计划：大的步骤分为2步，即export、import。 在export导出数据时，以时间戳作为参数，如将三个月的数...
2018-07-27 10:10:13
747
原创 hive常用命令
创建表create table employee(employee_id string,name string) row format delimited fields terminated by ',' stored as textfile;加载数据： 本地数据位置： /home/dawn/usr/app/hadoopdata/hive/visition.txt'load data loc...
2018-07-26 11:14:38
360
原创 distcp使用要点
引言：在公司数据迁移时，对distcp这个命令尝试了n多次，总算对他的工作原理有点心得。1、首先确保两个集群的mapreduce计算框架没问题2、开通目标集群所有机器到源集群namenode节点的网络3、版本差距不是很大时，用sudo -u hdfs hadoop distcp -i hdfs://192.168.16.1:8020/bak/ship_historical_trac...
2018-07-25 16:37:36
754
原创 时间操作工具类
public class DateUtils { public static int diffDay(String d1,String d2,String patten){ SimpleDateFormat format=new SimpleDateFormat(patten); Date date1=null; Date date2=null; ...
2018-07-25 16:19:47
180
原创 ambari安装文档
Ambari安装文档一、系统版本和环境要求系统：CentOS 7Ambari: ambari-2.6.1.5内存：主节点 至少4G内存以上二、 准备工作1、准备机器172.172.160.101-1072、各个机器进行hostname配置 Vi /etc/hostname关闭SELinux setenforce 0 临时关闭SELi...
2018-07-10 16:31:36
483
原创 hibernate查询方式
Hibernate查询方式：1 对象导航查询（1）根据id查询某个客户，再查询这个客户里面所有的联系人2 OID查询（1）根据id查询某一条记录，返回对象3 HQL查询（1）Query对象，写hql语句实现查询4 QBC查询（1）Criteria对象5 本地sql查询（1）SQLQuery对象，使用普通sql实现查询对象导航查询： /
2017-10-30 12:17:45
342
原创 hibernate一对多及多对多配置
Hibernate的一对多操作：以客户和联系人为例：客户是一，联系人是多第一步创建两个实体类，客户和联系人第二步让两个实体类之间互相表示（1）在客户实体类里面表示多个联系人- 一个客户里面有多个联系人private Set setLinkMan =new HashSet（2）在联系人实体类里面表示所属客户- 一个联系人只能属于一个客户private Cust
2017-10-30 10:08:40
432
原创 hibernate基本配置
hibernate框架：1、hibernate框架应用在javaee三层结构中dao层框架2、在dao层里面做对数据库crud操作，使用hibernate实现crud操作，hibernate底层代码就是jdbc，hibernate对jdbc进行封装，使用hibernate好处，不需要写复杂jdbc代码了，不需要写sql语句实现3、hibernate开源的轻量级的框架什么是orm
2017-10-29 22:36:33
447
原创 struts2
Struts21、是一个MVC框架，以webwork设计思想为核心，吸收了Struts1部分优点2、拥有更加广阔的前景，自身功能强大，还对其他框架下开发的程序有很好的兼容性使用struts2开发程序的基本步骤：1、加载struts2类库（官方地址：http://struts.apache.org）2、配置web.xml struts2 org.apache.
2017-10-26 13:11:51
540
原创 mybatis
MyBatis: 是一个支持普通SQL查询，存储过程和高级映射的优秀持久层框架。使用简单的XML或注解用于配置和原始映射，将接口和java的pojos映射成数据库中的记录。执行流程：1、加载配置2、SQL解析3、SQL执行4、结果映射开发流程：1、导包2、建表3、创建配置4、新建实体5、编写映射文件6、注册映射文件7、编写测试类全局
2017-10-23 20:31:31
439
原创 springMVC
spring MVC：1、spring为视图层提供MVC设计理念的web框架，是目前最主流的MVC框架之一2、spring3.0后全面超越struts23、springMVC通过一套MVC注解，让POJO成为处理请求的控制器，而无需实现任何接口4、支持rest风格的URL请求5、采用了松散耦合可插拔组件结构spring MVC的特点：1、清晰的角色划分2、强大而
2017-10-17 13:01:35
593
原创 spring框架
spring框架：轻量级框架，javaEE的春天，当前主流框架目标：使现有技术更加易用，推进代码最佳实践内容：1、依赖注入容器2、web集成3、数据访问支持4、简化Hibernate编码5、声明式事务6、AOP实现IOC和DI:IOC:其思想是反转资源获取的方向。传统的资源查找方式要求组件向容器发起请求查找资源。作为回应，容器实时的返回资源。而应用了IOC之后，则是容器主动地将资源推送给他所管理的
2017-10-08 15:54:11
3251
原创 PL/SQL
什么是PL/SQL一种过程化的语言，通过增加编程语言的特点,实现对SQL的扩展PL/SQL的特点：1、支持所有SQL的语法2、支持case语句，方便了实现循环3、通过继承，实现子类具有父类的属性和方法4、设置了新的日期类型声明：使用declare关键字用于定义变量或者常量declare demo varchar2(200) :='abc';命名规则：
2017-10-08 14:28:39
335
原创 oracle视图、索引等
视图：1、是一个数据库中的虚拟表2、经过查询操作形成的结果3、具有普通表的结构4、不能实现数据的存储5、对视图的修改将会影响实际的数据表-- 视图创建create or replace view v_emp_1 as select empno,ename,sal from emp ;--查询视图select * from v_emp_1--删除视图drop
2017-10-08 12:57:36
439
原创 oracle表设计规范
规范化：首先讨论一个关系属性间不同的依赖情况，讨论如何根据属性间依赖情况来判定关系是否具有某些不合适的性质，通常按属性间依赖情况来区分关系规范化程度为第一范式、第二范式、第三范式和第四范式等；然后直观地描述如何将具有不合适性质的关系转换为更合适的形式。
2017-10-08 12:36:34
992
原创 oracle之DML
-- DML数据操纵语言分类：添加，删除，修改-- 数据添加-- insert into 表名称 (字段1，字段2，字段3，...) values(字段1值，字段2值，字段3值，...)insert into temp_emp (empno,ename,job,mgr, hiredate,sal, deptno) values(9527,'HMM','ANALYST',7566,sysdat
2017-10-08 12:33:43
271
原创 Oracle数据库完整性约束
数据库的完整性是指数据的正确性和相容性。数据的正确性是指符合现实世界语义、反映当前实际状况的；数据的相容性是指数据库同一对象在不同关系表中的数据是符合逻辑的。约束：1、实体完整性：是通过主码的定义实现的，一旦某个属性或属性组被定义为主码，该主码的每个属性就不能为空值，并且在表中不能出现主码值完全相同记录 主键约束 唯一性约束2、域完整性 che
2017-10-08 12:25:26
449
原创 oracle子查询
子查询：子查询=简单查询+限定查询+多表查询+统计查询的综合体多表查询性能差，替代方案：子查询，所谓子查询指的就是在一个查询之中嵌套了其他的若干查询--要求查询工资比Smith还要高的全部雇员信息--第一步查询Smith的工资select sal from emp where ename='SMITH'--第二步查询工资比这个数字高的雇员的所有信息select *from em
2017-10-08 10:20:47
332
原创 oracle聚合函数
常用函数：count():查询表中的数据记录avg():求出平均值sum():求和max():求出最大值min():求出最小值--统计员工人数select count(*) from emp--统计员工的平均工资select to_char(trunc(avg(sal),2),'999,999.99')from emp--统计一个月员工工资总数select to_ch
2017-10-08 09:26:33
547
原创 oracle多表查询
多表查询的基本概念：查询经验：1、在日后的开发之中，很多人都肯定要接触到许多新的数据库和数据表，那么在这种时候有两种做法：做法一：新人做法，上来直接输入以下命令select * from table2、当数据特别多的时候，耗费时间分明显，所以尽量查部分数据多表连接问题：多表别名的使用：select * from emp e,dept d where e.
2017-10-07 22:55:11
444
原创 JNDI
JNDI:1、Java命名和目录接口2、是一组在Java应用中访问命名和目录服务的API3、通过名称将资源与服务进行关联为什么使用连接池：传统数据库连接方式的不足1、每一次请求时均需要与数据库进行连接，资源占用较多2、当并发访问数量较大时，网站速度收到极大影响3、在访问结束后必须要关闭连接释放资源4、系统的安全性和稳定性相对较差企业级开发需要稳健和高效的
2017-10-07 21:19:56
264
原创 JDBC
JDBC：jdbc是Java数据库连接技术的简称，提供连接各种常用数据库的能力数据访问层：DAOdata access object（数据存取对象）位于业务逻辑和持久化数据之间实现对持久化数据的访问dao模式的组成：1、dao接口2、dao实现类3、实体类4、数据库连接和关闭工具类public class BaseDao { //驱动
2017-10-07 20:40:19
237
原创 MVC设计模式
web程序的功能分工：如果把web容器处理请求的过程按功能划分，你如何划分？请求后台，返回数据，展示视图设计模式的定义：什么是设计模式：1、是一套反复使用、多数人知晓的，代码设计经验的总结2、模式必须是典型问题的解决方案设计模式的作用：1、解决一类问题的成功经验2、是为了可重用代码、让代码更容易被他人理解、保证代码可靠性MVC设计模式：1、模型---
2017-10-07 19:58:31
609
原创 EL与JSTL
JSTL和EL：1、理解并会使用EL表达式2、理解并会使用常用的jstl标签EL表达式：什么是EL：el即表达式el的功能：代替jsp页面中的复杂代码el的语法：${el exprission}${bean.name}或${bean['name']}(这个是在属性与关键字的冲突，使用)el特点：1、自动转换类型el得到某个数据时可以自己启动转
2017-10-07 19:32:14
520
原创 javaEE之Listener
监听器：负责监听web的各种操作，当相关的事件触发之后将产生事件，并对事件进行处理三个监听接口：Application:1、ServletContextListener：监听Application对象初始化、销毁过程contextinittialized：初始化application对象时调用，获取初始化参数contextdestroyed：applicatio
2017-10-07 17:41:46
357
原创 javaEE之Filter
什么是过滤器：1、过滤器运行在服务器端2、过滤器必须实现servlet API中的Filter接口3、Filter通常可以用于以下几种情况：a、认证b、记录访问日志c、加密解密d、字符编码转换e、数据压缩servlet过滤器有关接口：1、Filter接口2、FilterChain接口3、FilterConfig接口servlet过滤器
2017-10-07 17:01:40
253
原创 Ajax
Ajax:异步加载数据1、实现即时检查是否可用2、实现无刷新的用户登录3、实现搜索自动提示web2.0：web1.0 1996年250，000网站，web2.02006年80,000,000网站特点：1、用户贡献内容2、内容聚合RSS3、更丰富的“用户体验”4、无刷新的好处什么是ajax：只刷新局部页面的技术1、Javascript更新局部的
2017-10-07 16:28:55
280
原创 javaEE之servlet
servlet:1、实现servlet的配置和部署2、获取servlet初始化参数3、获取上下文参数4、实现servlet处理用户请求什么是servlet：是一个java程序，是在服务器上运行以处理客户端请求并做出响应的程序配置方式：1、web.xml里配置2、使用注解方式在java程序里配置servlet的生命周期：1、实例化：servle
2017-10-07 15:42:00
454
原创 javaEE之JSP
jsp（Java server pages）：1、在html中嵌入Java脚本的代码2、在应用服务器中的jsp引擎来编译执行嵌入的Java脚本代码3、然后将生成的整个页面信息返回给客户端jsp执行过程：1、翻译 ：".java"文件2、编译阶段：".class"文件3、执行阶段jsp页面的元素包括：HTML静态文本 静态内容指令表达式(把内容显示在页
2017-10-07 10:36:14
785
原创 javaEE概要
JavaEE应用开发:1、实现web站点开发2、使用servlet实现程序业务控制3、使用ajax丰富客户端视觉体验本章目标：1、了解B/S和C/S的区别2、配置tomcat进行运行什么是B/S:1、B代表浏览器端、S代表服务器端2、采用请求/响应模式进行交互B/S技术的工作原理：1、用户输入2、发送请求3、访问数据，返回结果4、返回响应
2017-10-07 09:22:15
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人