小茗同学IT-CSDN博客

原创 01、Hibernate入门

一、hibernate是什么1. 框架是什么？1.框架是用来提高开发效率的2.封装了好了一些功能.我们需要使用这些功能时,调用即可.不需要再手动实现.3.所以框架可以理解成是一个半成品的项目.只要懂得如何驾驭这些功能即可.2.hibernate框架是什么 3.hibernate的好处操作数据库的时候,可以以面向对象的方式来完成.不需要书写SQL语句4.hibernate是一款orm框架 orm:...

2018-07-01 20:45:19 219

原创 01.Redis在Linux上的安装

1）安装redis编译的c环境，yum install gcc-c++如果提示是否下载，输入y如果提示是否下载，输入y2）将redis-2.6.16.tar.gz上传到Linux系统中使用secureCRT上传到linux中3）解压到/usr/local下 tar -xvf redis-2.6.16.tar.gz -C /usr/local4）进入redis-2.6.16目录使用make命令编...

2018-06-21 22:26:42 242

原创 22、大数据之Azkaban安装部署

Azkaban安装部署1.安装将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行在当前用户目录下新建 azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序2.azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz命令: tar –zxvf azkaban-web-serv...

2018-06-18 20:50:13 302

原创 21、大数据之工作流调度器Azkaban

工作流调度器azkaban1、概述1.1为什么需要工作流调度系统 1、一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进...

2018-06-18 20:49:37 3140

原创 23、Java Web之基础加强

一、类加载器1．什么是类加载器，作用是什么？类加载器就加载字节码文件(.class) 2．类加载器的种类类加载器有三种，不同类加载器加载不同的1）BootStrap：引导类加载器：加载都是最基础的文件2）ExtClassLoader：扩展类加载器：加载都是基础的文件3）AppClassLoader：应用类加载器：三方jar包和自己编写java文件怎么获得类加载器？(重点)ClassLoader ...

2018-06-18 10:32:23 241

原创 20、大数据之Sqoop与Sqoop的安装部署

Sqoop的安装与部署1.下载Sqoop安装包从官网http://sqoop.apache.org下载最新版的Sqoop2.解压并安装Sqooptar -zxvf sqoop-1.4.6.bin_hadoiop-2.0.4-alpha.tar.gz3.配置Sqoop(1)配置MySQL连接器Sqoop经常与MySQL结合，帮助从其他数据源向MySQL数据库导入数据，或者到处数据，所以需要配置My...

2018-06-17 20:19:39 924

原创 22、Java Web之监听器Listener

一、监听器ListenerjavaEE包括13门规范在课程中主要学习 servlet技术和 jsp技术其中 servlet规范包括三个技术点：servlet listener filter1．什么是监听器？监听器就是监听某个对象的的状态变化的组件监听器的相关概念：事件源：被监听的对象 ----- 三个域对象 request session servletContext监听器：监听事件...

2018-06-17 10:29:01 155

原创 21、JavaWeb之Filter

一、过滤器Filter1．filter的简介filter是对客户端访问资源的过滤，符合条件放行，不符合条件不放行，并且可以对目标资源访问前后进行逻辑处理2．快速入门步骤：1）编写一个过滤器的类实现Filter接口2）实现接口中尚未实现的方法(着重实现doFilter方法)3）在web.xml中进行配置(主要是配置要对哪些资源进行过滤) 3．Filter的API详解(1)filter生命周期及其与...

2018-06-16 17:02:26 150

原创 20、Java Web之Ajax

一、Ajax概述1．什么是同步，什么是异步同步现象：客户端发送请求到服务器端，当服务器返回响应之前，客户端都处于等待卡死状态异步现象：客户端发送请求到服务器端，无论服务器是否返回响应，客户端都可以随意做其他事情，不会被卡死 2．Ajax的运行原理页面发起请求，会将请求发送给浏览器内核中的Ajax引擎，Ajax引擎会提交请求到服务器端，在这段时间里，客户端可以任意进行任意操作，直到服务器端将数...

2018-06-12 15:04:12 201

原创 19、大数据之Flume和Flume的安装部署

一. 日志采集框架Flume1. Flume介绍1.1. 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，fl...

2018-06-10 19:13:08 853

原创 16.大数据之HBase安装

1. 上传首先确保用户是hadoop，用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下，确保hbase-0.99.2-bin.tar.gz的用户是hadoop，如果不是，执行chown命令，见上文2. 解压su – hadooptar –zxvf hbase-0.99.2-bin.tar.gz3. 重命名mv hbase-0.99.2 hba...

2018-06-09 19:20:53 168

原创 18、大数据之HBase开发

1. hbase开发1.1. 配置HBaseConfiguration包：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例：Configuration config = HBaseConfiguration.create();说明： HBaseConfiguration.create() 默认会从classpath ...

2018-06-09 18:27:11 987

原创 17、大数据之HBase基础

1. HBase简介1.1. 什么是HBaseHBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase是Google Bigtable的开源实现，但是也有很多不同之处。比如：Googl...

2018-06-09 16:56:42 583 1

原创 19、Java Web之事务

一、事务概述1．什么是事务一件事情有n个组成单元要不这n个组成单元同时成功要不n个单元就同时失败就是将n个组成单元放到一个事务中2．mysql的事务默认的事务：一条sql语句就是一个事务默认就开启事务并提交事务手动事务：1）显示的开启一个事务：start transaction2）事务提交：commit代表从开启事务到事务提交中间的所有的sql都认为有效真正的更新数据库3）事务的回滚：...

2018-06-09 10:45:05 295

原创 18、Java Web之动态页面技术（JSP/EL/JSTL)

一、JSP技术1．jsp脚本和注释 jsp脚本：1）<%java代码%> ----- 内部的java代码翻译到service方法的内部2）<%=java变量或表达式> ----- 会被翻译成service方法内部out.print()3）<%!java代码%> ---- 会被翻译成servlet的成员的内容 jsp注释：不同的注释可见范围是不同1）...

2018-06-08 14:49:14 326

原创 15. 大数据之Zookeper

1. Zookeeper概念简介：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的，是Hadoop和Hbase的重要组件。B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）。C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称...

2018-06-07 19:42:50 442

原创 17、Java Web之会话技术Cookie&Session

一、会话技术简介1．存储客户端的状态由一个问题引出今天的内容，例如网站的购物系统，用户将购买的商品信息存储到哪里？因为Http协议是无状态的，也就是说每个客户访问服务器端资源时，服务器并不知道该客户端是谁，所以需要会话技术识别客户端的状态。会话技术是帮助服务器记住客户端状态（区分客户端）2．会话技术从打开一个浏览器访问某个站点，到关闭这个浏览器的整个过程，成为一次会话。会话技术就是记录这次...

2018-06-06 11:04:18 174

原创 14.大数据之ZooKeeper集群安装

1. 机器部署安装到3台虚拟机上安装好JDK2. 下载上传从官网下载好ZooKeeper安装包并用工具上传到集群3. 解压su – hadoop（切换到hadoop用户）tar -zxvf zookeeper-3.4.5.tar.gz（解压）4. 重命名mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）5. 修改环境变量1、...

2018-06-05 18:59:27 171

原创 16、Java Web之HttpServletRequest

1．HttpServletRequest概述我们在创建Servlet时会覆盖service()方法，或doGet()/doPost(),这些方法都有两个参数，一个为代表请求的request和代表响应response。service方法中的request的类型是ServletRequest，而doGet/doPost方法的request的类型是HttpServletRequest，HttpServl...

2018-06-05 16:19:26 147

原创 05.MySQL之多表操作

外键：准备：创建两张表，一个班级表和一个学生表#建库CREATE DATABASE chapter05;#建表USE chapter05;CREATE TABLE grade( id int(4) NOT NULL PRIMARY KEY, name varchar(36) ); CREATE TABLE student( sid int(4) NOT NULL PRIMARY ...

2018-06-04 22:18:14 655

原创 15、Java Web之HttpServletResponse

HttpServletResponse1．HttpServletResponse概述我们在创建Servlet时会覆盖service()方法，或doGet()/doPost(),这些方法都有两个参数，一个为代表请求的request和代表响应response。service方法中的response的类型是ServletResponse，而doGet/doPost方法的response的类型是HttpS...

2018-06-04 20:39:47 175

原创 16.启动流程、模块管理与Loader

一、 Linux的启动流程分析1. 启动流程:1. 加载 BIOS 的硬件资讯与进行自我测试，并依据配置取得第一个可启动的装置；2. 读取并运行第一个启动装置内 MBR 的 boot Loader (亦即是 grub, spfdisk 等程序)；3. 依据 boot loader 的配置加载 Kernel ，Kernel 会开始侦测硬件与加载驱动程序；4. 在硬件驱动成功后，Kernel 会主动呼...

2018-06-04 18:55:31 369

原创 13、大数据之Hive参数配置与内置函数

一、Hive参数配置方式开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。对于一般参数，有以下三种设定方式：配置文件 命令行参数 参数声明配置文件：Hive的配置文件包括用户自定义配置文件：$HIVE_CONF_DIR/hive-s...

2018-06-03 23:05:44 255

原创 12.大数据之Hive性能优化

hive性能调优1：HADOOP计算框架特性· 数据量大不是问题，数据倾斜是个问题。· jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 · sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题。 · coun...

2018-06-03 22:48:43 312

原创 15.分析日志文件

一、什么是日志文件1. 日志文件可以记录一个事件的何时、何地、何人、何事等四大资讯，故系统有问题时务必查询登录文件。2. 日志文件的重要性（1）解决网络服务的问题（2）解决系统方面的错误：（3）过往事件记录簿3. Linux 常见的日志文件名/var/log/cron：你的 crontab 排程有没有实际被进行？进行过程有没有发生错误？你的 /etc/crontab 是否编写正确？在这个登录文件...

2018-06-03 22:16:03 691

原创 14.JavaWeb核心之Servlet

一、Servlet简介1．什么是ServletServlet 运行在服务端的Java小程序，是sun公司提供一套规范（接口），用来处理客户端请求、响应给浏览器的动态资源。但servlet的实质就是java代码，通过java的API 动态的向客户端输出内容 servlet规范：包含三个技术点1）servlet技术2）filter技术---过滤器3）listener技术---监听器 2．Servlet...

2018-06-03 21:29:27 127

原创 13.Java Web之Eclipse绑定Tomcat步骤和Eclipse里不能新建web项目

一、Eclipse绑定Tomcat步骤1：获得服务器运行环境配置，Window/Preferences/Server/Runtime Environmen 步骤2：添加服务器步骤3：选择服务器在硬盘的地址，然后所有的都是确定/Next/Finish 步骤4：完成成功 5：设置发布位置修改tomcat发布的位置 6：项目右键/Run As/Run on Server 二、eclipse...

2018-06-03 20:55:32 229

原创 12、Java Web之Http协议与Tomcat服务器

一、Http协议1．什么是Http协议HTTP，超文本传输协议（HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。2．Http协议的组成Http协议由Http请求和Http响应组成，当在浏览器中输入网址访问某个网站时，你的浏览器会将你的请求封装成一...

2018-06-03 20:36:59 168

原创 14.认识系统服务（daemons）

一、什么是 daemon 与服务 (service)系统为了某些功能必须要提供一些服务 (不论是系统本身还是网络方面)，这个服务就称为 service 。但是 service 的提供总是需要程序的运行吧！否则如何运行呢？所以达成这个 service 的程序我们就称呼他为 daemon。1.daemon 的主要分类（1）stand_alone：此 daemon 可以自行单独启动服务 sta...

2018-06-03 20:08:22 619

原创 11、Java Web之XML基础知识与反射

一、XML基础知识1.xml的简介（了解） * eXtensible Markup Language：可扩展标记型语言 ** 标记型语言：html是标记型语言 - 也是使用标签来操作 ** 可扩展： - html里面的标签是固定，每个标签都有特定的含义 <h1> <br/> <hr/> - 标签可以自己定义,可以写中文的标签 <person...

2018-06-02 16:36:36 334

原创 04.MySQL之单表查询

准备：#建库CREATE DATABASE chapter04;#建表USE chapter04;CREATE TABLE student(id INT(3) PRIMARY KEY AUTO_INCREMENT,name VARCHAR(20) NOT NULL,grade FLOAT,gender CHAR(2));#插入数据INSERT INTO student(name,grade,gen...

2018-06-02 00:07:16 4139

原创 11.大数据之Hive的基本操作

一、基础操作知识1.Hive的外部表和内部表内部表 (管理表) 默认情况下创建的表都是内部表外部表（托管表） external create external 内部表与外部表就一个本质区别 : 当drop 一个表时内部表会被删除同时 hdfs上所对应的目录和数据都会被删除但是当drop 一个外部表时只会将hive中的表删除 hdfs上的数据没有任何变化外部表的创建：c...

2018-06-01 22:27:51 574

原创 10.大数据之Hive安装

Hive只在一个节点上安装即可1.下载并解压Hive安装包（1）读者可以从官网https://hive.apache.org/downloads.html下载安装包,我下载的为hive-2.1.0。（2）新建文件夹 mkdir /usr/local/hive(3)上传安装包并解压到文件hive中 tar -zxvf hive-0.9.0.tar.gz -C /usr/lo...

2018-06-01 19:43:15 165

原创 13.程序管理与SELinux初探

一．进程1.进程与程序程序 (program)：通常为 binary program ，放置在储存媒体中 (如硬盘、光盘、软盘、磁带等)，为实体文件的型态存在；进程 (process)：程序被触发后，运行者的权限与属性、程序的程序码与所需数据等都会被加载内存中，操作系统并给予这个内存内的单元一个识别码 (PID)，可以说，程序就是一个正在运行中的程序。2.子程序与父程序：程序衍生出来的其他程...

2018-06-01 19:04:23 206

原创 10、Java Web之JDBC连接池和DbUtils工具

一、什么是连接池: 1. JDBC访问数据库的步骤： 1) 创建连接 --> 2) 访问数据库 --> 3) 关闭连接 2. 使用连接池解决 1) 由服务器在启动的时候，就创建好一定数据的连接对象。 2) 用户从创建好的连接池中，直接取出一个连接对象即可 3) 如果一个连接对象使用完毕，则将连接对象放回到连接池...

2018-06-01 10:40:58 297

原创 09.大数据之Hive基本概念

一．Hive基础公司的数据处理方式（四种主流）：MR、HIVE、HBase、Spark....非主流：pig、storm、mongodb、mr script..... 流程： 1.使用MR开发：编写MR ，实现mapper、reducer、main在hadoop上运行 2.使用hive开发： 2.1使用内置函数：在hive的CLI模式下写HQL，自动转成MR，在hadoop上运行 ...

2018-05-31 22:37:26 350

原创 08.大数据之CentOS5.6下MySQL的安装与配置

1）.查看CentOS自带的mysql输入 rpm -qa | grep mysql2）将自带的mysql卸载3）上传Mysql到linux /user/local4）安装mysql的依赖（选做）yum -y install libaio.so.1 libgcc_s.so.1 libstdc++.so.6yum update libstdc++-4.4.7-4.el6.x86_645）...

2018-05-31 21:56:55 456 1

原创 03.MySQL添加、更新与删除数据

添加数据1.向student表中添加一条新纪录，记录中id的字段的值为1，name的字段为zhangsan,grade的字段为98.5#创建数据库：CREATE DATABASE chapter03;#选择使用数据库chapter03：USE chapter03;#创建student表：CREATE TABLE student( id INT(4), name VARCHAR(2...

2018-05-31 16:42:00 1920

原创 12.例行性工作

一. 例行性工作1.Linux 工作调度的种类： at, cron 两种工作排程的方式：一种是例行性的，就是每隔一定的周期要来办的事项；一种是突发性的，就是这次做完以后就没有的那一种at ：at 是个可以处理仅运行一次就结束排程的命令，不过要运行 at 时，必须要有 atd 这个服务 (第十八章) 的支持才行。crontab ：crontab 这个命令所配置的工作将会循环的一直进行下去！可循...

2018-05-31 12:34:56 1561

原创 11.磁盘配额（Quota)与高级文件系统管理

一. 磁盘配额（Quota）的应用于实战1. Quota 的一般用途针对 WWW server ，例如：每个人的网页空间的容量限制！针对 mail server，例如：每个人的邮件空间限制。针对 file server，例如：每个人最大的可用网络磁盘空间 (教学环境中最常见！)限制某一群组所能使用的最大磁盘配额 (使用群组限制)限制某一使用者的最大磁盘配额 (使用使用者限制)以 Link 的方式，...

2018-05-30 22:49:56 658

空空如也

空空如也