mrdavidtian-CSDN博客

原创 log4j+flume+kafka实现日志收集

log4j+flume+kafka实现日志处理

2017-10-11 17:58:18 1722

原创 log4j+flume+HDFS实现日志存储

1. HDFS配置1.1.Hadoop集群搭建有关HDFS的配置，请参考CentOS7.0下Hadoop2.7.3的集群搭建,为了容易操作，本示例采用单机模式, 即解压hadoop到/opt/hadoop/目录下;1.2.hdfs配置$HADOOP_HOME/etc/hadoop/core-site.xml配置<configuration> <property>

2017-10-11 16:22:37 1686

1.简介apache flume 是一种分布式的、可靠的、可用的系统，主要用于高效地收集、聚合和移动大量来自不同来源的日志数据到一个集中的数据存储区。 flume的使用不仅限于日志的数据聚合。由于数据源是可定制的，flume可以用于传输大量的事件数据，包括但不限于网络流量数据、数字媒体生志的数据。电子邮件消息和几乎任何可能的数据源。2.flume事件(event)flume的核心是把数据从数据源(

2017-09-25 15:59:42 7051

原创 Java IO之FileInputStream&FileOutputStream

Java IO之InputStream和OutputStreamInputStream和OutputStream之间的对应关系InputStream与OutputStream及其子类间具有很强的对称性。下图很形象地展现出它们之间的对应关系，只有PrintStream是没有对应的。 1.FileInputStream 和 FileOutputStreamjava.io.FileInputStream

2017-09-18 15:49:14 707

原创 Java IO体系架构图

Java的核心库java.io提供了全面的IO接口。包括：文件读写、标准设备输出等。Java中IO是以流为基础进行输入输出的，所有数据被串行化写入输出流，或者从输入流读入。

2017-09-15 14:59:24 4234

原创 java文件操作之文件操作

如何创建文件，删除文件

2017-09-14 17:13:23 577

原创 java文件操作之创建目录

如何在java中操作目录

2017-09-14 17:08:41 774

原创 Java文件操作之类详细讲解

Java.io.File类详细讲解java.io.File类是文件和目录路径名的抽象表示。以下是有关文件的要点： - 实例可以或都可以不表示实际的文件系统对象，如文件或目录。如果是这样表示这样一个对象，然后该对象位于一个分区。分区是存储为文件系统的操作系统的特定部分。 - 文件系统可以实现限制某些操作的实际文件系统对象，如读，写和执行上。这些限制统称为访问权限。 - File类的实例是不可变的

2017-09-14 16:54:53 504

原创建造者模式(Builder Pattern)

建造者模式(Builder Pattern)建造者模式建造都模式(Builder Pattern)使用多个简单的对象一步一下构建成一个复杂的对象。这种类型的设计属于创建型模式，它提供了一种创建对象的最佳方式。一个Builder类会一步一步构造最终的对象，该Builder类是独立于其它对象的。说明功能：将一个复杂的构建与其表示分离，使得同样的构建过程可以创建不同的表示。主要解决：主要解决在软件

2017-09-12 15:28:07 561

原创 Log4j日志配置详解

Log4j日志配置详解1.Log4j组件Loggers(记录器)Appenders(输出源)Layouts(布局)1.1. Loggers(记录器)Loggers组件在此系统中被分为五个级别： - DEBUG - INFO - WARN - ERROR - FATAL五个级别的顺序,分别用来指定这条日志信息的重要程度： DEBUG < INFO < WARN < ERROR <

2017-08-29 15:11:36 8310 1

原创 Log4j发送日志到服务器上

Log4j发送日志到服务器上1.服务器端1.1.在服务器上新新建目录[dtadmin@apollo~]$ cd ~ #跳转到home目录[dtadmin@apollo~]$ sudo mkdir log4j #新建目录log4j1.2.上传log4j的jar包到新建的目录itlocals-MacBook-Pro:~ david.tian$ scp /opt/maven/repo/log4j/log

2017-08-29 10:25:14 3601

原创 Java面向对象编程之Java集合(Collections)

Java Collections1.集合(Collections)Java中集合类是Java编程中使用最频繁、最方便的类。集合类作为容器类可以存储任何类型的数据，当然也可以结合泛型存储指定的类型（不过泛型仅仅在编译期有效，运行时是会被擦除的）。集合类中存储的仅仅是对象的引用，并不存储对象本身。集合类的容量可以在运行期间进行动态扩展，并且还提供很多很方便的方法，如求集合的并集、交集等。2.集合类结构J

2017-08-17 14:54:12 383

原创 Java面向对象编程之接口(interface)

Java接口接口（英文：Interface），在JAVA编程语言中是一个抽象类型，是抽象方法的集合，接口通常以interface来声明。一个类通过继承接口的方式，从而来继承接口的抽象方法。接口并不是类，编写接口的方式和类很相似，但是它们属于不同的概念。类描述对象的属性和方法。接口则包含类要实现的方法。除非实现接口的类是抽象类，否则该类要定义接口中的所有方法。接口无法被实例化，但是可以被实

2017-08-16 12:52:42 1285

原创 Java面向对象编程之多态(polymorphism)

Java多态多态是同一个行为具有多个不同表现形式或形态的能力。多态性是对象多种表现形式的体现。比如我们说”宠物”这个对象，它就有很多不同的表达或实现，比如有小猫、小狗、蜥蜴等等。那么我到宠物店说”请给我一只宠物”，服务员给我小猫、小狗或者蜥蜴都可以，我们就说”宠物”这个对象就具备多态性。接下来让我们通过实例来了解Java的多态。例子public interface Vegetarian{

2017-08-16 12:50:00 2343

原创 Java 抽象工厂模式

Java设计模式 - 抽象工厂模式抽象工厂模式是另一个创建模式。抽象工厂模式，也称为工厂的工厂，有一个工厂创建其他工厂。当使用抽象工厂模式时，我们首先使用超级工厂创建工厂，然后使用创建的工厂创建对象。例子下面的代码展示了如何使用抽象工厂模式。我们将要创建形状和打印机。对于形状，我们会有圆形，矩形和正方形。对于打印机，我们将有纸张打印机，网络打印机和屏幕打印机。对于shape，我们将创

2017-08-16 12:47:26 242

原创 Java 工厂模式

Java设计模式 - 工厂模式工厂模式是一种创建模式，因为此模式提供了更好的方法来创建对象。在工厂模式中，我们创建对象而不将创建逻辑暴露给客户端。例子在以下部分中，我们将展示如何使用工厂模式创建对象。由工厂模式创建的对象将是形状对象，如圆形，矩形。首先，我们设计一个接口来表示Shape。public interface Shape { void draw();}然后我们创建实现接

2017-08-16 12:46:31 674

原创 Java面向对象编程之封装(encapsulation)

Java 封装Java 封装在面向对象程式设计方法中，封装（英语：Encapsulation）是指，一种将抽象性函式接口的实作细节部份包装、隐藏起来的方法。封装可以被认为是一个保护屏障，防止该类的代码和数据被外部类定义的代码随机访问。要访问该类的代码和数据，必须通过严格的接口控制。封装最主要的功能在于我们能修改自己的实现代码，而不用修改那些调用我们代码的程序片段。适当的封装可以让程式

2017-08-15 17:57:29 2751

原创 Java面向对象编程之抽像类(abstract class)

Java抽像类Java抽像类在面向对象的概念中，所有的对象都是通过类来描述的，但是反过来，并不是所有的类都是用来描绘对象的，如果一个类中没有包含足够的信息来描述一个具体的对象，这样的类就是抽象类。抽象类除了不能实例化对象以外，类的其它功能依然存在，成员变量、成员方法和构造函数的访问方式和普通类一样。由于抽象类不能实例化对象，所以抽象类必须被继承，才能被使用。也是因为这个原因，通常在设计阶段决

2017-08-15 17:56:27 2326

原创 Java面向对向编程之多态(polymorphism)

Java多态Java多态多态是同一个行为具有多个不同表现形式或形态的能力。多态性是对象多种表现形式的体现。比如我们说”宠物”这个对象，它就有很多不同的表达或实现，比如有小猫、小狗、蜥蜴等等。那么我到宠物店说”请给我一只宠物”，服务员给我小猫、小狗或者蜥蜴都可以，我们就说”宠物”这个对象就具备多态性。接下来让我们通过实例来了解Java的多态。例子public interface Veget

2017-08-15 17:55:00 258

原创 Java面向对象编程之重载(overload)和重写(override)

Java重写(override)与重载(overload)重写(override)重写是子类对父类的允许访问的方法的实现过程进行重新编写！返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。在面向对象原则里，重写意味着可以重写任何现有方法。实例如下：class Animal{ public v

2017-08-15 17:53:41 771

原创 Java面向对象编程之继承(inheritance)

Java面向对象编程-继承Java继承继承是java面向对象编程技术的一块基石，因为它允许创建分等级层次的类。继承可以理解为一个对象从另一个对象获取属性的过程。如果类A是类B的父类，而类B是类C的父类，我们也称C是A的子类，类C是从类A继承而来的。在Java中，类的继承是单一继承，也就是说，一个子类只能拥有一个父类继承中最常使用的两个关键字是extends和implements。这两个关

2017-08-15 17:51:34 3407

原创 CentOS7上Apache impala2.7集成apache kudu1.3

Apache impala集成apache kudu1.环境准备1.1.服务器配置 ID IP address Hostname Notes 1 192.168.56.181 apollo.dt.com Hadoop Master 2. Spark Master 3.Kudu Master 4. Impala Master 5.

2017-06-21 15:01:06 4279 8

原创 CentOS7.0安装配置Storm集群

1.环境准备操作系统: CentOS7.0Zookeeper版本：zookeeper-3.4.10Storm版本：apache-storm-1.1.0JDK版本：jdk1.8.0_77Python版本：集群配置如下： # os hostname ip software notes 1 CentOS7 apollo.dt.com 192.168.56.1

2017-06-21 13:56:04 4354 1

原创 Apache Storm简介

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的

2017-06-20 11:26:40 3225

原创 CentOS7.0配置couchbase集群

1.环境准备服务器配置 ID IP address Hostname Notes 1 192.168.56.181 apollo.dt.com couchbase 2 192.168.56.182 artemis.dt.com couchbase 3 192.168.56.183 uranus.dt.com couchbase2.单机安

2017-06-19 14:49:21 1774

原创 CentOS7.0安装配置CouchBase

简介Couchbase 是一个开源的、分布式的、面向文档（document-oriented）的 NoSQL 数据库，并且内置了 Memcached 服务。本文分享的是自己在 Linux 上成功安装 Couchbase Server 的实际操作步骤。1.下载Couchbase1.1.登录Couchbase官网, 如下图所示：1.2.直接下载或者通过wget[root@apollo dtadmin~]

2017-06-19 10:33:30 1836

原创 MySQL使用UDF调用shell脚本

在最近的项目中，由于需要使用MySQL的UDF（user defined function），这个特性从未使用过，而且个人觉得这个特性以后应该会经常使用，所以写下博文，记录和分享这个特性的用法。UDF是mysql的一个拓展接口，UDF（Userdefined function）可翻译为用户自定义函数，这个是用来拓展Mysql的技术手段。

2017-06-14 15:20:54 4038

原创 CentOS7.0安装配置redis集群

1.redis集群简介redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性：当一部分redis节点故障或网络中断，集群也能继续工作。但是，当大面积的节点故障或网络中断（比如大部分的主节点都不可用了），集群就不能使用。所以，从实用性的角度，Redis集群提供以下功能： ● 自动把数据切分到多个redis节点中 ● 当一部分节点挂了或不可达，集群依然能继续工作2

2017-06-13 17:00:30 852

原创 CetnOS7.0安装配置Kafka集群

1.简介Kafka是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka支持Java及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。本教程主要介绍Kafka在CentOS7上的安装和使用，包括功能验证和集群的简单配置。2

2017-06-12 14:47:27 1837

原创 CentOS7安装配置zookeeper集群

1.简介Zookeeper有三种运行模式：单机模式、伪集群模式和集群模式。安装zookeeper的先决条件是首先保证已安装Java运行环境。 zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo

2017-06-12 10:55:43 4493

原创 CentOS7.0基于hadoop集群安装配置Hive

前言安装Apache Hive前提是要先安装hadoop集群，并且hive只需要在hadoop的namenode节点集群里安装即可（需要再有的namenode上安装)，可以不在datanode节点的机器上安装。还需要说明的是，虽然修改配置文件并不需要把hadoop运行起来，但是本文中用到了hadoop的hdfs命令，在执行这些命令时你必须确保hadoop是正在运行着的，而且启动hive的前提也需要h

2017-06-07 13:18:02 7832 2

原创 Apache kudu1.3在CentOS7 的安装与配置(rpm) 的安装与配置

Kudu1.3在CentOS7 的安装与配置(rpm)前言Apache Kudu是一个比较新的大数据组建，在国内大规模应用的公司不多，Kudu的安装文档也只能找到官网上的一份，自己按照官网的步骤进行安装的过程中也遇到了一些问题，现记录下完整的安装过程。2.Kudu安装# 安装依赖包[root@uranus kudu]# yum -y install cyrus-sasl-plain lsb ntp

2017-05-25 15:46:29 5697 1

原创 CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要had

2017-05-17 01:16:33 22437

原创十三.Scala数组

Scala数组 Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、…、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、…、numbers[99] 来表示一个个单独的变量。数组中某个指定的元素是

2017-04-26 11:09:00 432

原创十二.Scala字符串

Scala 字符串以下实例将字符串赋值给一个常量：object TestString1 { val greeting: String = "Hello,World!" def main(args: Array[String]) { println( greeting ) }}以上实例定义了变量 greeting，为字符串常量，它的类型为 String (java.lan

2017-04-25 23:23:40 2465

原创 CentOS7 基于Hadoop2.7 的Spark2.0集群搭建

CentOS7 基于Hadoop2.7 的Spark2.0集群搭建 1.前提Hadoop 2.7 集群已搭建完毕,有关Hadoop集群搭建请参考:CentOS7.0下Hadoop2.7.3的集群搭建Hadoop集群服务器列表服务器IP 服务器Hostname 192.168.56.216 apollo.hadoop.com 192.168.56.217 artemis.ha

2017-04-25 16:53:19 1313

原创十一.Scala 闭包

Scala 闭包闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。如下面这段匿名的函数：val multiplier = (i:Int) => i * 10 函数体内有一个变量 i，它作为函数的一个参数。如下面的另一段代码：val multiplier = (i:Int) => i * factor在 mul

2017-04-25 13:46:34 297

原创十. Scala函数详解

Scala函数详解1.Scala函数说明函数是一组一起执行一个任务的语句。您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由开发者决定的，但是在逻辑划分上，划分通常是根据第个函数的某个特定功能决定的，以便实现模块化编程需要。 Scala有函数和方法，二者在语义上的区别很小。 * Scala方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话说在类中定义的函数就是方法。 *

2017-04-25 11:47:46 695

原创九.Scala 循环

Scala 循环有的时候，我们可能需要多次执行同一块代码。一般情况下，语句是按顺序执行的：函数中的第一个语句先执行，接着是第二个语句，依此类推。编程语言提供了更为复杂执行路径的多种控制结构。循环语句允许我们多次执行一个语句或语句组，下面是大多数编程语言中循环语句的流程图： 1.循环类型Scala 语言提供了以下几种循环类型。循环类型描述 while 循环运行一系列语句，

2017-04-24 17:42:33 633

原创八.Scala流程控制语句

Scala流程控制语句 1.Scala IF…ELSE 语句Scala IF…ELSE 语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程: 1.1.if 语句if 语句有布尔表达式及之后的语句块组成。语法 if 语句的语法格式如下：if(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块}如果

2017-04-24 15:36:13 534

Kettle常见问题汇总

Kettle常见问题汇总,详细描述了在使用Kettle中遇到的问题和相应的解决方法。

2014-05-13

kettle学习笔记

Kettle详细的学习笔记，能帮助初学者很快掌握ETL免费开源工具的使用。

2014-05-13

KETTLE从入门到精通

KETTLE从入门到精通,让初学者很快上手最便捷免费的ETL工具。

2014-05-13

Oracle中实现Split函数功能

本文档详细介绍了如何在Oracle数据库中实现像C#等其它编程语言中Split函数来拆分字符的功能。例子简单易懂，并附有详细的实现过程。

2011-10-30

Oracle常用查看表结构命令

本文档详细讲解Oracle数据库中的一些查看表结构的常用语句，收藏起来可以在查看表结构的相关应用时方便地使用。

2011-10-23

Oracle存储过程返回结果集

该文档详细讲解Oracle在存储过程中如何利用Out参数返回一个结果集。示例简单易懂。

2011-10-23

oracle 创建DBLink

代码示例，详细讲解怎么去使用Oracle数据库中的DBLINK(Database Link)。示例简单易懂。

2011-10-23

Oracle 常用数据字典

Oracle 数据字典很多,通常我记不住所有的名字,我们可以用以下SQL去查数据字典的名字

2011-10-20

Oracle 10g RAC的负载均衡配置

Oracle 10g RAC的负载均衡配置，负载均衡是指连接的负载均衡。RAC的负载均衡主要是指新会话连接到RAC数据库时，如何判定这个新的连接要连到哪个节点进行工作。在RAC中，负载均衡分为两种，一种是基于客户端连接的，另外一种是基于服务器端的。

2011-10-20

Oracle对象的导入与导出

详细地介绍在Oracle数据库中利用命令对数据对象进行导入导出，该文档带有源码，上手比较容易

2011-10-20

eclipse部署android开发环境

eclipse部署android开发环境,详细介绍如何在eclipse中配置android开发环境，一步一步介绍，内容详细，值得下载

2011-10-20

PL/SQL 11g 编程从入门到精通.PDF

最权威的PL/SQL从入门到精通教程。由浅而深，代码拷出来可以直接运行

2011-10-18

DataAdapter是如何更新数据库数据的

DataAdapter对象不仅只是捕获数据的功能，事实上它还可以帮助你将更新后的DataSet以批次的方式再写回后台数据库，而且还相当简单，只要调入Update方法，并传入准备更新的DataSet及DataTable即可。

2009-09-17

Arraylist 的用法

ArrayList就是传说中的动态数组，用MSDN中的说法，就是Array的复杂版本，它提供了如下一些好处：动态的增加和减少元素灵活的设置数组的大小

2009-09-17

MD5算法之C#程序 MD5算法描述

当我要写一个MD5算法的程序时，发现中英文的语言描述都有一些不确切的地方，某些个细节讲得不清楚，或者说很费解。最后不得不拿出C语言的源程序来调试，这对于理解算法是很不利的。于是就总结了一下我摸索到的一些要点

2009-09-16

CSHARP冒泡算法实例

参加多次笔试，居然有几次都考到了冒泡算法.现将原代码分享如下.C#的算法，很精典！请大家多多关注，不好可以骂我！现在面试用到很多的，可以下载看看

2009-09-16

C＃处理鼠标和键盘事件

在程序运行中，产生事件的主体有很多，其中尤其以键盘和鼠标为最多。本文就来探讨一下在C＃中和这二个主体相关的事件的处理过程。

2009-09-16

GridView用法大合集

是我开发项目时做的一本小合集。里面包含了GRIDVIEW的数据绑定并实现分页功能、选中，编辑，取消，删除、实现正反双向排序功能、DropDownList控件的绑定、通过CheckBox删除选中记录、实现跨页面多选、删除GridView 控件行信息弹出确认提示框、实现自动编号、实现主细表、单元格中使用“…“替换超长字符。。。。看好了帮我顶，谢谢

2009-06-29

PLSQL 10天自学通

只要10天就可掌握，完全可以上手的一个易学教程

2009-05-24

Oracle DBA 5天入门通

有点oracle基础的，只需要5天就会对DBA要掌握的知识有个框架上的了解，是一门DBA入门的最好教程，通俗易懂。。。

2009-05-24

Storm分布式实时计算模式.pdf

本书由Apache Storm项目核心贡献者亲笔撰写，融合了作者丰富的Storm实战经验，通过大量示例，全面而系统地讲解使用Storm进行分布式实时计算的核心概念及应用，并针对不同的应用场景，给出多种基于Storm的设计模式，为读者快速掌握Storm分布式实时计算提供系统实践指南

2017-08-16

Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) ---文字版.pdf

Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) ---文字版.pdf 个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除

2017-08-16

Spark快速大数据分析.pdf

《Spark 快速大数据分析》是一本为 Spark 初学者准备的书,它没有过多深入实现细节,而是更多关注上层用户的具体用法。不过,本书绝不仅仅限于 Spark 的用法,它对 Spark 的核心概念和基本原理也有较为全面的介绍

2017-08-16

Spark实战高手之_从零开始.pdf

伴随着大数据相关技术和产业的逐步成熟,继 Hadoop 之后,Spark 技术以其无可比拟的优势,发展迅速,将成为替代 Hadoop 的下一代云计算、大数据核心技术。作为国内 Spark 亚太研究院云计算分布式大数据 Spark 实战高手之路三部曲之第一部,本书的网络发布版为图文并茂方式,边学习,边演练,不需要任何前置知识,从零开始,循序渐进。

2017-08-16

Spark大数据处理：技术、应用与性能优化(全).pdf

这是一本依据最新技术版本，系统、全面、详细讲解Spark的著作，作者结合自己在微软和IBM的实践经验和对Spark源代码的研究撰写而成。首先从技术层面讲解了Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算模型、Benchmark、BDAS等内容；然后从应用角度讲解了一些简单的、有代表性的案例；最后对Spark的性能优化进行了探讨。

2017-08-16

八天学会MongoDB

8天学会MongoDB

2016-12-05

NodeJS开发指南

本书首先简要介绍Node.js，然后通过各种示例讲解Node.js 的基本特性，再用案例式教学的方式讲述如何用Node.js 进行Web 开发，接着探讨一些Node.js 进阶话题，最后展示如何将一个Node.js 应用部署到生产环境中。本书面向对Node.js 感兴趣，但没有基础的读者，也可供已了解Node.js，并对Web 前端/ 后端开发有一定经验，同时想尝试新技术的开发者参考。

2016-12-01