- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 zookeeper浅出深入1
什么是zookeeperzookeeper是一个分布式协调系统,这里有两个关键字:分布式,协同.什么是分布式?所谓分布式就是同一件事情”一个人”干不完,需要”多个人”一起干.既然 需要一起干活,那么”每个人”不能乱干,即需要有人去协调他们需干的活,这就是协同.那么既然有分布式协调系统,又没有非分布式协调系统呢?当然有,其中一 个就是多线程,只不过多线程的协调是通过内存做的,多个服务器之间只能通过
2016-07-27 11:27:27
349
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-01-22 15:46:43
320
转载 乐观锁vs悲观锁 公平锁vs非公平锁
悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁。乐观锁(Optimistic Lock), 顾名思义，就是很乐观，每次去拿数据的时候都认为别人
2015-09-07 10:00:24
852
转载 配置文件Log4J
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下： #配置根Loggerlog4j.rootLogger = [ level ] , appenderName1 ,
2014-12-02 13:53:36
420
原创 SpringMVC完全注解用法
1. Xml和Annotation的比较相信大多人都使用过java的xml和annotation来作为配置项，xml拥有的功能annotation也拥有，这时对于何时使用xml，何时使用annotation产生的疑问。我们先来比较一下各自的优缺点： 优点缺点Xml1. xml 作为可扩展标记语言最
2014-11-24 10:23:38
602
转载 Hive:ORC File Format存储格式详解
在Hive中，我们应该都听过RCFile这种格式吧，关于这种文件格式的结构什么的我就不介绍了，感兴趣的可以去网上找找。今天这篇文章要说的主题是ORC File。一、定义 ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目
2014-10-13 14:51:22
1170
转载 Hive的几种内置服务
Hive内部自带了许多的服务，我们可以在运行时用–service选项来明确指定使用什么服务，如果你不知道Hive内部有多少服务，可以用下面的–service help来查看帮助，如下:[wyp@master ~]$ hive --service helpUsage ./hive --service serviceName Service List: beeline cli help hi
2014-10-13 14:50:17
829
转载 Hive几种数据导入方式
好久没写Hive的那些事了，今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式，我总结为四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。我会对每一种数据的导入进行实际的操作，因为纯粹的文字让
2014-10-13 14:50:11
533
原创 hive不同分区不同存储格式
概述本文介绍了在同一hive表中对不同的分区采用不同的存储格式来存储数据的操作步骤。具体操作数据准备这里以如下几条数据作为例子 创建hive表create table day_table (id int, content string) partitioned by (dt string)row format delimited fields termin
2014-08-04 18:12:57
2728
1
转载 shell编程比较总结
1、 Shell简介 1.1. 什么是shell 1.2. shell分类 2、 Shell语法 2.1. 定义变量 2.2. 变量类型 2.2.1. 字符集变量 2.2.2. 数字常量定义 2.2.3. 数组 2.2.4. 系统变量 2.3. 运算符与表达式 2.3.1. 运算符 2.3.2. 字符串表达式（判断条件命令if） 2.3.3. 字
2014-08-04 09:19:40
634
转载 不容忽视的setJarByClass方法——找不到Map类
如果集群上运行程序找不到Map和Reduce类一般都是没有设置包含类的Jar包API解析如下：setJarByClasspublic void setJarByClass(Class cls)Set the Jar by finding where a given class came from.Parameters:cls - the example
2014-06-19 10:16:01
867
原创 sqoop的使用
1 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令# sqoop list-tables --connect jd
2014-06-10 18:02:12
636
原创 机器学习中的优化算法
最小二乘法最小二乘法的介绍最小二乘法（generalized least squares）是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小
2014-06-03 14:03:15
577
原创 静态代理与动态代理
摘要代理是一种常用的设计模式，其目的就是为其他对象提供一个代理以控制对某个对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。 为了保持行为的一致性，代理类和委托类通常会实现相同的接口，所以在访问者看来两者没有丝毫的区别。通过代理类这中间一层，能有效控制对委托类对象的直接访问，也可以很好地隐藏和保护委托类对象，同时也为实施不同控制策略预留
2014-06-03 13:34:15
458
原创 JDBC连接池
import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Method;import java.lang.reflect.Proxy;import jav
2014-05-29 23:08:54
564
原创 静态代理与动态代理
1. 摘要代理是一种常用的设计模式，其目的就是为其他对象提供一个代理以控制对某个对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。为了保持行为的一致性，代理类和委托类通常会实现相同的接口，所以在访问者看来两者没有丝毫的区别。通过代理类这中间一层，能有效控制对委托类对象的直接访问，也可以很好地隐藏和保护委托类对象，同时也为实施不同控制策略预
2014-05-17 13:02:28
608
原创 Java线程学习笔记
1. 摘要代理是一种常用的设计模式，其目的就是为其他对象提供一个代理以控制对某个对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。为了保持行为的一致性，代理类和委托类通常会实现相同的接口，所以在访问者看来两者没有丝毫的区别。通过代理类这中间一层，能有效控制对委托类对象的直接访问，也可以很好地隐藏和保护委托类对象，同时也为实施不同控制策略预
2014-03-16 11:49:18
487
原创 fdgdfgdfg
package com.cdut.math.web.servlet;import java.util.Iterator;import java.util.Set;import javax.servlet.ServletException;import javax.servlet.http.HttpServlet;import org.dom4j.Document;import o
2012-05-18 13:09:19
519
C标准库 中文版 不可错误的资源
2011-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人