睡眼惺忪_-CSDN博客

转载 JVM垃圾收集算法及垃圾收集器

今天来总结一下最近学习到的JVM垃圾收集算法和垃圾收集器。原来以为这部分知识，对于一个Java程序员的用处不大，可是如果你的运营Web项目，出现了性能问题，那么这部分知识可以帮助你从运维的角度来优化你的项目。首先，先讲一下JVM的垃圾收集算法，因为这是学习垃圾收集器的前堤。各种垃圾收集器也都是基于这些算法来实现的。JVM垃圾收集算法 JVM垃圾收集算法有四种：

2016-12-26 15:21:59 5204 4

转载 JVM调优总结

堆大小设置java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM初始内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。-Xmn2g：设置年轻代大小为2G。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代

2016-12-26 14:14:15 634

转载 String StringBuilder StringBuffer 对比

转自：http://www.iteye.com/topic/522167作者：每次上网冲杯Java时，都能看到关于String无休无止的争论。还是觉得有必要让这个讨厌又很可爱的String美眉，赤裸裸的站在我们这些Java色狼面前了。嘿嘿....众所周知，String是由字符组成的串，在程序中使用频率很高。Java中的String是一个类，而并非基本数据类型。不过她却不是普通

2016-08-08 14:41:42 681

原创 Git 学习笔记

Git鼓励大量使用分支：1、-- git config 命令的 --global 参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个配置git config --global user.name "Your Name"git config --global user.email "[email protected]"===========

2016-04-22 10:34:29 495

转载 HBase（0.96以上版本）过滤器Filter详解及实例代码

欢迎转载，请注明来源：http://blog.csdn.net/u010967382/article/details/37653177目录：引言 -- 参数基础1. 结构(Structural)过滤器--FilterList2.列值过滤器--SingleColumnValueFilter 2.1.第一种构造函数情况 --

2015-11-21 13:32:06 1640

转载 HBase基本数据操作详解【完整版，绝对精品】

转载http://blog.csdn.net/u010967382/article/details/37878701概述对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入default表空间。对于数据操作，HBase支持四类主要的数据操作，分别是：Put：增加一行，修改一行；Delete：

2015-11-20 21:47:10 11313 2

转载 Kafka使用入门教程

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。1 介绍首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每

2015-11-17 11:34:44 1336

转载 Oracle 11.2.0.1.0 静默安装

1.1 上传软件1.2 Package安装检查rpm -q binutils \compat-libstdc++-33 \elfutils-libelf \elfutils-libelf-devel \expat \gcc \gcc-c++ \glibc \glibc-common \glibc-devel \glibc-headers \lib

2015-09-26 17:41:51 2414

转载 Java NIO 系列教程

Java NIO（New IO）是从Java 1.4版本开始引入的一个新的IO API，可以替代标准的Java IO API。本系列教程将有助于你学习和理解Java NIO。感谢并发编程网的翻译和投递。 Java NIO提供了与标准IO不同的IO工作方式： Channels and Buffers（通道和缓冲区）：标准的IO基于字节流和字符流进行操作的，而NIO是基于通道（

2015-09-26 17:40:59 1415

转载 Flume NG

Flume的一些核心概念：Agent 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。Client 生产数据，运行在一个独立的线程。Source 从Client收集数据，传递给Channel。Sink 从Channel收集数据，运行在一个独立线程。Ch

2015-05-05 16:53:17 731

转载 Spark中的编程模型

1. Spark中的基本概念在Spark中，有下面的基本概念。Application:基于Spark的用户程序，包含了一个driver program和集群中多个executorDriver Program：运行Application的main()函数并创建SparkContext。通常SparkContext代表driver programExecutor：为某Appli

2015-04-24 10:53:06 10387

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里

2015-02-02 21:31:08 1537 2

转载 NameNode 与 SecondaryNameNode 的关系

NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文

2015-02-01 21:10:02 1619

原创 hadoop 常见错误

一、执行start-dfs.sh后，datenode没有启动完全分布式模式下，一开始slaves配置如下：master.apache.orgslave1.apache.orgslave2.apache.orgmaster.apache.org既做namenode，也做datanode。后来我修改了此文件，slave1.apac

2015-02-01 10:39:03 12443 4

原创 HDFS 操作命令

文件操作命令bin/hdfs dfs -mkdir /data01bin/hdfs dfs -ls /bin/hdfs dfs -put ./test1.txt /test 添加文件bin/hdfs dfs -text /test/test1.txt 查看内容bin/hdfs dfs -tail /test/te

2015-01-31 19:46:11 2409

原创 Hadoop 2.x 的安装和配置

支持32位系统， 64位系统需要编译源码一准备阶段1、系统：CentOS 32位2、关闭防火墙和SELinux关闭防火墙service iptables statusservice iptables stopchkconfig iptables off 永久关闭禁用SELINUXvi /etc/sysconfig/sel

2015-01-30 11:37:30 1858

转载 Hadoop Yarn 框架原理及运作机制

1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

2015-01-30 10:56:23 53668 7

转载 Java JVM 读书笔记 - 虚拟机性能监控和故障处理工具

给系统定位问题，知识、经验是关键基础，数据时依据，工具是运用知识处理数据的手段。数据：运行日志异常堆栈 GC日志线程快照（threaddump/javacore文件）堆转储快照（heapdump/hprof文件）一 JDK命令行工具1 jps 虚拟机进程状况工具常用的几个参数：-l 输出j

2015-01-16 11:03:58 1901 1

转载 Java JVM 读书笔记 1

一运行时的数据区域1 程序计数器2 Java虚拟机栈 3 本地方法栈4 Java堆 Java堆是垃圾收集器管理的主要区域，因此也叫 "GC堆"新生代老年代Eden空间、 From Survivor空间、 To Survivor空间本地线程分配缓冲 TLAB(Thread Local Allocation Buffer)

2015-01-15 10:13:42 833

转载 Java多线程编程总结

本文出自 “熔岩” 博客，请务必保留此出处http://lavasoft.blog.51cto.com/62575/27069下面是Java线程系列博文的一个编目： Java线程：概念与原理Java线程：创建与启动Java线程：线程栈模型与线程的变量Java线程：线程状态的转换 Java线程：线程的同步与锁Java线

2015-01-10 13:21:14 1204

转载 Oracle SQL性能优化

（1）选择最有效率的表名顺序 (只在基于规则的优化器中有效)：ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交

2015-01-07 21:45:45 679

转载 Java编程中“为了性能”尽量要做到的一些地方

最近的机器内存又爆满了，除了新增机器内存外，还应该好好review一下我们的代码，有很多代码编写过于随意化，这些不好的习惯或对程序语言的不了解是应该好好打压打压了。下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。1. 尽量在合适的场合使用单例使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于

2015-01-06 22:57:56 796

转载 Java的动态代理机制详解

在学习Spring的时候，我们知道Spring主要有两大思想，一个是IoC，另一个就是AOP，对于IoC，依赖注入就不用多说了，而对于Spring的核心AOP来说，我们不但要知道怎么通过AOP来满足的我们的功能，我们更需要学习的是其底层是怎么样的一个原理，而AOP的原理就是java的动态代理机制，所以本篇随笔就是对java的动态机制进行一个回顾。在java的动态代理机制中，有两个重要的类或

2015-01-05 16:14:17 739

转载 Java并发编程：volatile关键字解析

Java并发编程：volatile关键字解析　　 volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。　　volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java

2014-12-04 17:24:00 921

转载 Flume 1.5.0.1 User Guide

Flume 1.5.0.1 User GuideIntroductionOverviewApache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data fro

2014-11-03 21:47:11 2274 3

原创 Hadoop2.2.0环境下Sqoop1.99.3安装

1.安装准备工作：

2014-10-27 10:32:34 2847 2

转载 Hive 中 Array、Map、Struct 的使用

hive提供了复合数据类型：Struct：Struct内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过M['group']来获取Arrays：array中

2014-10-22 11:41:16 983

原创 Hive文件详解

配置文件hive-default.xml hive提供的配置属性和默认属性值hive-site.xml 用户所做的修改在这个文件进行

2014-10-21 10:57:38 765

原创 Hive metastore MYSQL配置

元数据mysql配置1 安装mysqlrpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除yum list | grep mysql //查看yum上提供的mysql数据库

2014-10-21 10:42:07 1041

转载 Zookeeper 进阶之——典型应用场景（一）

http://www.cnblogs.com/haippy/archive/2012/07/23/2603583.htmlZooKeeper 典型的应用场景Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Z

2014-10-16 20:36:30 780

转载 Zookeeper 初体验之——JAVA API 初探

简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务，它可以为分布式应用提供相当多的服务，诸如统一命名服务，配置管理，状态同步和组服务等。 Zookeeper 接口简单，开发人员不必过多地纠结在分布式系统编程难于处理的同步和

2014-10-15 21:52:27 855

转载 SQL中EXISTS的用法

http://blog.csdn.net/xiwu1616/article/details/14160855

2013-12-02 11:28:42 12497

转载 SQL连接查询深度探险

http://lavasoft.blog.51cto.com/62575/38929

2013-12-02 11:25:30 832

转载 java内部类的作用分析

提起Java内部类（Inner Class）可能很多人不太熟悉，实际上类似的概念在C++里也有，那就是嵌套类（Nested Class），关于这两者的区别与联系，在下文中会有对比。内部类从表面上看，就是在类中又定义了一个类（下文会看到，内部类可以在很多地方定义），而实际上并没有那么简单，乍看上去内部类似乎有些多余，它的用处对于初学者来说可能并不是那么显著，但是随着对它的深入了解，你会发现Java的

2013-11-07 10:17:43 592

转载等性运算符

http://www.w3school.com.cn/js/pro_js_operators_equality.asp

2013-04-18 22:35:26 812

转载对象作用域

http://www.w3school.com.cn/js/pro_js_object_scope.asp

2013-04-18 22:33:57 1351

转载 Boolean 运算符

http://www.w3school.com.cn/js/pro_js_operators_boolean.asp

2013-04-18 22:20:07 3454

转载 JavaScript replace() 方法

定义和用法replace() 方法用于在字符串中用一些字符替换另一些字符，或替换一个与正则表达式匹配的子串。语法stringObject.replace(regexp/substr,replacement)参数描述regexp/substr必需。规定子字符串或要替换的模式的 RegExp 对象。请注意，如果该值是一个字符串，则将它作为要检索的

2013-04-13 21:57:51 646

转载 Javascript 中的相等与不等

在 javascript中，可以使用 ==来比较两个数据是否相等，如果两个数据的类型不同，那么，将在进行转换后进行比较，转换的规则如下： l 如果其中一个操作数的类型为 Boolean，那么，首先将它转换为数字类型，false转换为 0, true将转换为 1。l 如果其中一个操作数的类型是字符串，另外一个为数字类型，那么，将字符

2013-04-11 20:36:17 818

java论文管理系统

空空如也