- 博客(48)
- 收藏
- 关注
RSS订阅原创 Java的“异常”
“异常”指的是程序运行时出现的非正常情况。在用传统的语言编程时，程序员只能通过函数的返回值来发出错误信息。这易于导致很多错误，因为在很多情况下需要知道错误产生的内部细节。通常，用全局变量errno来存储“异常”的类型。这容易导致误用，因为一个errno的值有可能在被处理?reg;前被另外的错误覆盖掉。
2016-08-11 15:53:48
244
原创 Java图形用户接口
对一个优秀的应用程序来说，良好的图形用户接口是必不可少的。缺少良好的图形用户接口，将会给用户理解和使用应用程序带来很多不便。很难想象用户为了学会使用一个应用程序，去记一大堆命令。Java提?copy;了生成一个良好的图形用户接口所需要的一?copy;基本元件：面板（Panel?copy;、按钮（Button?copy;、标?copy;（Label?copy;、画板（Canvases?copy;、滚动条（Scrollbar?copy;、列表框（List?copy;、文本域（TextField?copy;、文本
2016-08-08 16:38:04
666
原创 Java的类
类是Java语言面向对象编程的基本元素，它定义了一个对象的结构和行为。在Java程序里，你要表达的概念封装在某个类里。一个类定义了一个对象的结构和它的功能接口，功能接口称为成员函数。当Java程序运行时，系统用类的定义创建类的实例，类的实例是真正的对象。
2016-08-08 15:53:28
515
原创 Java应用程序的基本框架
Java应用程序是指可以独立运行在Java虚拟机上的程序，它是一种中间代码（byte-code?copy;。比如你的应用程序叫my.java，程序里有一个名称为app1的类，用Javac或其它编译器，编译后将会生成app1.class，则在命令行状态下输入：javaapp1就可以运行此程序。
2016-08-05 16:38:12
1037
原创 Java程序开发与运行环境
Java不仅提供了一个丰富的语言和运行环境，而且还提供了一个免费的Java开发工具集(JavaDevelopersKits，简称JDK)。编程人员和最终用户可以利用这个工具来开发java程序或调用Java内容。
2016-08-04 16:55:39
233
原创 Java编程那些事儿——第一个HelloWorld程序
对于初学者来说，第一个HelloWorld程序太神秘，也太难了，因为需要在第一个程序中学到很多的操作，而且在操作的过程中，即使是一个很小的错误，都可以让初学者束手无策，所以学习第一个HelloWorld程序，一点都不简单，也需要足够的细心和耐心。
2016-07-29 11:42:15
241
原创 Java编程那些事儿
程序设计是一个技术活，所以不是适合所有的人。现在很多人听说程序设计人员待遇如何如何的好，都一窝蜂的来学习程序，其实这个现象很不正常，因为程序不一定适合你。其实对于一个人来说，适合你的才是最好的。
2016-07-27 15:24:15
258
原创 Java爬虫框架
那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引
2016-07-25 16:49:58
185
原创 JAVA 注解的几大作用及使用方法详解
1. 要用好注解，必须熟悉java 的反射机制，从上面的例子可以看出，注解的解析完全依赖于反射。2. 不要滥用注解。平常我们编程过程很少接触和使用注解，只有做设计，且不想让设计有过多的配置时。
2016-07-25 12:00:01
1375
原创 Hadoop文件系统详解
Hadoop提供了许多文件系统的接口，它一般使用URI 方案来选取合适的文件系统实例交互。举例来说，我们在前一小节中研究的文件系统shell可以操作所有的Hadoop文件系统。
2016-07-22 15:35:41
153
原创 HDFS中的文件许可
HDFS对于文件及目录有与POSIX非常相似的许可模式。共有三种形式的许可：读取许可(r)、写入许可(w)和执行许可(x)。读取文件或列出目录内容时需要读取许可。写入一个文件，或是在一个目录上创建或删除文件或目录，需要写入许可。对于文件而言执行许可可以忽略因为HDFS中不能执行文件(与POSIX不同)，但在访问一个目录的子项时是需要的。每个文件和目录都有一个所属用户、所属组别和模式。这个模
2016-07-14 17:28:00
263
原创 Ruby语言
例2-8中的map函数是用ruby来写的。例2-8：用于查找最高气温的map函数(ruby版)1. #!/usr/bin/env ruby 2. 3. STDIN.each_line do |line| 4. val = line 5. year, temp, q = val[15,4], val[87,5], val[92,1] 6. puts "#{y
2016-07-14 17:09:30
279
原创 Dockerfile 语法
指令指令的一般格式为 INSTRUCTION arguments，指令包括 FROM、MAINTAINER、RUN 等。FROM格式为 FROM 或 FROM :。 第一条指令必须为 FROM 指令。并且，如果在同一个 Dockerfile 中创建多个镜像时，可以使用多个 FROM 指令（每个镜像一次）。MAINTAINER
2016-07-14 16:51:40
190
原创 Docker 命令行探秘
环境信息相关 info使用方法： docker info例子：[fedora@docker-devel-cli docker]$ sudo docker -D info Containers: 0Images: 32Storage Driver: devicemapperPool Name: docker-2
2016-07-14 16:48:25
182
原创 HBase 结构设计
在设计 HBase 结构时， 需要考虑以下一般性原则：? 访问 HBase 数据最高效的方式是使用基于行键的 Get 或 Scan 操作。 HBase 不支持任何二级键/索引。 这意味着在理想情况下， 行键的设计应该包含特定表所需要的全部访问模式。 这通常意味着需要使用复合行键来容纳更多的数据访问模式? 一条一般性的原则是将每个表的列族数限定为不超过10～ 15(记住 HBase 将每个列
2016-07-13 16:32:39
184
原创 HDFS 架构
HDFS为获得可扩展性和高性能而进行的的设计也是有代价的。 HDFS只适用于特定类型的应用— — 它不是通用的分布式文件系统。大量额外的决策和取舍主导了HDFS的架构和实现， 它们包括以下方面：? HDFS 针对高速流式读取性能做了优化， 随之而来的代价是降低了随机查找性能。这意味着， 如果应用程序需要从 HDFS 读取数据， 那么应该避免查找， 或者至少最小化查找的次数。 顺序读取是访问
2016-07-13 16:19:22
184
原创 使用 Hadoop 开发企业级应用
面对着大数据带来的挑战， 我们需要重新思考为数据分析构建应用的方法了。 构建应用的传统方式是将数据保存在数据库中， 而这通常无法适用于大数据处理。 其原因如下:? 传统应用建立在事务型数据库访问的基础上， 这一点 Hadoop 并不支持。? 鉴于Hadoop中保存数据的量级，实时访问仅对存储在集群上的局部数据具有可行性。? Hadoop的海量数据存储能力允许将数据集的各个版本保存起来，
2016-07-13 16:12:28
157
原创 zookeeper注意几点
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理 1. ZooKeeper是否对ZNode有大小限制 如果你仔细看过ZooKeepe
2016-07-12 17:26:05
213
转载 HData——ETL 数据导入/导出工具
本文来源：开源中国 HData是一个异构的ETL数据导入/导出工具，致力于使用一个工具解决不同数据源(JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等)之间数据交换的问题。HData在设计上同时参考了开源的Sqoop、DataX，却与之有不同的实现。HData采用“框架+插件”的结构，具有较好的扩展性，框架相当于数据缓冲区，插件
2016-07-12 17:20:53
698
转载 SAS集成Hadoop途径几何？
本文原创作者AnyJack 经常有人问，SAS如何和HADOOP交互、集成?在回答这个问题前，主要看HADOOP在SAS系统中的定位，有下面定位考虑： 1.把HADOOP作为传统数据源供SAS访问 这是最简单的一种应用场景，就是把HADOOP当做类似于ORACLE/DB2等之类的数据库源来使用，SAS有能力直接在HADOOP上进行数据处理，在HADOOP上
2016-07-12 17:16:07
250
转载 如何基于Docker快速搭建多节点Hadoop集群
Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。一. 项目简介GitHub: kiwanlau/hadoop
2016-07-12 17:09:07
400
原创 hbase-site.xml 和 hbase-default.xml
正如Hadoop放置HDFS的配置文件hdfs-site.xml，Hbase的配置文件是 conf/hbase-site.xml. 你可以在 Section 3.1.1, “HBase 默认配置”找到配置的属性列表。你也可以看有代码里面的hbase-default.xml文件，他在src/main/resources目录下。不是所有的配置都在 hbase-default.xml出现.只要改了代
2016-07-11 17:09:07
664
原创 HBase运行模式:单机和分布式
1.3.2. HBase运行模式:单机和分布式HBase有两个运行模式: Section 1.3.2.1, “单机模式” 和 Section 1.3.2.2, “分布式模式”. 默认是单机模式，如果要分布式模式你需要编辑 conf 文件夹中的配置文件.不管是什么模式，你都需要编辑 conf/hbase-env.sh来告知Hbase java的安装路径.在这个文件里你还可以设置Hbase的运
2016-07-11 17:06:29
354
原创 Hadoop源代码分析（一二）
分析完Storage相关的类以后，我们来看下一个大家伙，FSDataset相关的类。上面介绍Storage时，我们并没有涉及到数据块Block的操作，所有和数据块相关的操作，都在FSDataset相关的类中进行处理。下面是类图： Block是对一个数据块的抽象，通过前面的讨论我们知道一个Block对应着两个文件，其中一个存数据，一个存校验信息，如下：blk_314878
2016-07-11 16:52:25
175
原创 Hadoop源代码分析（九）
一个典型的HDFS系统包括一个NameNode和多个DataNode。NameNode维护名字空间；而DataNode存储数据块。DataNode负责存储数据，一个数据块在多个DataNode中有备份；而一个DataNode对于一个块最多只包含一个备份。所以我们可以简单地认为DataNode上存了数据块ID和数据块内容，以及他们的映射关系。一个HDFS集群可能包含上千DataNode节点，
2016-07-11 16:49:00
190
原创 Hadoop源代码分析（三）
由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下：Java代码 1. public class MyWritable implemen
2016-07-11 16:46:53
216
原创 从Hadoop URL中读取数据
要从Hadoop文件系统中读取文件，一个最简单的方法是使用java.net.URL对象来打开一个数据流，从而从中读取数据。一般的格式如下：1. InputStream in = null; 2. try { 3. in = new URL("hdfs://host/path").openStream(); 4. // process in 5. }
2016-07-08 17:27:07
301
原创 配置hdfs-site.xml
vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml添加节点dfs.replication3dfs.namenode.name.dirfile:/hadoop/hdfs/nametruedfs.federation.nameservice.idns1dfs.namenode.backup.a
2016-07-08 17:14:08
175
原创 HDFS 和 YARN 添加了性能的基准测试集
其中 HDFS测试包括：（ 1）dfsio基准测试 HDFS I/O 读写性能（ 2）slive基准测试NameNode内部操作的性能（ 3） scan基准测试MapReduce作业访问 HDFS 的 I/O性能（ 4） shuffle基准测试 shuffle阶段性能（ 5） compression基准测试MapReduce作
2016-07-08 17:11:14
392
原创 solr原理详解
Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在 Solr 中，用户通过向部署在servlet 容器中的 Solr Web 应用程序发送 HTTP 请求来启动索引和搜索。Solr 接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。通过 HTTP 以同样的方式返回响应。默认配置返回 Solr 的标准 XML 响应，也可以配置 Solr
2016-07-07 17:00:38
225
原创 Hadoop源代码分析
下面是和目彔树相关的方法。public boolean rename(String src, String dst) throws IOException;更改文件名。调用FSNamesystem的renameTo，干活的是renameToInternal，最终调用FSDirectory的renameTo方法，如果成功，更新租约的文件名，如下：changeLease(src, dst,
2016-07-07 16:58:16
123
原创 python 中如何判断list中是否包含某个元素
在Python中可以通过in和not in关键字来判读一个list中是否包含一个元素theList = [‘a’,’b’,’c’]if ‘a’ in theList:print ‘a in the list’if ‘d’ not in theList:print ‘d is not in the list’
2016-07-07 16:56:30
494
原创 Hive学习系列-配置mysql元数据
1、首先在ubuntu14.04上安装mysql，首先尝试的下载mysql的tar包安装，未成功，然后使用在线安装sudo apt-get install mysql-server mysql-client，安装成功。2、登录数据库 a) 创建hive用户，create user hive identified by ‘hive’ b) 授予所有权限grant
2016-07-07 16:53:24
150
原创 ScalaReference路径
语法：Path ::= StableId| [id „.‟] thisStableId ::= id| Path „.‟ id| [id „.‟] „super‟ [ClassQualifier] „.‟ idClassQualifier ::= „[„ id „]‟路径不是类型本身，但是它们可以是命名类型的一部分，这个功能是 Scala 类型系统的一个核心角色
2016-07-06 16:51:25
291
原创 scala基本类型和成员定义
类成员的类型取决于成员被引用的方式。主要有三个概念：1. 类型 T 的基本类型集合2. 从前缀类型 S 中可见的类 C 中的类型 T3. 类型 T 的成员绑定集合以下是这三个概念的详细定义1. 类 T 的基本类型集合定义如下 C 是类型 C 以及其父类型 T1,...,Tn 的基本类型，同时也是组合类型 T1with ... with Tn {R}的基本类型。
2016-07-06 16:48:09
212
原创 sqoop命令举例
1）列出mysql数据库中的所有数据库sqoop list-databases –connect jdbc:mysql://localhost:3306/ –username root –password 1234562)连接mysql并列出test数据库中的表sqoop list-tables –connect jdbc:mysql://localhost:3306/test –us
2016-07-05 11:03:57
200
原创 Storm组件
Storm集群主要由一个主节点和一群工作节点（worker node）组成，通过 Zookeeper进行协调。主节点：主节点通常运行一个后台程序 —— Nimbus，用于响应分布在集群中的节点，分配任务和监测故障。这个很类似于Hadoop中的Job Tracker。工作节点：工作节点同样会运行一个后台程序 —— Supervisor，用于收听工作指派并基于要求运行工作进程。每个工作
2016-07-05 10:57:01
734
原创 Wordpress删除Redis页面缓存的方法
1、删除某一个页面的缓存：发表评论、按下F5刷新、在URL后面加上?r=y回车。 2、删除整站页面缓存：登录到Wordpress后台，在任意URL后面加上?r=y回车。 3、更新文章时自动刷新首页缓存：在你的Wordpress的Function.php中加入以下代码(出自：https://www.shenbogame.com/4738.html)： function newPostRe
2016-07-05 10:06:13
650
原创 Hadoop中MR程序的几种提交运行模式
1：在Windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行----输入输出数据可以放在本地路径下（c:/wc/srcdata/）----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)2：在Linux的eclipse里面直接运行main方法，但是不要添加ya
2016-07-04 16:23:37
361
原创 docker有哪些常见的服务发现工具?
一些常见的服务发现工具：etcd：这是CoreOS的创建者提供的工具，面向容器和宿主机提供服务发现和全局配置存储功能。它在每个宿主机上有基于http协议的API和命令行的客户端。consul：这个服务发现平台有很多高级的特性，使得它脱颖而出，例如：配置健康检查、ACL功能、HAProxy配置等等。zookeeper：这个工具较上面两个都比较老，提供一个更加成熟的平台和一些新特性。一
2016-07-01 17:42:46
743
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人