- 博客(33)
- 收藏
- 关注
RSS订阅原创 HBase与HDFS结合使用
默认的MapReduce集群没有访问HBase配置或类的权限，so，我们需要将hbase-site.xml文件放到hadoop的安装目录中的conf文件中，并且还需要在hadoop目录下的lib文件夹中加入HBase的Jar包，然后复制更改到集群或者编辑hadoop-evn.sh文件，添加这些更改到HADOOP_CLASSPATH（不推荐）接下来，我们看两个简单的demo：Th
2016-05-04 09:49:05
1814
原创 MyEclipse OutOfMemory
项目不能正常发布运行，java heap space 不能看到结果，代码写着没感觉。这个解决其来很简单的，很好用的哟：window-preferences-java-installed JREs选中已配置的JDK，edit在新窗口中，default vm arguments:配置：-Xms128M -Xmx512M即可。再来发布项目吧，就可以啦，跑起来妥妥的。
2016-03-31 12:42:33
533
原创 PLSQL远端连接oracle数据库
好不容易安装成功的oracle数据库和PLSQL，却发现不能连接到想连接的数据库，还不能应用配置管理工具建库，建监听，太忧伤。我们看看怎么解决吧：1、有可能你安装的只是一个客户端；2、连接远端数据库，其实很简单：（1）找到oracle的安装目录：oracle\product\10.2.0\network\admin\tnsnames.ora文件，增加自己想要连接的数据的信息即可：
2016-03-31 12:35:40
319
原创 选择、冒泡、插入排序
//插入排序 private static void iSort(int[] a) { int temp;//存放当前要插入到排序数组中去的数值 for(int i=1;i temp=a[i]; for(int j=i-1;j>=0;j--){//从当前插入数值所在下标的前一个位置开始比较
2016-03-02 13:50:06
401
原创 Comparable
Test.javaList list=new ArrayList(); list.add(s1); list.add(s2); list.add(s3); Collections.sort(list);//单一类中的比较，实现comparable接口（如果没有实现这个接口的话，这个sort方法是不能用的，会报类转换异常），
2016-03-02 11:26:56
360
原创 AOP运行过程解析
上篇写了动态代理，这里我们来看看AOP吧……AOP面向切面编程的核心思想就是动态代理想要应用AOP，主要有如下步骤：1、编写一个切面类，在类中写一些方法，在些方法上配置连接点（Before、After、Around、AfterRuturning、AfterThrowing），在连接点后写明切点（"excecution( * com.yc.demo..*.*(..))")第一个*表示任何
2015-10-04 20:10:05
410
原创 动态代理Proxy
简单的理解代理就是为一个类生成一个代理对象，而这个对象对原类中方法执行前后加上了一些操作。我们先看一下产生代理的实例：package com.yc.spring.demo.impl;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Method;import java.lang.refle
2015-10-04 20:01:54
284
原创 JAVA注解
一、常见的几种注解：JDK自带注解：@override、@Deprecated(过时）、@Suppvisewarning(压制）常见的第三方注解：Spring：@Autowired、@Service、@RepositoryMybatis：@InsertProvider、@UpdateProvider、@options按执行机制（生命周期）注解的分类：源码注解（sourc
2015-10-03 15:25:03
291
原创 Struts2--拦截器浅析
一、拦截器工作原理拦截器的执行过程是一个递归的过程，（intercept1，intercept2，intercept3，intercept3，intercept2，intercept1）。与在Web中过滤器的工作原理是几乎一样的。二、自定义拦截器（有两种方式）1、实现（implements) Interceptor接口，则需要实现(可以空实现)以下三个方法：void init():
2015-10-02 14:11:19
336
原创 Oracle回顾--序列、事务、锁、表空间、角色、概要文件、备份
这两天受伤了……好心塞，还是来写点博客缓缓吧……一、序列对于已经创建的序列，应该首先使用序列名称.nextval,然后，才能使用序列名称.currval。序列可以被多个用户共享，但序列中的序号是不能共享的。对序列中序号的操作是作为一个单独的事务实现的，这个事务的执行与其他事务的执行与否无关。若包含一条DML语句的事务被回滚了，那么对序列的操作是无法回滚的。1、创建序列c
2015-09-29 14:08:15
351
转载 JNDI：如何在TOMCAT中配置数据源通过JNDI访问测试操作步骤
JNDI:Java Naming and Directory Interface 中文翻译：Java命名和目录接口实现功能：在Tomcat中配置Mysql数据源，然后通过JNDI测试工程测试是否配置成功开发环境：MyEclipse5.0GA Tomcat/5.5.12接下来的就是操作步骤：1〉在Mysql中Test数据库中创建表studentuse test;cr
2015-09-28 22:17:31
877
原创 Oracle回顾--触发器
昨天看完了触发器，今天再来写写博客，这样，我又可以复习一下啦……挺好的……触发器是建立在某个具体的表上的，且触发器在某些事件发生时，由Oracle自动执行，触发器的执行对应用来说是透明的。一、事件主要有以下几种类型：1、在指定表/视图中的DML操作：update,delete,insert2、DDL操作：create ,alter,drop,用于审核和控制数据库操作3、
2015-09-26 14:31:02
345
原创 修改tomcat中的字符集问题
默认情况下，tomcat使用的是iso8859-1的编码编码方式，浏览器的embed标签中src指向的地址要通过tomcat去解析。如果包含中文，采用这种编码方式就会出现乱码问题，而在这种情况下，乱码问题就表现出无法访问该音频文件了。解决方法很简单：修改tomcat下的conf/server.xml文件，找到如下代码：connectionTimeout="20000"red
2015-09-26 14:24:13
5867
转载 oracle--extract函数
//oracle中extract()函数从oracle 9i中引入,用于从一个date或者interval类型中截取到特定的部分 //语法如下： EXTRACT ( {YEAR | MONTH| DAY | HOUR | MINUTE| SECOND } | { TIMEZONE_HOUR | TIMEZON
2015-09-26 09:25:47
334
原创 Oracle回顾--存储过程、函数、程序包
看完了两天了，却因为各种事情到现在才有时间来写博客，方便日后查看了……PL/SQL的子程序有两种形式，即过程和函数，过程与函数的区别在于函数有返回值，可以向调用者返回执行结果，而过程没有返回值。一、存储过程存储过程是一段存储在数据库中执行某功能的程序。是将一些固定的操作集中起来由Oracle数据库服务器来完成，以实现某个任务，是Oracle开发者在数据转换或查询报表时经常使
2015-09-25 19:53:37
535
原创 SWT中使用线程后，要改变面板中某个控件的值，报 thread invalid access错误
最近一直在帮别人调SWT项目的错误，觉得这个错误有必要记下来……在console中发现是这个错误，我们可以进行如下判断：1、从console中点击到swt底层代码，会发现，给控件setText()时， setText()方法会调用checkWidgt()方法，2、checkWidgt()方法会判断现在使用的线程是否是打开面板时的线程，3、所以，在方法中调用了线程，而线程又要给某
2015-09-21 20:13:43
478
原创 oracle回顾--视图、PL/SQL、游标
一、视图1、创建只读视图create or replace view view_nameas select column_name,..... from table_name1,table_name2,........where 条件with read only /with check option注：with read only子句不能与order by 子句同时
2015-09-18 15:47:56
637
原创 oracle回顾--基础篇（二）
一、模糊查询like通配符及说明% 包含零个或多个字符串的任意字符串，包括字符串like 's%'_ 任何单个字符，不包括空字符[ ] 指定范围或集合中的任何单个字符，like '[1-5]abc'[^] 不属于指定范围或集合中的任何单个字符，like '[^1]
2015-09-18 13:34:28
289
原创 oracle回顾--基础篇(一)
一、常用的数据类型 1、 字符型： varchar2:0--4000B 可变长的字符串 nvarchar2:0--1000B 用来存储Unicode字符集的变长字符型数据 char :0--2000B 用于描述定长的字符型数据 n
2015-09-17 23:54:32
277
原创 java synchronize详解
记下来，很重要。Java语言的关键字，当它用来修饰一个方法或者一个代码块的时候，能够保证在同一时刻最多只有一个线程执行该段代码。 一、当两个并发线程访问同一个对象object中的这个synchronized(this)同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。 二、然而，当一个线程访问obje
2015-09-17 21:39:09
548
原创 struts2--基础
一、技术改进Struts2以webwork为核心，采用拦截器的机制来处理用户的请求，使得业务逻辑控制器能够与ServletAPI完全脱离开。Struts2为传统的struts1注入了webwork的先进的设计理念，统一了struts1和webwork两个框架，所以struts2可以理解为webwork的更新产品。Struts2的Action是一个请求对应一个实例（每次请求时都新new（通过
2015-08-28 19:26:26
330
原创 一、 Reduce侧联结
1、Reduce侧联结的数据流Reduce侧联结采用与数据库技术中相同的命名，故也被称为repartitioned join（重分区联结）,或者repartitionedsort-merge join（重分区排序-合并联结）。虽然并非最有效的联结技术，但它是最通用的，进而成为一些更高阶技术的基础。 Reduce侧联结引入了 一些新的术语与概念，名为data source（数据源）、
2015-08-28 11:55:36
473
原创 MyJobLink链接MapReduce作业案例，新旧API比较
hadoop基础部分的学习告一段落,休息了几天，现在满血复活了。。。哈哈，让我们一起来学习学习hadoop的第一个链接MapReduce作业的案例吧。在高阶数据处理中，会经常发现无法将整个流程写在单个MapReduce作业中，Hadoop支持将多个MapReduce程序链接成更大的作业。1、顺序链接MapReduce作业虽然两个作业可以手动的逐个执行，但更为快捷的方式是生成一个自动
2015-08-25 16:02:17
817
原创 oracle监听启不了或在服务项中没有监听，或者是连接时，适配器错误
这几天一直都在帮别人解决类似的问题，oracle安装时很容易出问题，实在是有点难搞，动不动就重装不上，需要重装系统了，oh no，装系统，实在是麻烦，其他软件都得重来，太不好了， 接下来，我们就来看看，类似的问题怎么解决吧…… 1、服务是否开启（是否有开错）， 2、安装时安装路径混乱了，环境变量中path路径是否配置正确（D:\oracle\product\10.2
2015-08-17 20:21:06
628
原创 Java MapReduce新旧API的比较
Hadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)，旨在使API在今后更容易扩展，新的API 在类型上不兼容先前的API。(1)新的API 倾向于使用抽象类，而不是接口，因为这更容易扩展。如在新的API 中， Mapper 和Reducer现在都是抽象类。(2)新的API是在org.apach
2015-08-14 20:48:08
438
原创 运行hadoop自带的案例—wordcount
主要有四个步骤：一、 在hdfs分布式文件系统 中创建两个文件夹，分别存放输入、输出数据1、 bin/hadoop fs –mkdir –p/data/wordcount 创建的输入数据目录2、 bin/hadoop fs –mkdir –p/output/ 创建的输出数据目录二、 将要测试的文件上传到hdfs文件系统的输入数据
2015-08-10 21:25:53
1151
1
原创 MapReduce的处理流程（一）
1、流程代码编写 =》 作业配置 =》 作业提交 =》 Map任务的分配和执行 =》 处理中间结果 =》 Reduce任务的分配和执行 =》 作业完成在每个任务的执行过程中，又包含输入准备 =》 任务执行 =》 输出结果MapReduce作业的执行可以分为11个步骤，涉及4个独立的实体：客户端(client)：编写MapReduce代码，配置作业、提交作业。JobTrac
2015-08-10 21:18:37
963
原创 Mapper与Reducer浅析（一）
一、 MapperMapper接口负责数据处理阶段，它采用的形式为MapperJava泛型，这里键类和值类分别实现WritableComparable和Writable接口。Mapper只有一个方法—map，用于处理一个单独的键、值对。Void map(K1key,V1 value,OutputCollector output,Reporter reporter) throw
2015-08-10 21:16:39
7983
原创 HDFS文件操作
HDFS文件操作一、概念HDFS是一种文件系统，它存储着Hadoop应用将要处理的数据，专为MapReduce这类框架下的大规模分布式数据处理而设计。为解决传统问题中文件存储的问题—海量数据的存储。二、HDFS设计目标：1、very large files（单个文件/文件总大小）2、streaming data access(write-once,read-many-time)
2015-08-10 21:15:11
879
原创 Hadoop开发环境的配置（安装eclipse）
1. 下载eclipse因为安装了64位的jdk，所以eclipse版本也为64位：eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz 2. 解压缩文件到/opt目录下 sudotar -xsvf ~/下载/ eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /opt/ 3.
2015-08-10 21:05:13
771
原创 hadoop伪分布环境搭建
1.创建hadoop用户（1）sudo useradd -m hadoop -s /bin/bash（2）为hadoop 用户增加管理员权限 sudo adduser hadoop sudo（3）打开配置文件sudoers sudo cat /etc/sudoers，加入hadoop ALL=(ALL:ALL) ALL 2.安装jdk（已讲解） 3
2015-08-10 21:00:59
355
原创 再看看maven--手动创建项目与自动创建项目
maven是一个管理和构建工具windows------->cmd----->mvn help:system 下载插件包到仓库I:\maven\reop 与C:\user\m2\setting.xml中的localReposity对应手动创建项目： 1，创建项目在工作空间: 约束在项目名下创建 src---main-java---包名:本目录主要放源
2015-07-28 11:27:02
436
原创 hadoop环境搭建（一）
搭了好久的环境，总算是有点眉目了……1、安装一个linux系统（或者是虚拟机） 我采用的是虚拟机（ubuntu10.0)，直接安装vm,再用镜像文件配置一个虚拟环境……2、配置jdk，（一定要注意系统位数与jdk对应。先在官网上下载满足需求的jdk压缩文件） a、将压缩文件解压 b、将解压的文件拖动到ubuntu环境中的文件中
2015-07-25 23:45:25
772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人