qi49125的博客

原创 hadoop2.5环境下编译spark并部署

1、环境介绍 操作系统：linux jdk：1.7.0_67 spark版本：1.6.0 hadoop版本：2.5.0或者cdh2.5.0 maven版本：3.5.4 scala版本：2.11.12、编译准备1)由于编译apache的spark，首先在maven的setting文件中增加阿里的源，<mirror> <id&g...

原创 [Trident] Storm Trident 教程，state详解、trident api详解及实例

英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话，那么应该...

原创 storm安装部署

本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后

原创 hbase架构深入解析

此文档来自于一位大神的官方文档翻译+自创！感谢！HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：其中HMaster节点用于：

原创 一台电脑同时运行两个tomcat

修改Tomcat的端口号：   在默认情况下，tomcat的端口是8080，如果出现8080端口号冲突，用如下方法可以修改Tomcat的端口号：首先： 在Tomcat的根（安装）目录下，有一个conf文件夹，双击进入conf文件夹，在里面找到Server.xml文件，打开该文件。其次：在文件中找到如下文本：               maxThreads="150

原创 Hbase使用问题汇总

1.hbase表中的属性分别都是什么含义？2.hbase中如何实现预分区？3.hbase中本文采用了哪些优化方法？一、hbase中的常见属性       VERSIONS：指版本数       MIN_VERSIONS=> '0'：最小版本数       TTL=> 'FOREVER'：版本存活时间              假设versions=1

原创 sqoop简介以及架构介绍

本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖掘

原创 HIVE高级与企业优化

HiveServer2参考地址：http://blog.csdn.net/czw698/article/details/443949231、启动hiveserver2服务[python] view plain copy$HIVE_HOME/bin/hive --service hiveserver2

原创 git命令

1.  安装完成后，在开始菜单里找到“Git”->“Git Bash”2.  git config --global user.name "Your Name"    git config --global user.email "[email protected]"3.  cd F: (打开F盘)    mkdir (创建子目录)    pwd (显示当前目

原创 hive导入和导出的几种方式

hive表导入方式：1）加载本地文件到hive表load data local inpath '本地文件路径' into tabble 表名;2）加载hdfs文件到hive表load data inpath 'hdfs文件路径' [overwrite] into table 表名;加上overwrite的话便会重写表的数据3）加载已有数据insert into t

原创 hive官方文档翻译

概念Hive是什么Hive是一个基于Apache Hadoop的数据仓库。对于数据存储与处理，Hadoop提供了主要的扩展和容错能力。Hive设计的初衷是：对于大量的数据，使得数据汇总，查询和分析更加简单。它提供了SQL，允许用户更加简单地进行查询，汇总和数据分析。同时，Hive的SQL给予了用户多种方式来集成自己的功能，然后做定制化的查询，例如用户自定义函数（User D

原创 CentOS7下 解决yum install mysql-server没有可用包的问题

之前每次重启mysql启动时都会报错每次Can't connect to local MySQL server through socket '/data/mysql/mysql.sock' (2)到后来发现需要装server[plain] view plain copy# wget http://repo.mysql.com/mys

原创 hive启动报错-Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Exceptionin thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessi

原创 Centos7安装mydql之后已经自动让mariadb代替--mysql修改root密码

不想装oracle，心想装个mysql轻便一点，我用的linux版本是Fedora24.执行完yum安装命令后发现竟然无法启动错误提示如下[java] view plain copy print?[root@localhost ~]# systemctl start mysql.service  Failed to start mysql

原创 mac命令行操作mysql

首先手动启动Mysql应用程序打开终端输入如下命令：  /usr/local/mysql/bin/mysql -u root -p（注意：Windows下的是：  mysql -u root -p）其中root为用户名。这时会出现如下命令：Enter password:  123456这样就可以访问你的数据库服务器了。           

原创 spring-bean命名方式-以及实例化--配置文件整合

Spring 配置文件的一般结构如下：••    =“resource1.xml” />•     resource=“resource2.xml” />•    ***”>•    “bean2” class=“***”>•    “bean3”name=“bean2”/>•其中import是导入其他配置。

原创 servlet实例-登录跳转--参数传递-编码过滤器--权限过滤器

一、首先创建一个index.jsp界面<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>首页首页/17/hello.jsp">17hello.jsp<% String flag=""; Object obj= session.getA

原创 hadoop-HA启动，以及配了HA之后hdfs的路径问题

配置了HA之后，需要将core和hdfs的文件拷贝到使用hdfs路径的框架上面去

原创 zookeeper单机和分布式配置，以及配置文件说明

原创 临时和永久修改linux的hostname主机名

1、临时修改主机名：$ sudo hostname 主机名修改只能临时有效，机器重启后会自动还原。2、永久修改主机名：修改hostname文件（路径：/etc/hostname）：$ sudo nano /etc/hostname把hostname文件里面所有原来的名称改成你想改成的名称。主机名同时也保存在/etc/hosts文件中，需要把当前IP地址对应的主机名修改为hostname文件中的名称

原创 linux配置免密码登录———— linux服务器可以ping通，但是访问不了--Ip地址:端口--关闭防火墙

1、以用户名user登录，在A机器上执行ssh-keygen -t rsa一路回车，不需要输入密码执行该操作将在/home/user/.ssh下生成id_rsa, id_rsa.pub文件，其中id_rsa.pub是公钥。2、在B机器上做步骤1或自行创建/home/user/.ssh文件夹，注意文件夹权限设置为700，将id_rsa.pub拷贝到B机器上scp id_rsa.pub B:~/.ss...

原创 ORACLE各种问题解决（其中包括可以导出空表）

1、此时，用正常的用户去连接双出现新的错误。ORA-01034: oracle not availableORA-27101: shared memory realm does not exist2. 启动打开目录：E:\Oracle\Server\app\Administrator\admin\orcl\pfile，会发现里面有一个文件：init.ora.62

原创 linux安装hadoop配置Yarn

1. 下载JDK，安装部署JAVA环境。如下修改~/.bashrc(1)export JAVA_HOME=/home/xxx/jdk1.6.0_24(2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar(3)export PATH=$JAVA_HOME/bin:$PATH2. 设置ssh免

原创 linux常用命令

1、cd命令这是一个非常基本，也是大家经常需要使用的命令，它用于切换当前目录，它的参数是要切换到的目录的路径，可以是绝对路径，也可以是相对路径。如：[plain] view plain copy print?cd /root/Docements # 切换到目录/root/Docements  cd ./path          # 切换到当前目录下的path目录中，“.”表示当前目录    cd...

原创 大数据学习笔记之MapReduce

一、神马是高大上的MapReduce　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc

转载 SSM整合

使用SSM（spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下。这次，先说说三大框架整合过程。个人认

原创 JS转换时间格式

[javascript] view plain copy var myDate = new Date();  myDate.getYear(); //获取当前年份(2位)  myDate.getFullYear(); //获取完整的年份(4位,1970-????)  myDate.getMonth(); //获取当前月份(0-11,0代表1月)

原创 java中各类日期转换

[java] view plain copy import java.text.DateFormat;  import java.text.ParseException;  import java.text.SimpleDateFormat;  import java.util.Date;    public class DateParserT 

原创 ruby淘宝源不能用了

然后看到这样一句话

原创 mkhl后台开发实例

1、首先创建一个实体类：Person这个实体类用于和数据库进行对接。2、在sqlMapConfig.xml文件中定义该实体类的别名person。方便在mapper文件中使用3、定义这个类的接口Dao类。这个是要和mapper文件对应的。其中所有用到的接口都要在这声明，具体的sql执行在mapper文件中。其中mapper的命名空间必须为dao的路径，这样

转载 Spring Task定时任务

1.基于Spring Task的任务调度方法：      Spring框架自带的异步执行（TaskExecutor）和任务调度（TaskScheduler）接口。      Spring Task官方地址：      http://docs.spring.io/spring/docs/current/spring-framework-reference/html/sched

转载 Spring+MyBatis双数据库配置

最近项目中遇到要调用其他数据库的情况，本来只使用一个MySQL数据库，但随着项目内容越来越多，逻辑越来越复杂。原来一个数据库已经不够用了，需要分库分表，所以决定扩充数据库，正好Spring可以灵活的扩充数据库。下面简单写一篇博文，记录下多数据库配置的过程。       1.项目结构如下图：             其中mkhl和ulab分别对应两个数据库模块，同时也对应两个不同

原创 基于SpringMVC的登录拦截器

1.Struts2的核心过滤器配置[html] view plain copy print?       filter>          filter-name>struts2filter-name>          filter-    class>org.apache.struts2.dispatcher.ng

原创 Druid数据库连接池简单使用介绍

简单使用介绍：    Druid与其他数据库连接池使用方法基本一样（与DBCP非常相似），将数据库的连接信息全部配置给DataSource对象。    下面给出2种配置方法实例：   1. 纯Java代码创建[java] view plain copy print?dataSource = new DruidDataSourc

原创 Spring+Dubbo+MyBatis+Linner分布式Web开发环境搭建（二）

2.Maven父工程mkhl-parent:    parent工程结构如下图：        1）parent工程的pom文件：[html] view plain copy print?xml version="1.0"?>  project      xsi:schemaLocation="http://maven.apa

原创 Spring+Dubbo+MyBatis+Linner分布式Web开发环境（一）

本文承接我之前的博客《Spring+Maven+Dubbo+MyBatis+Linner+Handlebars—Web开发环境搭建》，以下我在对相关的Maven配置和详细的Spring配置文件进行简单介绍。       整个开发框架大体结构如下

转载 Spring + Maven + Dubbo + MyBatis + Linner + Handlebars-Web开发环境搭建

spring + Maven + Dubbo + MyBatis + Linner + Handlebars                                        - 开发环境搭建       本文主要分三部分，分别是：后台核心业务逻辑，桥梁辅助控制和前台显示页面。       本Web开发环境综合了多种工具，包括Maven包管理与编译工

转载 Spring学习笔记—最小化Spring XML配置

spring学习笔记—最小化Spring XML配置   自动装配(autowiring)有助于减少甚至消除配置元素和元素，让Spring自动识别如何装配Bean的依赖关系。      自动检测(autodiscovery)比自动装配更进了一步，让Spring能够自动识别哪些类需要被配置成Spring Bean，从而减少对元素的使用。1.自动装配属性     1.1

转载 Spring学习笔记—Spring之旅 . -----装配Bean

spring学习笔记—Spring之旅1.Spring简介    Spring是一个开源框架，最早由Rod Johnson创建，并在《Expert One-on-One：J2EE Design and Development》这本著作中进行了介绍。Spring是为了解决企业级应用开发的复杂性而创建的，使用Spring可以让简单的JavaBean实现之前只有EJB才能完成的事情。但Sprin

转载 Linner和WebStorm前端开发环境搭建

Linner和WebStorm前端开发环境搭建注意：  1. Jdk1.6以上  2. 数据库推荐用MySQL  以下是前端工厂开发环境搭建，主要用到Linner和WebStorm（推荐使用SublimeText 3）和jigglypuff。1.Linner   Linner是前端工程的开发所使用的编译打包工具，安装Linne