talonMou-CSDN博客

原创 Hive 的基本使用

创建表语法：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_com

2017-09-15 11:55:46 193

原创 Hive的搭建及使用

Hive是Hadoop生态中一个组件，Hive的出现使不懂编写MapReduce程序的人也能完成数据清洗、数据分析等工作。Hive有三种模式：内嵌模式：元数据保持在内嵌的derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，把元数据放到mySql内远程模式：元数据放置在远程的Mysql数据库1、下载Hive安装包http://hive.apache.or

2017-09-15 11:48:54 393

原创 HDFS基本命令

[-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...]

2017-09-15 11:37:01 205

原创 Hadoop 集群搭建

本篇介绍Hadoop集群搭建：Hadoop的成员角色有 HDFS:NameNode,DataNode,SecondaryNameNodeMapReduce:MapTask,ReduceTask,MRappTask.Hadoop 2.x以后增加的yarn：ResourceManager，NodeManager。Hadoop集群有两种搭建方式：一种是传统集群搭建，只用一个Nam

2017-09-15 11:33:41 161

原创利用WebService调用天气接口

由于最近项目需要用到实时天气查询，于是就想起来使用webService来获取天气接口。但是在使用的过程中，遇到了各种坑，这里稍微整理下先给出项目文件结构首先在百度上找到了webService的wsdl。http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?wsdl将此网站的的内容全部复制到一个wsdl的文件中

2017-06-20 10:07:55 13776 6

原创 centos安装redis及集群

在很多应用中都需要使用redis进行缓存，这也是redis最主要的一个用途。然而当缓存到了一定大小时，一台服务器的容量也是有限，所以就出现了redis集群。redis集群允许将缓存分配到多个服务器上共同协作。本文中使用到的是centos6.8，redis-3.0.0.一、安装redis相关环境redis是C语言开发的，所以需要在服务器上安装gcc环境。yum insta

2017-05-13 12:25:40 301

原创 centos6.8上安装nginx

在服务器上我们经常会使用到nginx，nginx是C语言开发的，所以建议在linux上运行，此次选择在Centos6.8上安装nginx并运行。其中Centos6.8是最小化安装，使用的nginx版本为 nginx-1.8.0一、安装nginx需要的相关环境1.安装nginx需要下载源码进行编译，编译需要gcc环境，所以需要安装gcc[root@localhost ~]# yu

2017-05-09 16:31:28 456

原创 mybatis分页插件的使用

在maven项目中导入分页插件 com.github.pagehelper pagehelper 3.4.2 com.github.jsqlparser jsqlparser 0.9.1然后在mybatis配置文件中加入插件设置数据库类型 Oracle,Mysql,MariaDB,SQLite,Hsqldb,Pos

2017-05-08 22:08:49 444

原创项目总结：spring+mybatis整合

创建maven项目引入相应的jar包，在maven项目中的src/main/resources中创建相关文件。1、创建 mybatis/SqlMapConfig.xml 文件（mybatis的配置文件，可以是0配置）<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://myb

2017-05-08 21:56:48 367

原创 Druid配置相关参考

需要Spring集成，并配置相关properties文件。通常来说，只需要修改initialSize、minIdle、maxActive。如果用Oracle，则把poolPreparedStatements配置为true，mysql可以配置为false。分库分表较多的数据库，建议配置为false。

2017-05-08 21:40:17 262

原创使用maven的一些心得记录

maven构建web项目时，有时只想使用maven自带的tomcat插件启动项目，这样做方便开发。 org.apache.tomcat.maven tomcat7-maven-plugin 2.2 8080 / 相关

2017-05-08 21:35:57 191

原创多台Centos自动部署JAVA环境

众所周知，在Java分布式部署或Java项目集群中，需要使用多台服务器进行部署。然而要在多台服务器中运行项目代码就需要部署Java环境，而现实生活中，开发人员不可能到每一台服务器上去手动部署环境，这时自动部署环境就可以大展身手了。本文主要讲解自动部署所需命令及流程。测试系统使用 Centos8.6 最小化安装，所以存在很多命令不存在需要再次安装。

2017-05-05 22:26:09 780 1

mouxf