酷炜-CSDN博客

原创 Hadoop集群时间同步NTP

一、集群时间同步介绍时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。NTP服务器【Network Time Protocol（NTP）】是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以...

2019-09-05 01:56:36 3244 2

原创 HBase全分布模式的安装与配置

一、全分布模式介绍特点：多台机器部署，一般情况下Hmaster和HregionServer分布在不同的服务器，需要依赖底层HDFS分布式存储。搭建HBase的全分布:bigdata112 bigdata113 bigdata114注意：时间同步如果不同步：（1）Hadoop：执行MR出错（2）HBase：RegionServer会自动停止bigdata112: HMaster、Zoo...

2019-04-02 08:10:19 1115

原创 Hadoop集群脚本工具rsync、xsync和xcall

一、 rsync 远程同步工具 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。（1）基本语法 rsync -rvl $pdir/$fname $user@ha...

2019-04-01 13:41:10 1342

原创 jdk1.8的安装与环境配置

实验于win10网上很多是win7，而新手当作win10来配置（以前笔者就是这样，后来安装多次以及在菜鸟教程才发现）。两者主要是path环境变量的区别，由于 win10 的不同，当选中 Path 变量的时候，系统会很方便的把所有不同路径都分开了，不会像 win7 或者 win8 那样连在一起。一、下载JDK1.要安装 JDK，请转 JDK地址，我现在自己使用1.8版本2.点击接受许可协议，...

2019-03-31 01:28:32 723

原创 HBase伪分布模式的安装与配置

一、伪分布模式介绍特点：一个ZK、一个HMaster、一个RegionServer。一台机器完成Hbase所有组件的配置，需要依赖HDFS分布式存储。Hbase单机模拟Hbase数据库集群，主要是用于实验。二、安装并配置HBase和JDK环境变量（1）使用tar命令解压tar -zxvf jdk-8u191-linux-x64.tar.gz -C ~/training/tar -zx...

2019-01-09 22:26:01 1812

原创 HBase本地模式的安装与配置

一、本地模式介绍&nbsp;&nbsp;&nbsp;&nbsp;特点：本地模式不依赖于HDFS存储，将文件存储到操作系统本地目录，好处是我们不需要搭建HDFS集群，即可学些HBase相关命令及客户端操作。二、安装并配置HBase和JDK环境变量（1）使用tar命令解压tar -zxvf jdk-8u191-linux-x64.tar.gz -C ~/training/tar -zxvf...

2019-01-09 22:24:01 2071

原创 CentOS7将默认的源更换为ailiyun源

CentOS默认自带CentOS-Base.repo源，但官方源在国外，连接速度令人心痛。并且有很多软件在默认源里面是找不到的。这时候需要将yum源设置为国内镜像站点。国内主要开源的开源镜像站点应该是网易和阿里云了。1、首先是到yum源设置文件夹里cd /etc/yum.repos.d2、接着备份旧的配置文...

2019-04-17 21:15:19 1732

一、完全分布式安装介绍真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。二、关闭防火墙这是CentOS7版本命令：systemctl status firewalld.service --&amp;amp;amp;amp;amp;amp;gt;查看防火墙状态systemctl stop firewalld.service —&amp;amp;amp;amp;amp;amp;gt; 如果重启，会重启防火墙systemctl disable fir

2019-04-16 22:53:25 728

原创关于Java自动类型转换范围的一些理解

Java所有的数值型的变量(包括char)可以互相转换,小范围的数值赋值给大范围的数值就称为自动类型转换，大范围的数值赋值给小范围的数值就成为强制转换。结论：关于数值范围大小我看到两种解释①byte、char、short<int<long<float<double②byte<short<int<long<float<double&nb...

2019-04-07 18:13:25 412

原创 jdk1.9的安装与环境配置

实验于Win101.首先双击安装包，下一步。2.公共JRE根据需求可选可不选3.点击下一步后，等待安装即可。4.jdk1.9目录结构说明：没有名为jre的子目录bin 目录包含所有命令conf 目录包含用户可编辑的配置文件，例如以前位于jre\lib目录中的.properties和.policy文件include 目录包含要在以前编译本地代码时使用的C/C++头文件...

2019-04-05 13:55:00 4601 1

原创解决Centos7关闭You have new mail in /var/spool/mail/root提示

一、问题运行一个命令就会出现“You have new mail in /var/spool/mail/root ”很烦人。[root@HP112 hbase-1.3.1]# jps11381 DataNode11477 SecondaryNameNode11574 HRegionServer12167 JpsYou have new mail in /var/spool/mail/...

2019-04-02 21:04:20 3493

原创安装Maven并配置环境和Eclipse、IDEA新建Maven项目

一、下载Maven官网下载，直接百度maven二、配置Maven1.解压部署Maven（1）检查JAVA_HOME环境变量C:\Users\ysw28>echo %JAVA_HOME%D:\JAVA\jdk1.8.0_201（2）解压Maven的核心程序将apache-maven-3.6.0-bin.zip解压到一个非中文无空格的目录下。例如：D:\JAVA\apache-...

2019-03-31 19:47:01 206

原创 Hadoop常用Shell操作

一、普通操作命令：hadoop fs 适用于任何不同文件系统，比如本地文件系统和HDFS文件系统hadoop 只能适用于HDFS文件系统hdfs fs 跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统常用普通命令： 1.创建目录 -mkdir -p 加上-p表示递归创建目录 2.查看目录 -ls -ls -R 查看目录...

2019-03-27 17:58:13 332

原创 MapReduce程序数据清洗

一、首先准备好需要的清洗的数据二、将数据导入项目中，在项目下新建input(原数据)，output(清洗过后的数据)，如下图所示：三、导入所需要的jarhadoop-2.8.5\share\hadoop\common*jarhadoop-2.8.5\share\hadoop\common\lib*jarhadoop-2.8.5\share\hadoop\hdfs*jarhadoop-2...

2019-03-26 22:22:49 10500 8

原创 Hadoop的API操作遇到的坑

问题一：压缩包莫名不能上传，但像TXT文档可以上传        如下图,主要是隐藏了文件扩展名解决办法：如下图

2019-03-26 16:55:03 293

原创 CentOS7安装MySQL错误解决：error: Failed dependencies net-tools is needed by

错误信息：[root@HP110 software]# rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpmwarning: mysql-community-server-5.7.19-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror...

2019-03-22 16:32:05 6503 2

原创数组的冒泡排序和倒置

代码如下：package com.stu.demo;import javax.naming.ldap.SortControl;/** * * @author ysw28 数组排序 */public class Demo01 { public static void main(String args[]) { // 定义一个数组 int date[] = new ...

2019-03-12 20:38:23 259

原创 Eclipse代码自动提示设置

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;对于编程人员来说，要记住大量的类名或类方法的名字，着实不是一件容易的事情。如果要IDE能够自动补全代码，那将为我们编程人员带来很大帮助。平常都是在Eclipse -&gt; Window -&gt; Perferences -&gt;

2019-03-12 18:41:19 924

原创 Xshell5连接不上Linux的问题解决（NET模式指定静态IP）

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;NET模式下之所以能上网是通过在自己电脑形成一个局域网，NET模式的网段和Windows的网段能通信，然后访问外网。下面是在NET模式上新建一个宿主机IP形成一个局域网。（仅仅是个人理解，有错望指出，一起学习）...

2019-03-05 16:33:39 2532

原创 Hadoop配置历史服务器和日志聚集

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1. 配置mapred-site.xml[atguigu@hadoop101 hadoop]$ vi mapred-site.xml在该文件里面增加如下配置。&lt;!-- 历史服务器端地址 --&gt;&lt;property&gt;&lt;name&gt;mapreduce.jobhistory.address&

2019-03-05 16:12:35 865

原创 Hive的安装与配置之嵌入模式

前言：首先，Hive是依赖于hadoop系统的，因此在运行Hive之前需要保证已经搭建好hadoop环境，JAVA环境也是必须有的，可以参考前文搭建。一、嵌入模式介绍特点：不需要使用MySQL，使用Hive自带的Derby数据库存储Hive的元信息使用自带的Derby只支持一个连接metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息在Linux目录...

2019-01-13 16:34:34 522

原创 Hive安装与配置之本地模式

一、本地模式介绍特点：需要安装配置MySQL数据库替代derby存储元数据可以支持多个连接MySQL在本机中二、准备工作：解压 tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/设置环境变量 vi ~/.bash_profileHIVE_HOME=/root/training/apache-hive-2.3.0-bine...

2019-01-13 16:34:11 1242

原创 Hadoop伪分布式模式的安装与配置

一、伪分布式模式安装介绍那么伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务，但是他模拟了分布式的这个过程，所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能HDFS：NameNode + DataNode + SecondaryNameNodeYarn：R...

2019-01-09 22:29:58 1290

原创 Hadoop本地模式的安装与配置及官方测试WordCount程序

错误描述：ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password:yes)解决方法：1、停止mysql服务：systemctl stop mysqld.service2、修改配置文件无密码登录vi /etc/my.cnf在最尾部加上skip-grant-tables 这是表示没有密码可...

2019-01-09 22:10:03 500

原创 CentOS7的安装

一、下载镜像可以参考清华的镜像文件下载站：https://mirrors.tuna.tsinghua.edu.cn/下载CentOS7版本，CentOS7和RedHat的安装方式一模一样，RedHat7需要钱所以没有(可自行网上搜索，需要可以留言告之)。二、开始安装这里用的是VMware12这个软件，安装方式简单就不操作了。。。安装RedHat Linux 7.41.创建新的虚拟机...

2019-01-09 21:47:34 263

原创 java中的foreach循环

前言：关于java中的foreach循环我在学习hadoop中使用javaAPI中经常用到，一开始并不了解，以前我们学校老师没有告诉我们，也没有遇到，后来不断的使用才渐渐了解。一、介绍：foreach语句是java1.5的新特征之一，在遍历数组、集合方面，foreach为开发人员提供了极大的方便。foreach语句是for语句的特殊简化版本，但是foreach语句并不能完全取代for语句，然...

2019-01-09 21:06:41 13719 1

原创 MySQL5.7的安装与配置

一、下载安装包官网下载路径：https://dev.mysql.com/downloads/mysql/这里默认是32位，等到安装的时候zai选择是安装32位还是64位这里默认是32位，等到安装的时候zai选择是安装32位还是64位二、安装并配置MySQL1、安装2、开启服务，改为手动。自动的话电脑重启需要重新启动，比较麻烦。3、当然也可以手动开启服务...

2019-01-09 21:01:27 97

转载 Tomcat配置域名和tomcat管理页面403 Access Denied的解决方法

tomcat管理页面403 Access Denied的解决方法安装tomcat，配置好tomcat环境变量以后，访问manager app页面，出现403 Access Denied错误，解决的方法如下：1、首先在conf/tomcat-users.xml文件里面，在前面添加如下代码： &lt;!-- 添加用户 --&gt; &lt;user username="admin" ...

2019-01-04 21:13:17 846 2

原创使用插件用Eclipse操作HDFS

一、准备插件. 链接：https://pan.baidu.com/s/1yU4aPq3NvC2NvTSyvM0CSA 提取码：nnaf二、安装插件: Eclipse插件安装： 1、解压Hadoop-2.7.3.tar.gz(windows)2、安装Eclipse3、将插件文件hadoop-eclipse-plu...

2019-01-03 21:28:50 279

原创 MySQL数据库的JDBC及错误解决

一、下载Java 连接 MySQL 需要驱动包。最新版下载地址为:http://dev.mysql.com/downloads/connector/j/，解压后得到jar库文件，然后在对应的项目中导入该库文件。关于驱动我想说一点，也是最近实验才发现的，以前都没有发现，总是出现一些驱动连接错误，更加详细了解可以参照点我这篇博文。二、代码如下：package com.stu....

2019-01-03 21:16:24 366

原创 HDFS使用JavaAPI操作

一、首先自然是导包 $HADOOP_HOME/share/hadoop/common/*.jar $HADOOP_HOME/share/hadoop/common/lib/*.jar $HADOOP_HOME/share/hadoop/hdfs/*.jar $HADOOP_HOME/share/hadoop/hdfs/lib/*.jar二、代码如下pack...

2019-01-03 20:47:41 191

原创使用JavaAPI操作HDFS创建目录和权限问题

一、创建目录1.首先在虚拟Linux上找到jar包 $HADOOP_HOME/share/hadoop/common/*.jar $HADOOP_HOME/share/hadoop/common/lib/*.jar $HADOOP_HOME/share/hadoop/hdfs/*.jar $HADOOP_HO...

2019-01-03 20:26:54 7153

原创 Hello CSDN

**10月8日，怀着忐忐忑忑的心情在WordPress发下第一篇文章，Hello，你好。因为在技术，也没有多余的钱买一个好的主题，就决定不再维护WordPress。虽然自己也感觉比较的遗憾，但是记笔记和分享技术的意愿还是很强烈，之所以选择CSDN主要是因为自己大一懵懵懂懂的时候经学长介绍了解CSDN解决了不上的问题，加上CSDN相对博客园也比较新吧,对它的印象比较好。另外把自己学习中笔记和所...

2019-01-03 19:30:10 126

大数据学习