- 博客(32)
- 收藏
- 关注
RSS订阅原创 深入浅出理解 HDFS NameNode HA
NameNode 高可用整体架构概述在Hadoop1.0时代，Hadoop的两大核心组件HDFS NameNode和JobTracker都存在着单点问题，这其中以NameNode的单点问题尤为严重。因为NameNode保存了整个HDFS的元数据信息，一旦NameNode挂掉，整个HDFS就无法访问，同时Hadoop生态系统中依赖于HDFS的各个组件，包括MapReduce、Hive、Pig以及HBase等也都无法正常工作，并且重新启动NameNode和进行数据恢复的过程也会比较耗时。这些问题在给Ha..
2021-12-26 23:17:21
1615
原创 Vim 编辑器的常用命令
1、怎么退出vim直接在命令行模式输入shift + zz2、插入模式i #从光标所在的位置前面开始插入I #在当前行首插入a #在当前行尾插入o #在光标所在行下方新增一行并进入输入模式O #在当前上面一行插入3、移动光标（命令模式）gg #到文件的第一行，如10gg，表示跳到10行G #到文件最后一行(也可以用Shift+g)^ #非空格行首0 #行...
2018-12-30 10:47:30
254
原创 Ubuntu中的一些有趣的命令和Python之禅
1、Ubuntu 中的几个有趣的命令1.1、sl 命令（1）首先安装slsudo apt install sl（2）然后直接输入sl，就会出现一辆动态的火车头1.2、cmatrix 命令（1）安装cmatrixsudo apt install cmatrix(2) 输入cmatrix，会出现流星雨（3）还可以加上-C 参数，后面加上颜色，可以把流星...
2018-12-30 10:33:07
818
原创 一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？用python实现
1、分析假设该整数为x ,x + 100 = n*n , x + 100 + 168 = m * m 计算等式：m*m - n*n = (m+n)(m-n)=168 设置：m + n = i , m -n = j, i * j = 168,即i 和j 至少有一个偶数 m = (i+j)/2，n = (i-j)/2，因为m 和 n 都是为整数，所以i 和 j 要么都是偶数，要么都是奇数...
2018-12-21 23:49:33
2284
原创 python中列表的切片
1. 切片取一部分叫做切片，切片的原则是左闭右开，即取头部不取尾部；切片的步长默认为1，不可以为0In [13]: a = [1,2,3,'bb','cc','dd']In [14]: a[1:3]Out[14]: [2, 3]In [15]: a[1:4]Out[15]: [2, 3, 'bb']In [16]: aOut[16]: [1, 2, 3, 'bb', '...
2018-12-11 23:16:53
3436
原创 python中使用fromat的时候报错 IndexError: tuple index out of range
In [102]: '{} {} {}'.format(name='张三',age='20',gender='female')---------------------------------------------------------------------------IndexError Traceback (most r...
2018-12-11 23:06:31
25311
转载 Typora的使用
Typora编辑器，我已经下载了一年多了，刚下载的时候用了几次，感觉还不错，不知道啥原因后来就没有使用了。我用过的编辑器有vim，notepad++,ultraedit，sublime，editplus，最近发现还是Typora好用，功能强大，简单易用。具体的使用请见下面的转载博客https://www.wenji8.com/p/7e2nNIb.html...
2018-12-06 16:52:47
374
转载 序列化和反序列化的底层实现原理是什么？
本文转载大佬的文章序列化和反序列化的底层实现的原理序列化和反序列化作为Java里一个较为基础的知识点，大家心里也有那么几句要说的，但我相信很多小伙伴掌握的也就是那么几句而已，如果再深究问一下Java如何实现序列化和反序列化的，就可能不知所措了！遥记当年也被问了这一个问题，自信满满的说了一大堆，什么是序列化、什么是反序列化、什么场景的时候才会用到等，然后面试官说：那你能说一下序列化和反序列化底层...
2018-12-03 15:48:14
248
原创 Hadoop序列化
Hadoop序列化1.1 为什么要序列化？一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。1.2 什么是序列化？序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化就是将收到字节序列...
2018-11-12 22:04:32
155
原创 HDFS,YARN,HBase,Hive,ZooKeeper的默认端口与配置文件
组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 ...
2018-11-12 21:18:33
471
原创 Spark高级算子aggregate所遇到的坑
aggregate操作先对局部聚合，再对全局聚合示例：val rdd1 = sc.parallelize(List(1,2,3,4,5), 2)查看每个分区中的元素：将每个分区中的最大值求和，注意：初始值是0；如果初始值时候10，则结果为：30，因为在局部操作和全局操作的时候都要计算初始值如果是求和，注意：初始值是0：如果初始值是10，则结果是：45...
2018-10-17 19:33:38
1100
1
原创 Sqoop的基本操作，以及导入Oracle和MySQL中的数据到Hive、HDFS、HBase
import ：Import a table from a database to HDFS sqoop import 的本质是：就是MR程序导入数据到HDFS （1）把Oracle中的EMP表 导入到HDFS中[root@bigdata11 conf]#sqoop import --connect jdbc:oracle:thin:@192.168.100...
2018-08-28 12:53:43
1590
原创 安装Sqoop的时候出现Error: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!
具体的错误信息如下：[root@bigdata11 lib]# sqoop helpError: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!Please set $HADOOP_MAPRED_HOME to the root of your Hadoop MapReduce ...
2018-08-27 15:27:51
1036
原创 在Pig中执行pig Latin语句的WordCount时报错为：ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066:
具体的报错信息如下：2018-08-26 02:56:16,841 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!2018-08-26 02:56:16,907 [main] ERROR org.apache.pig.tools.grun...
2018-08-26 16:05:06
2490
原创 搭建Hive远程模式在初始化Hive的时候报错Access denied for user ‘hiveowner‘@‘127.0.0.1‘ (using password: YES)
报错信息如下：[root@bigdata11 conf]# schematool -dbType mysql -initSchemaSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/root/training/apache-hive-2.3.0-bin/lib/log4...
2018-08-25 14:36:29
6845
4
原创 HBase 创建表已经存在，删除表又不存在的问题的两种解决方法
错误提示信息：用list 查看student表发现没有student表的信息通过Web Console 查看表的信息也没有表的任何信息用scan 查看student表，发现也没有任何的信息通过以上的尝试，现在只能查看ZooKeeper中student的注册信息方法一：使用zookeeper-dev-ZooInspector.jar工具查看ZK的...
2018-08-23 15:09:51
5496
原创 Hbase本地模式、伪分布模式、全分布模式、HA的搭建
一、搭建HBase本地模式 解压： tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/ ...
2018-08-22 19:04:40
430
原创 MapReduce实现sql的查询功能
查询员工表中部门所有人的工资总和SQL 语句为：select deptno , sum(sal) from emp group by deptno order by deptno;下面用MapReduce程序来实现对该SQL语句相同的查询功能Mapper程序如下:package SalaryTotal;import java.io.IOException;...
2018-08-14 11:21:28
2381
3
原创 MapReduce的wordcount实现
MapReduce的wordcount主要分为两个阶段，Map和Reduce阶段，具体流程如下图。（1）MapReduce有一个默认的排序规则，是按照字典顺序排序的（大写字母顺序->小写字母顺序->数字顺序）（2）part-r-00000文件 中的part是分区的意思，MapReduce默认只有一个分区（3）_SUCCESS 是执行MapReduce成功的标志文件...
2018-08-13 22:34:05
476
原创 HDFS（NameNode）联盟的搭建及原理的浅析
一、搭建HDFS联盟1、为什么引入HDFS（NameNode）联盟？引入Federation的最主要原因是简单，其简单性是与真正的分布式Namenode相比而言的。Federation能够快速的解决了大部分单Namenode HDFS的问题。Federation是简单鲁棒的设计，由于联盟中各个Namenode之间是相互独立的。Federation整个核心设计实现大概用了3.5个月。大部...
2018-08-13 15:06:26
1233
原创 Hadoop HA的实现
一、集群的规划Zookeeper集群：192.168.100.12 （bigdata12）192.168.100.13 （bigdata13）192.168.100.14 （bigdata14） Hadoop集群：192.168.100.12 （bigdata12） NameNode1 ResourceManager1 Journalnode1...
2018-08-12 20:34:31
422
原创 Python爬取豆瓣电影Top250
1、开发环境 Windows 10 + PyCharm （Python3.6）在下学习python有很长一段时间了，但是对于爬虫技术不咋滴，今天学习了一下爬虫。如有出处，请阅读者指出，让我们共同学习，共同进步，Just Do DT ----> From zero to hero。# -*- coding: utf-8 -*-"""@Time: 2018/8/11 1...
2018-08-11 16:30:46
1209
原创 ZooKeeper分布式锁和ZooKeeper集群的搭建
一、ZooKeeper分布式锁使用Eclipse的Maven来搭建工程，注意使用这种方式需要连接互联网，连接互联网自动下载ZK的所依赖的jar包所需要的pom.xml文件如下<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </...
2018-08-06 22:24:05
318
原创 MySQL [Err] 1055 -Expression #
今天一个朋友问我一条SQL语句，看是否可以优化，结果我执行了一遍，发现报错了。错误的具体信息如下经过分析发现是SQL_MODE的问题,因为在MySQL5.7中，SQL_MODE改为严格模式查看MySQL的SQL_MODE修改MySQL的配置文件,在配置文件中添加sql_modevi /etc/my.cnfsql_mode = 'PIPES_AS_CONCAT,NO_...
2018-08-06 17:41:28
1407
原创 ZooKeeper 的原理浅析和单机环境搭建
ZooKeeper基本概念Zookeeper是什么？Zookeeper官网地址：http://zookeeper.apache.org/ZooKeeper官网文档地址：http://zookeeper.apache.org/doc/r3.4.10/ZooKeeper是Hadoop下的一个子项目，它是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同...
2018-08-05 21:55:35
244
原创 Hadoop 2.x 本地模式、伪分布模式、全分布模式的搭建
一、准备工作1、安装Linux、JDK、关闭防火墙、配置主机名配置主机名vi /etc/hosts本地模式和伪分布模式只需要添加一台主机名，全分布模式需要添加三台本地模式和伪分布模式192.168.100.11 bigdata11 全分布式192.168.100.12 bigdata12192.168.100.13 bigdata13...
2018-07-25 21:57:29
1158
原创 MySQL 5.6主从复制及经典报错的处理过程
.MySQL5.6在线搭建主从复制实验与主从经典故障处理1.MySQL主从复制概述mysql支持单向，双向，链式级联，异步复制,半同步复制(mysql5.5版本之后)，复制过程中,一台服务器当主master，而一个或者多个服务器slave.复制可以是单向：M-->S,也可以双向M<-->M如设置了链式级联复制，那么从服务器本身除了充当slave之外，还...
2018-07-24 15:43:23
1075
原创 MySQL ERROR 1064 (42000)
今天笔者写了一条SQL 语句，不管怎么修改始终报错，可是也没有找到原因，后来才发现是语法的错误。CREATE TABLE 't'( 'a' int(11) NOT NULL auto_increment, 'b' varchar(20) DEFAULT NULL, PRIMARY KEY ('a'), KEY 'b' ('b') ) ENGINE=InnoDB auto_increment=1...
2018-07-24 11:41:49
126295
原创 在linux下搭建MySQL5.6和MySQL5.7
MySQL5.6与MySQL5.7的搭建有一些不一样。请读者仔细阅读笔者搭建的过程，如发现错误，请反馈给我，让我们共同学习和进步，共同在DT这一条道路上越走越远。向每一位读者执意诚挚的敬意。（*）.OS环境:Red Hat Enterprise Linux 7.4 （*）.数据库版本：MySQL 5.6.37 和MySQL5.7.19一、MySQL5.6的单实例搭建新建softw...
2018-07-23 18:43:28
6570
原创 Python 的itchat 的微信文件传输助手和朋友性别，签名，所在城市分析
itchat 是python的微信类，可以用pip install itchat 安装，也可以用conda insatll itchat安装开发环境为Windows10+Anaconda3(python3.6)微信网页登陆import itchatitchat.login()用手机微信二维码扫描即可以登陆网页版的微信2. 微信文件传输助手的运用import itchatitchat.login...
2018-05-31 23:05:11
2917
转载 Jupyter markdown编辑器语法——字体、字号与颜色
Markdown是一种可以使用普通文本编辑器编写的标记语言，通过类似HTML的标记语法，它可以使普通文本内容具有一定的格式。但是它本身是不支持修改字体、字号与颜色等功能的！Markdown编辑器是其衍生版本，扩展了Markdown的功能（如表格、脚注、内嵌HTML等等）！对，就是内嵌HTML，接下来要讲的功能就需要使用内嵌HTML的方法来实现。字体、字号与颜色<font size=4 fa...
2018-05-07 23:44:33
19426
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人