- 博客(46)
- 收藏
- 关注
RSS订阅原创 解码Hadoop系列——NameNode启动流程
namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。...
2022-08-11 16:23:28
3718
原创 大数据存储基石——HDFS
随着数据量越来越大，在一个本地文件系统里边已经存不下所有的数据，需要将数据分配到更多的操作系统和文件管理系统，但是不方便管理和维护，所以需要一个系统来统一管理这些存储了所有数据的机器，这个系统也就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。!HDFS（全称HadoopDistributeFileSystem，Hadoop分布式文件系统），用于文件存储和管理，通过目录树来定位文件，是分布式的。可以与Linux文件系统做类比，只不过是封装了很多机器的文件管理功能。...
2022-07-27 18:16:25
2235
原创 MySQL链接错误
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
2022-07-07 20:36:56
592
原创 电商离线数仓从0到1系列之二 hive，flume环境搭建
hive安装hive内置元数据库Derby，但一般采用自有的元数据库，这里用mysqlhive集群分配：软件warehouse101warehouse102warehouse103hadoop√√√hive√√√mysql√元数据（metastore）采用远程模式配置，配置规划：服务warehouse101warehouse102warehouse103metastore√√HiveServer2√
2021-11-15 16:53:37
1806
原创 Hadoop面试题
HDFShdfs读流程客户端向NameNode发起RPC请求，请求文件block位置NameNode检查是否有访问权限，如果有权限则继续检查是不是有这个文件，如果有这个文件则返回部分或全部的block列表，对于每个block，NameNode会返回含有该副本的DataNode地址客户端根据就近原则挑选一台DataNode，请求读取数据DataNode开始传数据给客户端当读完列表的block后，若文件读取没有结束，向NameNode获取下一批block列表读取完一个blo
2021-10-29 17:18:38
1758
原创 hadoop问题之——————＞Warning: fs.defaultFS is not set when running “ls“ command.
问题图示：解决方法：1.查看环境变量配置是否有误由上图可知环境配置没问题进入下一步2.查看hadoop 和hdfs命令指向which hadoopwhich hdfs由结果得知问题原因在于hdfs命令指向错误，本来应该指向安装目录 /opt/lagou/servers/hadoop-2.9.2/bin/hadoop 而实际指向是/usr/bin/hdfs ，导致错误3.删除/usr/bin下的hdfsrm -rf hdfs4.重新启动hdfs可看到问题..
2021-06-26 20:08:13
618
2
原创 jdbc 相关Connection，Statement，ResultSet对象无法在finally代码块关闭问题
由下图可以看到ResultSet对象可在finally代码块里关闭，而Statement对象在finally块里不能调用close方法问题原因：st是在try代码块里定义的变量，finally里不能调用try里定义的Statement对象的方法解决方法：将Statement和Connection对象同ResultSet对象一样在try代码块外声明...
2021-02-26 09:58:42
369
原创 java.io.EOFException异常处理
在读取文件中对象时遇到java.io.EOFException异常import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.ObjectInputStream;import java.util.ArrayList;public class ReadFromFile { public static ArrayList<Student> rea.
2021-02-24 10:19:56
14706
原创 mysql安装问题之libaio.so.1()(64bit) is needed by MySQL-server
原因：缺少依赖包解决方法：yum install libaio
2020-12-22 16:44:52
707
原创 Linux目录结构
bin：是binary的缩写，该目录下存放的是最常用的命令boot：该目录下存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件dev：device（设备）的缩写，该目录下存放的是Linux外部设备，在Linux中访问设备方式和访问文件方式是相同的etc：该目录下存放的是所有系统管理所需要的配置文件和子目录home：用户的家目录，在Linux中，每个用户都有一个...
2018-08-04 14:57:10
215
原创 oracle语句执行顺序
SQL SELECT语句完整的执行顺序：1、FROM子句组装来自不同数据源的数据；2、WHERE子句基于指定的条件对记录进行筛选；3、GROUP BY子句将数据划分为多个分组；4、使用聚集函数进行计算；5、使用HAVING子句筛选分组；6、计算所有表达式；7、使用ORDER BY对结果进行排序。sql的执行顺序，是优化sql语句执行效率必须要掌握的。各个...
2017-08-22 17:14:55
854
原创 JDBC
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;import java.util.List;
2017-08-22 17:14:43
234
原创 java两个变量值互换
方法一：用中间变量int a =3;int b =4;int temp;int temp =a;a=b;b=temp;方法二：位运算int a =3;int b =4;a=(a^b)^a;b=(a^b)^b;方法三：两个数求和再相减（若两个变量值较大可能会丢失精度）int a =3;int b =4;a =a+b;b=a-b;a=
2017-07-03 15:34:17
724
原创 JavaScript变量命名规则
变量的命名相对而言没有太多的技术含量，今天整理有关于变量命名相关的原则，主要是想告诉大家，虽然命名没有技术含量，但对于个人编码，或者说一个团队的再次开发及阅读是相当有用的。良好的书写规范可以让你的JavaScript代码更上一个台阶，也更有利于团队的再次开发和阅读代码。全名原则变量名区分大小写，允许包含字母、数字、美元符号($)和下划线，但第一个字符不允许是数字，不允许包含空格和其
2017-06-20 16:03:10
850
转载 kill和kill -9的区别
很多时候，会有人建议你，如果kill杀不掉一个进程，就用kill -9. 为什么？kill是Linux下常见的命令。其man手册的功能定义如下：kill – send a signal to a process明朗了，其实kill就是给某个进程id发送了一个信号。默认发送的信号是SIGTERM，而kill -9发送的信号是SIGKILL，即exit。exit信号
2017-06-14 18:46:40
8027
1
原创 JAR，WAR，EAR区别
JAR，WAR，EAR区别以最终客户的角度来看，JAR文件就是一种封装，他们不需要知道jar文件中有多少个.class文件，每个文件中的功能与作用，同样可以得到他们希望的结果。除jar以外对于J2EE来说还有war和ear。区别见下表： JARWAREAR英文Java Archive fil
2017-06-09 11:03:48
242
转载 JSP 页面重定向
JSP 页面重定向当需要将文档移动到一个新的位置时，就需要使用JSP重定向了。最简单的重定向方式就是使用response对象的sendRedirect()方法。这个方法的签名如下：public void response.sendRedirect(String location)throws IOException 这个方法将状态码和新的页面位置作为响应发回给浏览器。
2017-05-25 14:14:49
1384
原创 oracle中的日期选择
Select to_char(sysdate,'ss') from dual取当前时间秒部分 Select to_char(sysdate,'mi') from dual取当前时间分钟部分 Select to_char(sysdate,'HH24') from dual取当前时间秒小时部分 Select to_char(sysdate,'DD') from dual取当前时间日期部分
2017-05-23 10:03:38
495
原创 JSP 服务器响应
JSP 服务器响应Response响应对象主要将JSP容器处理后的结果传回到客户端。可以通过response变量设置HTTP的状态和向客户端发送数据，如Cookie、HTTP文件头信息等。一个典型的响应看起来就像下面这样：HTTP/1.1 200 OKContent-Type: text/htmlHeader2: ......HeaderN: ... (空行)do
2017-05-22 13:20:21
223
原创 JSP 客户端请求
JSP 客户端请求当浏览器请求一个网页时，它会向网络服务器发送一系列不能被直接读取的信息，因为这些信息是作为HTTP信息头的一部分来传送的。您可以查阅HTTP协议来获得更多的信息。下表列出了浏览器端信息头的一些重要内容，在以后的网络编程中将会经常见到这些信息：信息描述Accept指定浏览器或其他客户端可以处理的MIME类型。它的值
2017-05-22 13:15:54
220
转载 JSP三大指令
JSP 指令JSP指令用来设置整个JSP页面相关的属性，如网页的编码方式和脚本语言。语法格式如下： directive attribute="value" %>指令可以有很多个属性，它们以键值对的形式存在，并用逗号隔开。JSP中的三种指令标签：指令描述定义网页依赖属性，比如脚本语言、error页面、缓存需求等等
2017-05-16 13:25:48
210
转载 TCP/IP 寻址
TCP/IP 寻址TCP/IP 使用 32 个比特或者 4 组 0 到 255 之间的数字来为计算机编址。IP地址每个计算机必须有一个 IP 地址才能够连入因特网。每个 IP 包必须有一个地址才能够发送到另一台计算机。在本教程下一节，您会学习到更多关于 IP 地址和 IP 名称的知识。IP 地址包含 4 组数字：TCP/IP 使用
2017-05-11 13:39:54
500
原创 TCP/IP
TCP/IP 介绍TCP/IP 是用于因特网 (Internet) 的通信协议。计算机通信协议（Computer Communication Protocol）计算机通信协议是对那些计算机必须遵守以便彼此通信的的规则的描述。什么是 TCP/IP？TCP/IP 是供已连接因特网的计算机进行通信的通信协议。TCP/IP 指传输控制协议/网际协
2017-05-11 13:37:01
160
原创 HTTP状态码
HTTP状态码当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含HTTP状态码的信息头（server header）用以响应浏览器的请求。HTTP状态码的英文为HTTP Status Code。下面是常见的HTTP状态码：200 - 请求成功301 - 资源（网页等）被永久转移到其它U
2017-05-10 14:10:46
151
转载 HTTP 响应头信息
HTTP 响应头信息HTTP请求头提供了关于请求，响应或者其他的发送实体的信息。在本章节中我们将具体来介绍HTTP响应头信息。应答头说明Allow服务器支持哪些请求方法（如GET、POST等）。Content-Encoding文档的编码（Encode）方法。只有在解码之后才可以得到Content
2017-05-10 14:10:10
220
原创 HTTP请求方法
HTTP请求方法根据HTTP标准，HTTP请求可以使用多种请求方法。HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。序号方法描述1GET请求指定的页面信息，并
2017-05-10 14:09:21
156
原创 http
HTTP 简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。HTTP 工作原理HTTP协议工作于客户端-服务端架构
2017-05-10 14:02:32
197
转载 用户权限
1.查看所有用户：select * from dba_user; select * from all_users; select * from user_users; 2.查看用户系统权限：select * from dba_sys_privs; select * from all_sys_privs; select * from user_sys_privs; 3
2017-05-10 10:56:19
178
原创 oracle信息查看
--查看用户和默认表空间的关系select username,default_tablespace from dba_users;--查看当前用户能访问的表select * from user_tables; --Oracle查询用户表select * from user_all_tables;--Oracle查询用户视图select *
2017-05-10 10:49:56
223
转载 Linux 远程登录
Linux 远程登录Linux一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。Linux系统中是通过ssh服务实现的远程登录功能，默认ssh服务端口号为 22。Window系统上 Linux 远程登录客户端有SecureCRT, Putty, SSH Secure Shell等
2017-05-03 15:58:24
300
转载 Linux 忘记密码解决方法
Linux 忘记密码解决方法很多朋友经常会忘记Linux系统的root密码，linux系统忘记root密码的情况该怎么办呢？重新安装系统吗？当然不用！进入单用户模式更改一下root密码即可。步骤如下：重启linux系统3 秒之内要按一下回车，出现如下界面然后输入e在 第二行最后边输入 single，有一个空格。具体方法为按向下
2017-05-03 15:55:52
241
转载 Linux 磁盘管理
Linux 磁盘管理Linux磁盘管理好坏管理直接关系到整个系统的性能问题。Linux磁盘管理常用三个命令为df、du和fdisk。df：列出文件系统的整体磁盘使用量du：检查磁盘空间使用量fdisk：用于磁盘分区dfdf命令参数功能：检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。
2017-05-02 14:05:31
174
原创 oracle系统包DBMS_OUTPUT
dbms_output包主要用于调试pl/sql程序，或者在sql*plus命令中显示信息(displaying message)和报表，譬如我们可以写一个简单的匿名pl/sql程序块，而该块出于某种目的使用dbms_output包来显示一些信息。涉及到的知识点如下：1、enable：在serveroutput on的情况下，用来使dbms_output生效(默认即打开)2、dis
2017-05-01 14:54:46
326
原创 oracle包
包也是模式对象，包将过程，函数和数据结构捆绑在一起。包由两部分组成：说明部分与包体。说明部分定义包的接口，包体部分包含实现过程及函数的代码，用户可以调用包中的过程和函数。创建包删除包对保重的函数或过程进行重载如何得到mypack包规范的创建脚本如何得到mypack包体的创建脚本如何知道包中有哪些过程和函数
2017-04-30 17:09:11
256
原创 oracle函数2
如何利用函数返回记录集方法一：利用游标方法二：利用集合类型TRUNC函数的用法trunc函数用于对值进行截断，用法有两种：trunc（number），trunc（date）；前者表示截断数字，后者表示截断日期截断数字：trunc（n1,n2）n1表示要被截断的数字n2表示截断到哪一位，n2可以是负数，表示截断小数点之前，特别注意的是这里的截断不是四舍五入截断日期：trunc
2017-04-30 11:24:39
243
原创 oracle函数1
函数也是编译好的，存储在数据库服务器上的程序代码。函数有名字及参数，与存储过程不同的是函数必须有返回值如果只想在自己的模式中创建函数，只需具有create procedure权限，如果想在其他模式下创建函数，用户必须具有create any procedure权限语法：创建函数create [or replace] function [schema.]function_name [
2017-04-29 18:11:26
388
转载 Linux 用户和用户组管理
Linux 用户和用户组管理Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。每个用户账号都拥有一个惟一的用户名和各自的口令。用户
2017-04-27 15:31:38
499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人