- 博客(57)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 jdk,eclipse,apache,linux,mysql等常用工具历史版本下载地址
------->JDK历史版本下载：http://www.oracle.com/technetwork/java/javase/archive-139210.html--------------------------------------------------------------------------------------------------->ecli...
2018-06-27 22:18:53
415
原创 Centos7.7升级Ruby版本
今天搭建redis-4.0.1版本的集群时，提示ruby的版本需要高于2.2.2,于是进行了升级，这里记录一下，方便你我。第一步：安装ruby环境第二步：查看版本第三步：删除原来的rubygems仓库第四步: 添加aliyun的rubygems仓库并查看第五步：使用RVM进行升级ruby[root@qianfeng04 ~]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1
2022-03-21 23:40:27
2017
原创 Zookeeper的应用场景
好久没有写文章了。今天看到Zookeeper的应用场景案例，突然回忆到以前就曾想整理一篇Zookeeper的应用场景介绍。
2020-09-22 20:14:53
521
原创 《Linux系统》虚拟机删除文件后，磁盘文件所占物理空间没有变小的解决方式
大家在玩虚拟机时，经常会遇到这种情况，在虚拟机上删除（rm -rf ...）大文件时，真正的物理磁盘上对应的虚拟机文件没有变小。如果你的物理磁盘不够大，你的那个盘符可能就飘红了。很多人再尝试了很多方法后，依然没有解决。有强迫症的人，可能就要重新安装系统了.......下面把我在VMware里安装的CentOS7.7上反复验证、测试有效的方法总结到下面，希望可以帮助上你们。方法1：dd +...
2020-01-06 10:11:34
3509
3
原创 《CentOS7.7》安装MySQL-5.7.28
上一篇文章中，我整理了CentOS7.7安装MySQL-5.7.21版本遇到的坑，这里我整理一下CentOS7.7安装MySQL-5.7.28一、安装环境--1. CentOS7.7 也就是这个映像文件：CentOS-7-x86_64-Minimal-1908.iso--2. MySQL-5.7.28 也就是这个...
2020-01-01 22:49:37
2226
3
原创 《CentOS7.7》安装MySQL-5.7.21
今天闲着没事，玩玩CentOS7.7，结果在安装MySQL-5.7.21时，各种坑，费劲巴拉的终于安装上了。然后我又下载了MySQL-5.7.28，安装试试，嗯，坑少了一点点，捂脸笑ing....................下面我整理一下，供大家参考，少采坑。CentOS7.7安装Mysql5.7.28.在下一篇中。一、安装环境--1. CentOS7.7 ...
2020-01-01 22:20:05
690
原创 《Linux系统》之"皮毛系列"（十）使用定时器进行时间同步
玩linux系统的人应该知道这个事情，那就是Linux系统时间有两个，一个是硬件时间，即BIOS时间；另一个是系统时间，即linux系统Kernel(内核程序)时间。当Linux启动时，系统Kernel会去读取硬件时钟的设置，然后系统时钟就会独立于硬件运作。而某些时候，我们会发现系统时钟和硬件时钟不一致，此时需要进行时间同步。一、设置Linux系统的时区1.查看时间或者时区#查看时间...
2019-08-14 12:54:05
406
原创 《JDBC连接技术》"江南月"（二）常用的连接池dbcp、c3p0、druid
我们应该知道，在进行数据库连接的时候，是极其消耗时间和性能的。如果每次对数据库进行操作，都要进行一次Connection，那么，可想而知，性能有多么的差。你要知道，一个大型的web应用，同一时间就可能有成千上万个访问数据库的请求，并且数据库服务器能供同时创建的Connection数目也是有限的。因此，问题来了。怎么最大限度的利用这些有限资源呢？数据库连接池的技术出现，解决了这一问题。连接池...
2019-07-26 15:59:59
384
4
原创 XML与JSON的简介
一、XML1.XML的概述XML，全名为 Extensible Markup Language,可扩展标记语言。可以用于标记数据，定义数据类型，对文档和数据进行结构化处理，是一种允许用户自定义标记的源语言。它的设计宗旨是存储和传输数据，非常适合万维网传输数据。又因为XML没有预定义任何标记，所有标记都是用户自定义和命名的，在用户之间不是很方便，不规范。因此，W3C组织又定义了一些约束文...
2019-07-24 20:45:33
575
原创 《JDBC连接技术》"江南月"（一）JDBC的简介
在数据库开发领域，我们还要关心这样的一个需求：应用程序是要与数据库进行连接的，要进行对数据的"存取"业务。早期的数据库开发领域是没有通用的应用程序编程接口的。开发人员在使用不同数据库产品时，必须学习和使用厂商专用API，例如Oracle Call Interface、Microsoft Database Library等，增加了开发的成本，和开发周期。一、ODBC针对业界对通用编程接口...
2019-07-15 16:19:17
384
原创 《硬件简介》"火炎焱燚"（一）机械硬盘的基础知识
一、引言：在学习HDFS的过程中，我们选择block大小的其中一个最重要的因素就是要最小化寻址开销时间，即传输一个文件的时间要明显大于寻址开销时间。我们知道磁盘的寻址开销时间大约在3ms~15ms之间，平均在10ms左右（可见，如果一个很小的文件的传输时间也是10ms左右,那么寻址开销时间和传输时间的比例就是1:1了，违反了最小化寻址开销的目的，因此这也是hdfs适用于大数据集文件的存储的原因...
2019-04-02 11:33:58
710
原创 《MapReduce》"雨作酒"（一）MapReduce的概述
在大数据时代，除了需要解决大规模数据的高效存储问题，还需要解决的另一个问题，就是如何对大规模数据进行高效处理？我们知道Hadoop的有两个核心技术，一个是HDFS（解决了大规模数据的存储问题），另一个是MapReduce。而MapReduce这个核心技术就是解决如何对大规模数据进行高效处理的并行编程模型。一、分布式并行编程在过去的很长一段时间里，CPU的性能都会遵循”摩尔定律“，在性能上每...
2019-02-18 17:20:44
775
原创 《Java面向对象》"花为诗"（三）抽象类、接口及类与类的关系
一、抽象类由于继承这个显著特点，我们可以将子类设计的更加具体，而父类更加一般化，通用化。父类可以封装不同子类的共同特征或者共同行为.而有的时候，父类中封装的方法无法具体完成子类中需要的逻辑，因此我们可以将此方法设计成抽象方法，即使用关键字abstract进行修饰。而有抽象方法的类，也必须使用abstract关键字进行修饰，因此我们称之为抽象类1、抽象方法与抽象类由abstract修饰的...
2019-01-25 14:47:00
261
原创 《Java基础篇》"一页知求 "（三）变量、基本数据类型、及其类型转换问题
如果你想学好Java编程语言，最最基本的，你要搞懂变量的概念。一、变量1、概念jvm在其管理的内存中开辟的、用来存储数据的存储空间。我们使用变量名称来操纵(使用)这些存储空间。2、命名规则我们用名称来标识存储空间，因此，变量名称的命名要符合标识符语法规则可以由字母，数字，_和$任意多个组成，但是数字不能开头 大小写字母敏感，需要特别注意 可以使用汉字，但是不建议使用 ...
2019-01-24 13:55:44
365
4
原创 《Java基础篇》"一页知求 "（二）Java编程语言的简介、发展和特点介绍
一、Java简介Java是由Sun Microsystems公司于1995年5月推出的Java面向对象程序设计语言和Java平台的总称。由James Gosling和同事们共同研发，前身叫 Oak，衍生自 C++。java平台由Java虚拟机（Java Virtual Machine）和Java 应用编程接口（Application Programming Interface、简称API）构成...
2019-01-24 12:21:00
656
原创 《Java面向对象》"花为诗"（二）面向对象与基于对象的区别
在上一章，我整理了面向对象与面向过程的区别，相信对大家有一定的帮助。在这一章中，我来给大家整理一下面向对象的特征，以及"基于对象"这个概念的理解。一、面向对象的特征面向对象是以类为基本单元，以对象为核心的编程思想，必须具备这三个特征：封装(Encapsulation)，继承(Inheritance)，多态(Polymorphism)。1、封装封装指的是将实现的具体细节隐藏起来，依据...
2019-01-24 10:48:00
355
原创 《Java面向对象》"花为诗"（一）面向对象和面向过程的区别
想学好Java编程语言，就要理解“面向对象的编程思想”。今天我们就用目前软件开发领域中的另一种主流的设计方式“结构化程序设计”来与面向对象程序设计进行对比，来帮助大家理解这种编程思想。结构化编程语言代表有：C、Basic、Pascal。随着软件开发技术的发展，人们发现面向对象可以提供更好的可重用性，可扩展性和可维护性，于是出现了大量的面向对象的编程语言，代表有：C++,Java,C#,Ruby...
2019-01-23 18:25:13
400
原创 《Hadoop》"呶呶不休"（五）Windows10下的Eclipse搭建Hadoop2.7.3开发环境
在这一章里，我们来学习如何在Windows操作系统下，搭建Hadoop2.7.3集群的Eclipse开发环境。一、准备工作1、安装Hadoop2.7.3集群我们使用VMware工具安装多台Linux系统，然后在Linux系统上搭建我们所需要的Hadoop2.7.3完全分布式集群。具体步骤可以参考我写的《Hadoop》之"踽踽独行"（十）快速搭建一个Hadoop完全分布式集群或者是另一篇...
2019-01-16 15:19:36
627
2
原创 《Hadoop》"呶呶不休"（四）HDFS读写流程的详解
在这一章里，我们来具体了解一下客户端与HDFS、Namenode和Datanode之间的数据流到底是什么样子的。我们分别从两个方面来了解数据流，一个是客户端从HDFS中读数据，一个是客户端向HDFS中写数据。一、读流程解析我们来结合一下代码和流程图来解析一下HDFS的读流程。public static void main(String[] args) throws Exception...
2019-01-15 23:42:06
483
原创 《Hadoop》"呶呶不休"（三）HDFS的存储原理
一、数据块的冗余为了保证系统的容错性和可用性，hdfs采用了多副本方式对数据块进行冗余存储，也就是一个数据块的多个副本会被分布到不同的Datanode上，存储在Datanode的本地文件系统中。这种多副本的存储方式有以下优点：1）加快数据传输速度。当多个客户端需要同时访问同一个文件时，这些客户端可以从不同的数据块副本中读取数据，大大提高了数据的传输速度。2）容易检查数据错误。HDFS...
2019-01-14 16:28:17
1912
原创 《Hadoop》"呶呶不休"（二）HDFS体系结构概述
在上一章中，我们了解了HDFS的设计思想，从而引出了一些相关概念，比如块、名称节点（Namenode）、数据节点（Datanode）、还有SecondaryNamenode等等。在这一章，我们从HDFS的整体结构上再来全面了解一下。一、体系结构简介HDFS 采用的是master/slaves这种主从的结构模型来管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Na...
2019-01-13 17:35:16
612
原创 《Hadoop》"呶呶不休"（一）HDFS设计思想和相关概念
一、HDFS简介1、简单介绍HDFS（Hadoop Distributed FileSystem），是Hadoop项目的两大核心之一，源自于Google于2003年10月发表的GFS论文，是对GFS的开源实现。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS在设计之初，就是要运行在通用硬件(commodity hardware)上，即廉价的大型...
2019-01-12 17:55:47
597
原创 《Hadoop》之"踽踽独行"（十）快速搭建一个Hadoop完全分布式集群
截止到今天，我已经在博客中给大家介绍了hadoop的本地模式、伪分布式搭建，并且在《Hadoop》之"踽踽独行"（四）中也总结了在CentOS6.5平台上搭建的hadoop2.7.3集群的步骤。在那篇文章中，会涉及到一些原理，比如节点之间的SSH无密码登录,时间同步，防火墙设置以及在多节点之间的文件传输等等。当然，那样的集群搭建很适合理解搭建原理。现在呢，hadoop集群的搭建原理，我们也知道...
2019-01-10 17:21:09
926
原创 《Hadoop》之"踽踽独行"（九）Hadoop集群的四个配置文件的属性解析
在启动hadoop集群的守护线程时，一定会加载并运行相关的class字节码文件。通过common模块和hdfs模块里的源码可以看到，它们读取了相关的配置文件。hadoop-common-2.7.3-sources.jar下的org.apache.hadoop.conf.Configuration源文件的部分源码：package org.apache.hadoop.conf; //类的全...
2019-01-10 12:44:36
640
1
原创 《Hadoop》之"踽踽独行"（八）Hadoop集群的启动脚本整理及守护线程源码
在上一章的伪分布式集群搭建中，我们使用start-dfs.sh脚本启动了集群环境，并且上传了一个文件到HDFS上，还使用了mapreduce程序对HDFS上的这个文件进行了单词统计。今天我们就来简单了解一下启动脚本的相关内容和HDFS的一些重要的默认配置属性。一、启动脚本hadoop的脚本/指令目录，就两个，一个是bin/，一个是sbin/。现在，就来看看几个比较重要的脚本/指令。1、...
2019-01-09 17:26:22
1974
1
原创 《Hadoop》之"踽踽独行"（七）Hadoop的伪分布式集群搭建
在上一章我给大家介绍了Hadoop的单节点集群本地模式的搭建，在这一章中，我们来了解一下Hadoop伪分布式集群的搭建与用途。一、Hadoop伪分布式集群（pseudo distributed cluster）1、简介hadoop的pseudo distributed cluster（伪分布式集群），就是在一台主机上模拟多个主机。即hadoop的守护程序在本地计算机(这个指的是Linu...
2019-01-08 14:37:58
638
1
原创 《Hadoop》之"踽踽独行"（六）Hadoop的单节点集群设置
在《Hadoop》之"踽踽独行"（五）这一篇中，我们对Hadoop进行了简单的概述。接下来，我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种，我们一一来了解一下单节点上的本地模式(独立模式) ：Local（Standalone）Mode 单节点的伪分布模式：Pseudo-Distributed Mode 多节点的安全分布式集群模式：Fully-Distribute...
2019-01-08 13:09:33
394
原创 《Hadoop》之"踽踽独行"（五）Hadoop简介及其Hadoop生态系统
一、Hadoop出现的原因现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看...
2019-01-04 13:06:40
760
原创 《Hadoop》之"踽踽独行"（三）物联网概述
在上一章《Hadoop》之“踽踽独行”（二）中，我们介绍了云计算的相关概念，在这一章里，我们来介绍一下物联网的概念，及其大数据，云计算和物联网三者的区别与联系。一、物联网1、物联网的概念物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。从技术架构上来看，...
2019-01-03 11:28:23
7831
2
原创 《Hadoop》之"踽踽独行"（二）云计算概述
在《Hadoop》之“踽踽独行”（一）大数据概述的那一章中，我们对大数据的相关概念做了详细的解说。而云计算、物联网与大数据代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。为了更好地理解三者之间的紧密关系，下面也简要介绍云计算（物联网的概念的在下一章介绍)。1、云计算概念云是网络、互联网的一种比喻说法。过去在图像中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽...
2019-01-02 17:14:30
543
原创 《Linux系统》之"深入浅出"（六）shell script（续）
目录一、shell script里常用的几个命令1、expr命令2、echo命令3、printf命令4、test命令5、判断符号[]二、流程控制语句1、if分支结构2、case..in语句3、while循环结构4、until循环结构5、for循环结构6、select表单循环7、shift指令三、函数的应用四、script之间的引入...
2019-01-02 15:13:07
439
原创 《Linux系统》之"深入浅出"（五）shell script
目录一、shell script 与shell1、什么是shell script2、shell script的用途二、shell编程规范1、shell script的结构2、shell script的执行3、简单示范三、shell字符串1、字符串的基本用法2、字符串的拼接3、字符串的长度4、子字符串的截取5、字符串的替换6、获取子字符串的位置...
2018-12-31 23:36:49
347
原创 《Linux系统》之"深入浅出"（四）shell环境配置文件和数据流重定向
一、shell环境配置用户在登录Linux系统后，就会启动bash进行作业。而在bash启动后，会读取与之相关的一些环境配置文件，从而搭建出bash自己的操作环境。还记得我们之前使用的命令别名和自定义的变量吗？这些数据一旦注销/关闭bash后，就会失效。所以，如果你想永久保留你的设置，那么就需要将这些设定写入配置文件中才可以。这些配置文件，我们可以将他们分为两大类：一类为系统配置文件，一类...
2018-12-29 16:57:45
352
原创 《Linux系统》之"深入浅出"（三）shell概述
一、什么是shell到底什么是shell呢？我相信，这个问题，应该困扰过很多人吧？那么今天，我们就来好好捋一下这个概念。首先，从英文单词上来理解，是“壳”的意思，用于区别“核”的概念，有“壳”保护“核”的涵义；这就好比“鸡蛋壳”与“鸡蛋黄”。然后我们再从计算机的角度来理解一下，计算机由一组硬件组成,，而内核（kernel）是用来管理和操纵这些硬件让其工作的。那么内核总不能让用户随意操作吧！...
2018-12-26 23:30:10
385
原创 《Linux系统》之"深入浅出"（二）软件包的线上升级机制YUM
一、YUM的简介在使用rpm机制的时候，我们最闹心的地方，可能就是软件依赖问题了。而YUM机制恰恰帮助我们解决了这一问题。YUM，是Yellow dog Updater, Modified 的简称。YUM会通过分析rpm软件包内的预设参数，制定软件依赖的解决方法，然后自动处理软件依赖的问题。这样，在安装、升级或者是卸载时，用户就不必头疼这个依赖问题了。图示YUM在线升级的原理与过程：Y...
2018-12-26 17:00:01
309
原创 《Linux系统》之"深入浅出"（一）软件包管理机制RPM
在window系统下，我们只需要点击软件的安装程序，然后傻瓜式的连续点击下一步下一步即可；想卸载的话，我们只需要去控制面板里选择我们要卸载的软件，然后点击卸载按键，是非常的方便。但是在安全系数上，就没有Linux系统高了。那么，如何在Linux系统上安装我们想要的软件呢？又如何对已经安装的软件进行升级或者是卸载呢？一、 软件包管理技术的简介为了使用户更方便的在Linux系统上管理应用程...
2018-12-25 15:53:19
465
原创 《Linux系统》之"皮毛系列"（九）文件的解压缩与打包
一、压缩的意义在备份文件资料时，你是否有过因文件太大，发现你的硬盘空间快不够用了呢？在写邮件时，你是否也有过因文件太大而发现不能上传到附件里呢？在下载资料时，你是否因文件太大而抱怨呢？我想，应该都有过。这个时候，压缩技术就派上用场了。因为压缩技术可以使文件所占磁盘空间更小，换句话说，就是以某种合理的逻辑算法将文件的字节数量变的更少。 有人就想了，磁盘最小的存储单位的就是byte，怎么...
2018-12-21 15:06:14
377
1
原创 《Linux系统》之"皮毛系列"（八）Vim/Vi的简介及使用
一、Vim/Vi的简介1、为什么要学习Vim/Vi世界上的文本编辑器(含代码编辑器)的种类多不胜数，他们各有各的优点，在功能设计上也很强大，可视化界面上也越做越好看，既然有那么多的编辑器，我们为什么还要学习Vim/Vi呢。我来说一下原因：1、所有的类Unix系统，都自带vi 文本编辑器2、很多应用程序的编辑界面都会主动呼唤 vi编辑器 3、vim 具有程序编辑的能力，可以主动的以...
2018-12-20 17:19:39
497
原创 《Linux系统》之"皮毛系列"（七） 网络通信设置
对于Linux初学者来说，Linux系统的网络配置，又好玩又烦恼。好玩是因为，多台linux主机之间可以通信了，或者是可以联网进行网上冲浪了。烦恼的是，需要设置一堆恶心难记的数据。(记得本人刚刚接触Linux时，遇到网络设置就一个头两个大)。今天我就整理一下配置思路，供大家参考！！！(下面案例以VMware软件中搭建的CentOS6.5系统为主)一、几个关于网络的相关概念如果你想让你安装的...
2018-12-19 17:31:13
444
原创 《Linux系统》之"皮毛系列"（六） 文件搜索相关命令
为什么要使用搜索命令呢？第一：随着时间的流逝，文件系统中的文件越来越多，我们不可能记住所有文件的位置或内容（除非你是天才中的天才，呵呵呵）。第二：不同版本的Linux,系统文件或者是应用程序所需要的文件的存储位置可能会有所差别。因此Linux系统提供了一些文件搜索命令，供我们搜查我们所要寻找的文件。一、命令文件的搜索在命令模式下，连续输入两次[tab]键就可以知道当前用户有多...
2018-12-19 02:01:17
338
hadoop-eclipse-plugin-2.7.3.jar
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人