- 博客(104)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MySQL主备操作
MySQL版本：8.0.18参考前提：保持主从mysql版本一致，数据库和表数据一致（可以通过dump操作。）。并且在配置主备的过程中必须保证master上不能有更新操作（可以通过锁库来操作）。1.在master和slave节点机器上修改/etc/mysql/mysql.conf.d/mysqld.cnf文件。添加以下内容log-bin=mysql-bin # master参数serv...
2020-01-03 18:00:44
280
原创 Elasticsearch6.3.2的安装
一、下载下载地址：链接：https://pan.baidu.com/s/17JD8NEE3IV_I56z-n_d99g提取码：v2qp二、解压tar -zxvfelasticsearch-6.3.2.tar.gz三、用root用户修改limits.conf文件，在文件末尾添加以下内容。#vim /etc/security/limits.conf* hard no...
2019-07-26 18:41:49
465
原创 Elasticsearch的简单使用
一、介绍Elasticsearch是一个实时分布式搜索和分析引擎。维基百科、卫报、Stack Overflow、GitHub都使用了Elasticsearch。Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库Apache Lucene™基础之上。Elasticsearch 是使用 Java语言 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使...
2019-07-26 10:39:13
214
原创 循环队列的JAVA实现
循环队列1：（通过预留一个元素空间来判断队空或队满） public class SqQueue { private final int MAXSIZE = 100; int rear; int front; int[] data = new int[MAXSIZE]; public void add(int a) { if ((rear + 1) % MAXSIZE == f...
2019-02-15 22:39:19
234
原创 Hive命令的执行过程
1.入口/bin/cli.sh调用CliDriver类进行初始化过程>处理-e，-f， -h等信息，如果是-h,打印提示信息，并退出>读取hive的配置文件，设置HiveConf>创建一个控制台，进入交互模式2.在交互方式下，读取每一个输命令行，直到‘；’为止，然后提交给processLine(cmd)方法处理，该方法将输入的流以；分割成多个命令，然后...
2018-12-02 17:02:22
2963
2
原创 windows桌面右键菜单以及文件右键菜单添加自定义应用程序
一、桌面右键菜单添加应用程序（以计算器为例）1.使用命令regedit打开注册表，来到\HKEY_CLASSES_ROOT\Directory\Background\shell\ 目录下2、在shell目录下新建项为Calculator的目录，并且在右边双击“（默认）”，输入“计算器（&C）”，表示名称为计算器，快捷键是c然后创建名为Icon的字符串值，并且值...
2018-12-02 11:42:54
2840
1
原创 python中lxml模块下的xpath用法
安装 pypi下载地址：https://pypi.python.org/pypi/lxml/3.4.2#downloadspip install lxmlXPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上...
2018-12-02 08:09:33
739
翻译 MapReduce的shuffle过程
shuffle和排序 MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为shuffle。在此，我们将学习shuffle 是如何工作的，因为它有助于我们理解工作机制(如果需要优化MapReduce程序)。shuffle属于不断被优化和改进的代码库的部分。map端 map函数开始产生输出时，并不是简...
2018-11-29 10:54:12
462
1
转载 JVM（HotSpot）垃圾回收器
首先了解两个概念：新生代GC（Minor GC）指发生在新生代的垃圾收集动作，因为Java对象大多都具备朝生夕灭的特性，所以Minor GC非常频繁，一般回收速度也比较快。老年代GC（Major GC/Full GC）指发生在老年代的GC，出现了Major GC，经常会伴随至少一次的Minor GC（但非绝对的，在ParallelScavenge收集器的收集策略里就有直接进行...
2018-11-28 22:21:26
468
原创 剖析HDFS文件的读取
客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是DistributedFileSystem的一个实例(图中的步骤1)。DistributedFileSystem通过使用远程过程调用(RPC)来调用namenode,以确定文件起始块的位置(步骤2)。 对于每一个块，namenode返回存有该块副本的datanode地址。此外，这些d...
2018-11-27 08:50:29
442
原创 剖析HDFS的文件写入
客户端通过对DistributedFileSystem对象调用create()来新建文件(步骤1)。DistributedFileSystem对namenode创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块(步骤2)。namenode执行各种不同的检查以确保这个文件不存在以及客户端有新建该文件的权限。如果这些检查均通过，namenode就会为创建新文件记录...
2018-11-22 08:37:08
463
原创 剖析MapReduce作业运行机制
作业的提交Job的submit()方法创建一个内部的JobSummiter 实例，并且调用其submitJobInternal()方法(参见步骤1)。提交作业后，waitForCompletion()每秒轮询作业的进度，如果发现自上次报告后有改变，便把进度报告到控制台。作业完成后，如果成功，就显示作业计数器;如果失败，则导致作业失败的错误被记录到控制台。JobSummiter所实现的作业...
2018-11-21 20:02:34
552
原创 java对象的初始化
public class B{ public static B t1 = new B(); public static B t2 = new B(); { System.out.println("构造块"); } static{ System.out.println("静态块"); } public stat...
2018-11-20 09:34:55
304
原创 HBase
HBase:HBase是一个建立在HDFS之上的分布式，提供高可靠性，高性能，列存储，可伸缩，实时读写NoSQL的数据库系统。优点： (1)大：一个表可以有上十亿行，上百万列。(2)面向列：面向列(簇)的存储和权限控制，列(簇)独立检索。(3)稀疏：对于为空(null)的列并不占用内存空间，因此，表可以设计的非常稀疏。(4)多版本：每个单元中的数据可以有多个版本，默认...
2018-11-18 10:07:25
583
原创 线程的6种状态
以下是java源码 public enum State { /** * Thread state for a thread which has not yet started. */ NEW, /** * Thread state for a runnable thread. A ...
2018-11-18 08:54:44
329
原创 解决-bash: warning: setlocale: LC_CTYPE: cannot change locale (en_US.UTF-8): No such file or directory
一、vi /etc/sysconfig/i18n，添加下面两行语句LC_ALL=Cexport LC_ALL二、再执行下面的语句，使之生效source /etc/sysconfig/i18n
2018-11-16 21:30:58
1699
原创 解决/lib64/libc.so.6: version `GLIBC_2.14'问题
全程使用root用户，不要sudo一、下载glibc-2.14.tar.gz二、解压tar -zxvf glibc-2.14.tar.gz三、创建bulid文件夹cd glibc-2.14.1mkdir build四、cd build../configure --prefix=/usr/local/glibc-2.14 (有错，请yum i...
2018-11-16 21:25:33
4660
1
原创 /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found的解决办法
一、下载libstdc++.so.6.0.18二、将该文件放入/usr/lib64下mv libstdc++.so.6.0.18 /usr/lib64三、先删除软连接cd /usr/lib64rm -f libstdc++.so.6四、再创建软连接ln -s libstdc++.so.6.0.18 libstdc++.so.6 ...
2018-11-16 21:13:21
989
原创 Linux时间同步（Fri Nov 16 12:12:13 Local time zone must be set--see zic manual page 2018）解决办法
第一种方式：1、选择时区：tzselect2、提示将"TZ='Asia/Shanghai'; export TZ"语句添加到环境变量文件sudo vi /etc/profilesudo source /etc/profile3、保存到硬件时钟hwclock -w第二种方式：1.修改为中国的东八区cp /usr/share/zoneinf...
2018-11-16 20:20:46
1216
1
原创 Linux安装MySQL（5.7.24）
前奏一、使用命令查看是否已安装MySQLyum list installed | grep mysql二、如果有安装MySQL，请先卸载yum –y remove mysql-libs.X86_64或yum erase mysql-libs.x86_64在线安装一、安装客户端yum install mysql二、安装服务端yum ins...
2018-11-16 11:22:53
613
原创 hive（1.2.1）安装
一、点击下载hive二、解压tar -zxvf apache-hive-1.2.1-bin.tar.gz三、创建软连接ln -s apache-hive-1.2.1-bin hive四、配置环境变量vi ~/.bashrcHIVE_HOME=/home/sweeney/soft/hive五、安装MySQL数据库（不安装MySQL数据库的话，hi...
2018-11-16 11:08:17
451
原创 hbase（1.3.1）的完全分布式安装
1、解压压缩包tar -zxvf hbase-1.3.1-bin.tar.gz2、创建软连接ln -s hbase-1.3.1/ hbase3、配置环境变量HBASE_HOME=/home/sweeney/soft/hbasePATH=HBASE_HOME/bin4、使环境变量生效source ~/.bashrc5、修改conf目录下的...
2018-11-11 21:19:37
370
原创 搭建High Availability（HA）集群使用 the Quorum Journal Manager（QJM）
一、手动HA1、如果是创建全新的HA集群，请先完成这篇博客的前18步。2、修改core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value></property><property>
2018-11-04 16:00:44
373
原创 ZooKeeper3.4.6的安装
Apache ZooKeeper致力于开发和维护开源服务器，实现高度可靠的分布式协调。ZooKeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完...
2018-11-04 15:40:37
358
原创 namenode和datanode
HDFS集群有两类节点以管理节点-工作节点模式运行，即一个namenode(管理节点)和多个datanode(工作节点)。 namenode维护命名空间、保存元数据和用户对hdfs的操作、副本数等等，管理文件系统命名空间的主服务器和管理客户端对文件的访问组成，它还确定了块到DataNode的映射。datanodedatanode是文件系统的工作节点。DataNode负责提...
2018-11-01 20:52:59
609
原创 ifconfig命令看不到eth0
1.编辑 vim /etc/udev/rules.d/70-persistent-net.rules ，将eth0那行删去，下面的eth1改为eth0，将剩下那行的mac地址记下来。2.打开 vim /etc/sysconfig/network-scripts/ifcfg-eth0，该文件中的mac地址为原来eth0网卡的物理地址，将HWADDR的地址信息修改为刚刚记下的那个地址，再次重...
2018-10-28 15:03:36
1277
原创 hadoop完全分布式搭建
1、安装linux操作系统。本人的为CentOS6.8。(带不带图形化界面都无所谓)2、配置网络，固定ip。本人一般采用nat模式。3、关闭防火墙老版本centos命令----------------------------查看防火墙状态chkconfig iptables --listchkconfig ip6tables --list临时关闭防火墙（立即生效）...
2018-10-28 11:57:16
798
原创 windows下搭建Hadoop开发环境
1、将集群上的hadoop压缩包解压到windows下。2、将hadoop-eclipse-plugin-2.7.3.jar放在eclipse中的plugin目录下。重启eclipse3、在eclipse->preferences中选择windows下的hadoop解压包路径。4、选择hadoop开发环境。5、新建hadoop location。需要将配置文件改成和集群上的...
2018-10-24 21:25:23
310
原创 Hadoop问题集
1、提交远程mr任务如果在eclipse控制台打印信息不是红色字体或者沒有输出在HADOOP_HONE下搜索log4j.propertites，将只有10k左右大小的log4j.properties放到src下。2、提交远程mr任务如果出现用户权限问题，大概有5种解决办法。1、将windows下的用户名(c:\windows\users\用户名)修改为集群上的用户名一致。2、在w...
2018-10-24 21:24:48
262
原创 让mapreduce任务在远程集群上运行
一、编写好map和reduce方法。二、下载集群上的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个文件并放到src根目录下。三、编写驱动程序，然后在获取Job对象之前，添加以下代码：conf.set("mapreduce.app-submission.cross-platform", "true");也可以在...
2018-10-23 21:23:14
1122
原创 数据库系统的整体结构
从构件角度看，数据库系统由硬件、软件等部分组成。从数据库管理系统角度看，数据库系统通常采用三级模式结构，这是数据库管理系统内部的系统结构。从最终用户角度看，数据库系统结构可以分为集中式结构、分布式结构、客户/服务器结构和并行结构。这也是数据库系统外部的体系结构。在数据库系统中，用户看到的数据和计算机从存放的数据是两回事。但二者之间是有联系的，实际上它们之间已经通过了两次变换：第一次是系统为...
2018-10-06 15:40:23
1737
原创 HashMap原理
HashMap中定义了一个Node数组table用来存储元素。 transient Node<K,V>[] table;如果调用HashMap的无参构造器创建HashMap对象，一开始，HashMap不会实例化table数组。只有第一次调用put(K key, V value)方法时，HashMap才会table创建一个初始容量为16的Node<K,V>[]...
2018-10-06 15:26:43
213
原创 优化Hibernate所鼓励的7大措施
1.尽量使用many-to-one，避免使用单项one-to-many2.灵活使用单向one-to-many3.不用一对一，使用多对一代替一对一4.配置对象缓存，不使用集合缓存5.一对多使用Bag 多对一使用Set6.继承使用显示多态 HQL:from object polymorphism="exlicit" 避免查处所有对象7.消除大表，使用二级缓存...
2018-10-06 09:37:57
195
原创 JVM堆内存
JVM堆内存分为2块：Permanent Space 和 Heap Space。Permanent 即 持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。Heap = { Old + NEW = {Eden, from, to} }，Old 即年老代（Old Generation），New 即 年轻代（Young G...
2018-10-04 20:22:58
230
原创 Java和C++的区别
1. Java是解释型语言，所谓的解释型语言，就是源码会先经过一次编译，成为中间码，中间码再被解释器解释成机器码。对于Java而言，中间码就是字节码(.class)，而解释器在JVM中内置了。2. C++是编译型语言，所谓编译型语言，就是源码一次编译，直接在编译的过程中链接了，形成了机器码。3. C++比Java执行速度快，但是Java可以利用JVM跨平台。4. Java是纯面向对象的...
2018-10-04 18:21:41
153
原创 JSP九大内置对象
内置对象名 类型request HttpServletRequestresponse HttpServletResponseconfig ServletConfigapplication ServletContextsession HttpSessionexception Throwa...
2018-10-04 17:56:29
186
原创 JVM怎样判断两个类是否相同
Java 虚拟机不仅要看类的全名是否相同，还要看加载此类的类加载器是否一样。只有两者都相同的情况，才认为两个类是相同的。即便是同样的字节代码，被不同的类加载器加载之后所得到的类，也是不同的。比如一个 Java 类 com.example.Sample，编译之后生成了字节代码文件 Sample.class。两个不同的类加载器 ClassLoaderA和 ClassLoaderB分别读取了这个 Sa...
2018-10-04 10:39:13
1794
1
原创 重定向&转发
重定向：客户端发送请求，web服务器接收该请求后发送302状态码响应并且发送新的一个地址（location）给客户端浏览器，客户端接收到302则自动再发送一个新的请求，而这个请求就是新的location，既然是客户端发送的一个请求，就对web容器的request没关系了，它可以任意跳转到所有location。 转发：客户端浏览器发送http请求，web服务器接受此请求，调用内部的...
2018-10-03 11:08:23
251
原创 shell编程之函数
在shell脚本中，我们也可以定义函数，封装逻辑，进行调用定义语法：[function] functionName(){ 逻辑}调用语法（不加小括号）：functionName说明：1、关键字function，可以忽略不写2、return关键字，可加可不加，看需求 (1)加： 返回值只能是0~255的数字 (2)不加: ...
2018-10-01 16:17:16
263
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人