wanmeilingdu-CSDN博客

原创 Java源码系列之LinkedList

一、介绍是一个继承于AbstractSequentialList的双向链表。它可以被当成堆栈、队列或双端队列进行操作。实现了List接口，能对它进行队列操作。实现了Deque接口，能当作双端队列使用。实现了Cloneable接口，覆盖了clone(),能克隆。实现了java.io.Serializable接口，这意味着LinkedList支持序列化，能通过序列化去传输。是非同步的...

2019-07-17 16:24:27 134

原创 Java源码系列之ArrayList

Java源码系列之ArrayList一、介绍java.util.ArrayList 是非常重要的一个类，在代码中广泛使用，E表示泛型，ArrayList是一个泛型类。ArrayList相当于C++ 的vector，用于存储对象。与数组不同，数组一旦创建，长度固定，但是ArrayList的长度是动态的，不受限制，可以存储任意多的对象，但是只能存储对象，不能存储原生数据类型例如int。它的继承...

2019-07-17 11:00:03 146

原创深入理解JVM

1. 背景 JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言...

2018-09-21 14:23:40 462

原创 Centos下Zookeeper设置自启动

一、准备工作切换到 /etc/rc.d/init.d/cd /etc/rc.d/init.d/创建zookeeper文件vi zookeeper添加如下内容#!/bin/bash#chkconfig:2345 20 90#description:zookeeper#processname:zookeeperexport JAVA_HOME=/usr/java/jdk1.7.0_6

2016-05-31 22:05:16 1105

简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点：① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。② 运行在廉价的机器上。③ 适合大数据的处理。多大？多小？HDFS默认会将文件分

2016-05-26 17:05:33 410

原创第二章、Hadoop之完全分布式安装

hadoop集群，高可用，yarn等的搭建

2016-05-18 21:00:11 621

原创第一章、Hadoop之生态体系

一、Hadoop起源：Google的集群系统Google的数据中心使用廉价的LinuxPC机组成集群，在上面运行各种应用。即使是分布式开发的新手也可以迅速使用Google的基础设施。

2016-05-17 22:00:19 645

原创 Nginx和Tengine

一、Nginx简单介绍：• Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。• 第一个公开版本0.1.0发布于2004年10月4日。• 其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名• 官方测试nginx能够支支撑5万并发链接，并

2016-05-04 21:06:14 701

原创 Linux下的软件安装和管理

一、Linux软件包类型 1、 rpm包 2、 bin文件.bin 3、源码压缩包二、Rpm安装命令： rpm [options] [command] [package ...] rpm -i /PATH/TO/PACKAGE_FILE -h: 以#显示进度；每个#表示2%; -v: 显示详细过程 -vv: 更详细的过程 rpm

2016-04-29 21:22:20 263

原创 Linux下vi/vim常用命令

vi: Visual Interfacevim: VI iMproved全屏编辑器，vim模式：编辑模式(命令模式)、输入模式和末行模式模式转换：编辑-->输入： i:在当前光标所在字符的前面，转为输入模式； a:在当前光标所在字符的后面，转为输入模式； o:在当前光标所在行的下方，新建一行，并转为输入模式；

2016-04-29 21:16:41 324

原创 Hadoop2.7.2源码在64位Centos Linux下编译

一.在Hadoop官网上下载源码包 1. 在Hadoop官网上下载hadoop-2.7.2的源码包，下载地址：http://mirrors.noc.im/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 2. 把下载下来的源码包，上传到linux上，在这里我放在了/home/soft/下二.准备linux上运

2016-04-28 22:37:08 1747 1

转载 Spark中文手册11：Spark 配置指南

问题导读1.Spark可以在哪三个地方配置系统？2.如何实现动态加载Spark属性？Spark可以在三个地方配置系统:Spark属性控制大部分的应用参数。这些属性可以通过SparkConf对象, 或者Java系统属性.环境变量可以为每台机器配置，比如IP地址，通过每个节点上的conf/spark-env.sh脚本.可同通过log4

2016-05-09 21:25:44 817

转载 Spark中文手册10：spark部署：提交应用程序及独立部署模式

问题导读1.spark-submit各个参数的含义是什么？2.集群启动都包含哪些脚本？3.如何实现连接一个应用程序到集群中？1.提交应用程序在Spark bin目录下的spark-submit可以用来在集群上启动应用程序。它可以通过统一的接口使用Spark支持的所有集群管理器，所有你不必为每一个管理器做相应的配置。用spark-subm

2016-05-09 21:24:48 416

转载 Spark中文手册9：spark GraphX编程指南（2）

问题导读1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用？3.三角形计数算法的作用是什么？Pregel API图本身是递归数据结构，顶点的属性依赖于它们邻居的属性，这些邻居的属性又依赖于自己邻居的属性。所以许多重要的图算法都是迭代的重新计算每个顶点的属性，直到满足某个确定的条件。一系列

2016-05-09 21:23:23 462

转载 Spark中文手册8：spark GraphX编程指南（1）

问题导读1.什么是GraphX？2.如何将Spark和GraphX引入到项目中？3.从一个图中取出顶点特征加入到另外一个图中如何实现？GraphX编程指南GraphX是一个新的（alpha）Spark API，它用于图和并行图(graph-parallel)的计算。GraphX通过引入Resilient Distributed Pro

2016-05-09 21:22:10 488

转载 Spark中文手册7：Spark-sql由入门到精通【续】

问题导读1.sqlContext.cacheTable("tableName")与sqlContext.uncacheTable("tableName")它们的作用是什么？2.Spark SQL CLI的作用是什么？3.Spark SQL数据类型有哪些。如何访问它们？性能调优对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项

2016-05-09 21:21:07 529

转载 Spark中文手册6：Spark-sql由入门到精通

问题导读1、什么是SparkContext？2、如何配置Parquet？3、如何高效的从Apache Hive中读出和写入数据？（一）开始Spark中所有相关功能的入口点是SQLContext类或者它的子类，创建一个SQLContext的所有需要仅仅是一个SparkContext。val sc: SparkContext /

2016-05-09 21:19:44 572

转载 Spark中文手册5：Spark之基本概念（3）

转自：http://www.aboutyun.com/thread-11535-1-1.html问题导读1、如何持久化流数据到内存中？2、什么是Checkpointing？3、如何监控应用程序？（一）缓存或持久化和RDD相似，DStreams也允许开发者持久化流数据到内存中。在DStream上使用persist()方法可以自动地持久化DStream中的RDD

2016-05-09 21:14:43 259