- 博客(24)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark源码分析之master注册application
master源码分析之注册application1. case RegisterApplication源码 //注册application,从taskschedulerImpl的start()方法发送master请求，这个方法接收 //appclient发送注册请求到这个方法 case RegisterApplication(description, driver) =>
2017-08-24 10:05:57
423
原创 java源码分析之ArrayList
ArrayList就是传说中的动态数组，就是Array的复杂版本，它提供了如下一些好处：动态的增加和减少元素、灵活的设置数组的大小……
2017-08-21 16:30:07
350
原创 spark源码分析之Master源码主备切换机制分析
Master源码分析之主备切换机制1.当选为leader之后的操作//ElectedLeader 当选leader case ElectedLeader => { //从持久化引擎中获取数据，driver,worker,app 的信息 val (storedApps, storedDrivers, storedWorkers) = persistenceEngine
2017-08-20 15:16:05
985
原创 spak源码分析之sparkContext源码分析
sparkContext源码分析1.sparkcontext是spark应用开发的入口，负责与spark集群的连接。可用于在集群上创建RDD，累加器，和 广播变量等一系列操作。 2.sparkcontext初始化主要做了以下几件事：初始化spakEn初始化taskScheduler初始化dagscheduler初始化sparkUI3.sparkEnv相关代码 调用spark
2017-08-19 21:33:34
375
原创 Spring之IOC基本用法
声明：小弟最近正在学习spring下面内容是自己的一些理解，如果有不对的地方请及时留言告知，以免误导了后面的spring学习者，谢谢大家配合。 什么是spring： Spring是轻量级开源框架，以IOC（控制反转）和AOP（面向切面编程）为内核。 Spring的出现代替了ejb的臃肿、低效、脱离现实是什么： 简单点明：IOC控制反转：从容器的角度来说的，就是创建实例的工作交给容器管理。D
2015-09-18 22:05:32
2411
原创 Hibernate之锁机制
Hibernate之锁机制 事务： 概念：多个数据库原子访问应该绑定成一个整体——这就是事务 简单来说就是对一个业务逻辑进行操作，要么都成功，要么都失 败。 特性：（ACID） 原子性： 事务执行的最小执行单位，不可再分割。 一致性： 数据操作前后的一致，例如A向B转账1000元，A和B应该在操 作后数据总和保持不变，一致性通过原子性保
2015-09-16 21:42:14
465
转载 java之动态代理
动态代理作为代理模式的一种扩展形式，广泛应用于框架（尤其是基于AOP的框架）的设计与开发，本文将通过实例来讲解Java动态代理的实现过程。 友情提示：本文略有难度，读者需具备代理模式相关基础知识，。 通常情况下，代理模式中的每一个代理类在编译之后都会生成一个class文件，代理类所实现的接口和所代理的方法都被固定，这种代理被称之为静态代理(Static
2015-07-15 22:42:13
350
转载 创建动态代理的三种方法
第一种：Constructor constructor = clazzProxy.getConstructor(InvocationHandler.class); Collection proxy = (Collection) constructor.newInstance(new MyInvocationhandler());//MyInvocationhandler为实现Invo
2015-07-14 10:57:55
635
转载 java之类加载器
与普通程序不同的是，Java程序（class文件）并不是本地的可执行程序。当运行Java程序时，首先运行JVM（Java虚拟机），然后再把Java class加载到JVM里头运行，负责加载Java class的这部分就叫做Class Loader。中文叫做类加载器。Java虚拟机中可以安装多个类加载器，系统默认三个主要类加载器，每个类负责加载特定位置的类：BootStrap,ExtClassL
2015-07-14 10:55:52
420
转载 java多线程两种实现方式
在Java中创建线程有两种方法：继承Thread类和实现Runnable接口。一、继承Thread类创建线程类（Thread类已经实现了 Runnable接口）1、Thread类的构造方法有8个，但常用的只有4个，分别为：Thread类中的两个最主要的方法：（1）run()—包含线程运行时所执行的代码，即线程需要完成的任务，是线程执行体。（2）start()—用于启动线程。
2015-07-14 10:07:28
429
原创 java泛型
什么是泛型？泛型（Generic type 或者 generics）是对Java 语言的类型系统的一种扩展，以支持创建可以按类型进行参数化的类。可以把类型参数看作是使用参数化类型时指定的类型的一个占位符，就像方法的形式参数是运行时传递的值的占位符一样。可以在集合框架（Collection framework）中看到泛型的动机。例如，Map 类允许您向一个 Map 添加任意类的对象，即使
2015-07-13 16:21:35
374
原创 java接口和抽象类
对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲： 一.抽象类 二.接口 三.抽象类和接口的区别 若有不正之处，请多多谅解并欢迎批评指正，
2015-07-13 16:18:14
361
原创 java注解
本文将向你介绍J2SE5.0中的新特性之一：注解。本文将从什么是注解；J2SE5.0中预定义的注解；如何自定义注解；如何对注解进行注解以及如何在程序中读取注解5个方面进行讨论。 一、什么是注解 说起注解，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE
2015-07-13 16:07:41
438
原创 实现ssh免密码登录
实现单向的免密码登录在A中1.执行命令 ssh -keygen 然后一直按回车生成两个文件 id_rsa 私人密钥和id_rsa.pub 公钥 2.把id_rsa.pub复制到B机器的authorized_keys文件中3.在B机器中可以不用做任何操作只要有一个authorized_keys文件即可然后执行 ssh B可能还是让你输入密码这时你需要 输入以下命令
2015-07-13 16:01:41
503
转载 hadoop 格式化后没有datanode节点
hadoop在子节点上没有datanode进程 经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1解决办法：1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除
2015-07-13 15:58:32
3402
原创 java初始化顺序
1 无继承情况下的Java初始化顺序：class Sample{ Sample(String s) { System.out.println(s); } Sample() { System.out.println("Sample默认构造函数被调用");
2015-07-13 15:54:34
404
原创 java 多线程
以前学习基础的时候学习了一段时间的多线程，上课的时候老师也讲过一遍，那时候感觉学的似懂非懂。因为到现在很长一段时间没有用到多线程的知识，所以现在基本上忘了差不多了。但是下个星期要面试了，所以今天特意又研究了一下多线程，免得被问到多线程问题时什么都不记得了那就麻烦了。现在对java比较熟悉了，所以再一次学习多线程知识，感觉没有那么难了（记得刚接触多线程的时候，感觉非常吃力）。 首先讲一下进程和
2015-07-13 15:46:09
372
原创 java反射机制
一、什么是反射机制 简单的来说，反射机制指的是程序在运行时能够获取自身的信息。在java中，只要给定类的名字， 那么就可以通过反射机制来获得类的所有信息。二、哪里用到反射机制 有些时候，我们用过一些知识，但是并不知道它的专业术语是什么，在刚刚学jdbc时用过一行代码， Class.forName("com.mysql.jdbc.Drive
2015-07-13 15:40:28
588
原创 java网络编程
网络基本知识：在java中网络程序有两种协议：TCP和UDP，TCP通过握手协议进行可靠的连接，UDP则是不可靠连接。IP地址：用于标记一台计算机的身份证。IP地址由网络地址（确定网络）和主机地址（网络中的主机）组成。子网掩码：为了区分网络地址和主机地址。IP地址分为A类地址、B类地址、C类地址（常用）、D类地址、E类地址。127.0.0.1（localhost）是本机地址
2015-07-13 15:12:42
508
原创 java I/O
javaI/o I/O：input/output java输入输出流IO流的分类根据处理数据类型的不同分为：字符流和字节流根据数据流向不同分为：输入流和输出流字符流和字节流字符流的由来： 因为数据编码的不同，而有了对字符进行高效操作的流对象。本质其实就是基于字节流读取时，去查了指定的码表。字节流和字符流的区别：（1）读写单位不同：字节流以字节（8bit）为单位，字
2015-07-13 15:03:44
383
转载 解决mysql“Access denied for user 'root'@'IP地址'
解决mysql“Access denied for user 'root'@'IP地址'在MYSQL 中，用远程软件登陆服务器，有时出现：Access denied for user 'root'@'localhost' 出现这种问题，主要的原因就是权限配置的时候 没有配置正确。解决方法如下：当用Linux/unix的tty 登陆进MYSQL 时， mysql -u roo
2015-07-13 14:14:15
512
转载 centos安装JDK
1、源码包准备：首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下载jdk-7u45-linux-x64.tar.gz，下载到主目录2、解压源码包通过终端在/usr/local目录下新建java文件夹，命令行：sudo mkdir /u
2015-07-13 14:09:05
397
原创 java集合
Java中的集合 java集合的体系结构 A:List、Set、Map是这个集合体系中最主要的三个接口。 其中List和Set继承自Collection接口。 Set不允许元素重复。HashSet和TreeSet是两个主要的实现类。 List有序且允许元素重复。ArrayList、LinkedList和Vector是三个主要的实现类。
2015-07-13 14:06:14
349
原创 java面向对象简单理解
Java面向对象 面向对象的三大特征 抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象，二是数据抽象。 例如你可以把整个人类看成是Person类，而张三是一个具体的实例Person zhangSan=new Person();
2015-07-13 13:47:56
452
spring+activeMq整合案例
2016-11-21
nhibernate
2014-12-22
java中为什么要自定义类加载器
2015-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人