shiyanshi805的博客

翻译 hadoop集群搭建步骤全

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将编译好的...

原创 大数据收集系统架构图

原创 HDFS的工作机制和原理

1.        HDFS集群分为两大角色：NameNode、DataNode  (Secondary Namenode)2.        NameNode负责管理整个文件系统的元数据3.        DataNode 负责管理用户的文件数据块4.        文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上5.        每一个文件块可以有多...

原创 HADOOP的HDFS重新format以后datanode连接不上

通过看日志可以看到版本不一致，简单粗暴的方法，先找到日志文件的位置然后找到出错的位置进入到该文件夹删除hdfs文件夹，然后执行hdfs namenode -format指令即可。...

转载 BlockingQueue

BlockingQueue也是java.util.concurrent下的主要用来控制线程同步的工具。主要的方法是：put、take一对阻塞存取；add、poll一对非阻塞存取。        插入:                1)add(anObject):把anObject加到BlockingQueue里,即如果BlockingQueue可以容纳,则返回true,否则抛出异常,不好    ...

转载 redis集成spring

redis 整合spring详细教程https://blog.csdn.net/localhost01/article/details/71436801另外redis配置文件blind最多只有两个，很多博客上写的不对，指的是两个网卡地址，java连接redis的jedis版本最好用2.9以上版本，构造方法更丰富...

原创 阿里面试经历

之前的博客迁移过来  https://mp.csdn.net/postedit/702417971.TCP与UDP的对比2.线程与进程的区别，线程之间如何通信。进程间如何通信3.post与get的区别4.抽象类与接口区别5.LinedList与ArrayList区别6.各种排序算法的时间及空间复杂度，稳定性分析7.常见的异常有哪些8.设计一个秒杀系统9.从十万个数中找到十个最大的（堆排序）10.单...

转载 JAVA并发编程总结

.1.       不应用线程池的缺点有些开发者图省事，遇到需要多线程处理的地方，直接new Thread(...).start()，对于一般场景是没问题的，但如果是在并发请求很高的情况下，就会有些隐患：·       新建线程的开销。线程虽然比进程要轻量许多，但对于JVM来说，新建一个线程的代价还是挺大的，决不同于新建一个对象·       资源消耗量。没有一个池来限制线程的数量，会导致线程的数...

翻译 concurrent 包线程池

JDK5.0以后的版本都引入了高级并发特性，大多数的特性在java.util.concurrent 包中，是专门用于多线程发编程的，充分利用了现代多处理器和多核心系统的功能以编写大规模并发应用程序。主要包含原子量、并发集合、同步器、可重入锁，并对线程池的构造提供了强力的支持。 线程池的5中创建方式： 1、  Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务...

转载 ReadWriteLock

ReadWriteLock也是一个接口，其只有两个方法，LockreadLock()和Lock writeLock()；一个用来获取读锁，一个用来获取写锁。也就是说将文件的读写操作分开，分成2个锁来分配给线程，从而使得多个线程可以同时进行读操作。ReentrantReadWriteLock实现了该dWriteLock接口。不过要注意的是，如果有一个线程已经占用了读锁，则此时其他线程如果要申请写锁，...

转载 lock的方法

　lock()方法是平常使用得最多的一个方法，就是用来获取锁。如果锁已被其他线程获取，则进行等待。由于在前面讲到如果采用Lock，必须主动去释放锁，并且在发生异常时，不会自动释放锁。因此一般来说，使用Lock必须在try{}catch{}块中进行，并且将释放锁的操作放在finally块中进行，以保证锁一定被被释放，防止死锁的发生。 tryLock()方法是有返回值的，它表示用来尝试获取锁，如果获取...

原创 Java 中lock应用

 lock和synchronized的区别　　1）Lock不是Java语言内置的，synchronized是Java语言的关键字，因此是内置特性。Lock是一个类，通过这个类可以实现同步访问；　　2）Lock和synchronized有一点非常大的不同，采用synchronized不需要用户去手动释放锁，当synchronized方法或者synchronized代码块执行完之后，系统会自动让线程释...

原创 synchronized关键字

synchronized这个关键字的核心是在于搞明白锁的对象是谁，谁拥有这个锁，这个关键字有几个问题：synchronized是java中的一个关键字，也就是说是Java语言内置的特性。如果一个代码块被synchronized修饰了，当一个线程获取了对应的锁，并执行该代码块时，其他线程便只能一直等待，等待获取锁的线程释放锁，而这里获取锁的线程释放锁只会有两种情况：1）获取锁的线程执行完了该代码块，...

原创 线程与进程

.1.1.     进程介绍    不管是我们开发的应用程序，还是我们运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。    不同的应用程序运行的过程中都需要在内存中分配自己独立的运行空间，彼此之间不会相互的影响。我们把每...

转载 java中voliate

csdn博客：https://blog.csdn.net/yinbucheng/article/details/71305951voliate只保证元素的一致性，只保证每个线程读的结果是一样的，但是多个线程同时执行++的操作的时候，可能会丢失++，最终结果小于那个结果...