- 博客(33)
- 收藏
- 关注
RSS订阅原创 01.AopDemo
1.需要被代理的对象//接口public interface ICalculator { int div(int i,int j);}//需要被代理点实现类@Component(value = "calculatorImpl")public class CalculatorImpl implements ICalculator { @Override pub...
2019-08-19 15:29:17
154
原创 java线程池的总结
基本内容来自博客，如果想通过源码去了解这些知识点，请点击：http://www.cnblogs.com/exe19/p/5359885.html1.线程池数目如果当前线程池中的线程数目小于corePoolSize，则每来一个任务，就会创建一个线程去执行这个任务； 默认情况下，创建线程池之后，线程池中是没有线程的，需要提交任务之后才会创建线程。 在实际中如果需要线程池创建之后立
2017-09-01 20:40:06
329
原创 大话数据模式总结
1.外观模式：为子系统中的一组接口提供一个一致的界面，此模式定义了一个高层接口，这个接口使得这一子系统更加容易使用。什么时候用外观模式呢？这要分阶段来说，首先在设计初期阶段，应该有意识的将两个不同的层分离，这样就可以为复杂的子系统提供一个简单的接口，使得耦合度大大降低。其次在开发阶段，子系统往往因为不断的重构演化而变得越来越复杂，大多数模式使用时也会产生很多很小的类，这本来是好事，但是给外
2017-08-14 10:37:40
686
转载 hashmap面试详解
这是一篇以前下载的word文档里面的，找不到原作者的网址了，讲的特别的，分享一下~在笔试和面试的过程中，Java集合框架毫无疑问是考察的重点，貌似面试官对这都情有独钟，而有关HashMap的考察更是重中之重和难点，一个小小的HashMap不仅能反应出你对Java集合的掌握程度，更能反映出面试者对数据结构的熟悉情况和设计数据结构的思维能力，很容易在这个问题上尴尬地看着面试官发呆，搞不好就拜拜
2017-08-13 10:05:25
466
转载 集合类面试题总结
1.HashMap的工作原理是什么?HashMap内部是通过一个数组实现的，只是这个数组比较特殊，数组里存储的元素是一个Entry实体(jdk 8为Node)，这个Entry实体主要包含key、value以及一个指向自身的next指针。HashMap是基于hashing实现的，当我们进行put操作时，根据传递的key值得到它的hashcode，然后再用这个hashcode与数组的长度进行模运算
2017-08-11 09:19:34
468
原创 spring面试题
1.什么是Spring？答：spring的核心是一个轻量级的容器（Container）,它是实现IoC(Inversion of Control)容器和非侵入性（No intrusive）的框架，并提供AOP(Aspect-oriented Programming)的实现方式，提供对持久层（Persistence）、事务（Transcation）的支持;提供MVC Web框架的实现，并对一
2017-08-11 09:17:53
777
转载 java面试题经典1
摘自牛客网下面代码的输出是什么？1234567891011121314151617181920212223242526publiccla
2017-04-26 09:12:02
290
原创 hadoop namenode节点格式化注意的问题以及对hbase的影响
今天用hadoop的hdfs和Hbase时不知道怎么回事总是发生了崩溃，我最终试了重新格式化namenode节点的方式进行解决，但是重新格式化之后发生了一系列问题，不是namenode启动不了就是datanote启动不了。后来上网查询才知道格式化namenote需要注意一些事项：1.重新格式化namenote相当于格式化元数据，会破坏整个集群数据，格式化前需考虑数据备份或者转移问题。2.先
2017-02-18 16:32:25
4158
转载 基本数据类型的成员变量放在jvm得哪块内存区域里？
java虚拟机栈是线程私有的，生命周期跟线程相同，每个方法调用的时候都会创建一个栈帧用于存储局部变量表，操作数栈，动态链接，方法出口等信息。每个方法调用的过程，就代表了一个栈帧在虚拟机栈中入栈到出栈的过程，当进入一个方法时，这个方法在栈中需要分配多大的内存都是完全确定的，方法运行时不会改变局部变量表的大小——《深入理解java虚拟机第二版》 很多java程序员一开始就被网
2017-02-18 09:59:12
4112
原创 JavaAPI操作hbase遇到的java.lang.UnsupportedClassVersionError问题
JavaAPI操作hbase遇到的java.lang.UnsupportedClassVersionError问题报错信息如下：java.lang.UnsupportedClassVersionError: org/apache/hadoop/hbase/client/Connection : Unsupported major.minor version 51.0at java.la
2017-02-15 15:52:21
598
原创 hbase集群在启动的时候JAVA_HOME is not set and Java could not be found
如果出现以上错误，应该修改conf文件下的hbase-env.sh文件中的java_home的环境变量,要么是java_home前面的#没有去掉,要么是java_home的路径配置错误。
2017-02-15 14:23:58
6820
转载 java中TreeSet介绍与简单
Set:无序，不可以重复元素。|--HashSet：数据结构是哈希表。线程是非同步的。保证元素唯一性的原理：判断元素的hashCode值是否相同。如果相同，还会继续判断元素的equals方法，是否为true。 |--TreeSet：可以对Set集合中的元素进行排序。底层数据结构是二叉树。保证元素唯一性的依据：compareTo方法return 0.T
2017-02-11 16:38:39
341
转载 java中HashSet介绍与demo
|--Set：元素是无序(存入和取出的顺序不一定一致)，元素不可以重复。|--HashSet:底层数据结构是哈希表。是线程不安全的。不同步。HashSet是如何保证元素唯一性的呢？是通过元素的两个方法，hashCode和equals来完成。如果元素的HashCode值相同，才会判断equals是否为true。如果元素的hashcode值不同，不会调用equals。注意,对于
2017-02-11 16:36:39
359
原创 将自定义对象作为元素存到arrarylist集合中，并去除重复元素
将自定义对象作为元素存到arrarylist集合中，并去除重复元素/** * 将自定义对象作为元素存到arrarylist集合中，并去除重复元素 * 比如：存人等对象。同名同年龄的视同未一个人，为重复元素，不可以插入到集合里 * * 提示：List集合contains(obj)方法判断元素是否相同，根据的是元素的equals方法，注意list集合存数据时不需要判断，是否相同，都会存入
2017-02-11 16:34:53
936
转载 List集合特有的迭代器，ListIterator
List集合特有的迭代器，ListIterator是Iterator的子接口/** * @author gaobin *什么是迭代器呢？ *其实就是集合的取出方式 *如同抓娃娃游戏机中的夹子 *迭代器是取出方式，会直接访问集合中的元素所以将迭代器通过内部类的形式来进行描述 *通过容器的iterator()方法获取该内部类的对象。 *List集合特有的迭代器，ListIterat
2017-02-11 16:32:29
4760
原创 java实现最基本的几种排序算法（冒泡，选择，插入）
java中常用的几种排序算法public class Sort { //冒泡排序 /** * 核心思想： * 比较两个元素，如果前一个元素比后一个元素大则进行交换，经过对每个元素的 * 比较，最后将大的元素设置成最后一个元素。重复该动作，最后形成从小到大的排序。 * @param arr */ public static void bubbleSort
2017-02-10 13:26:32
396
原创 List中ArrayList，LinkedList，Vector的区别
List:元素是有序的，元素可以重复。因为该集合体系有索引。|--ArrayList:底层的数据结构使用的是数组结构。特点：查询速度很快。但是增删稍慢。线程不同步。|--LinkedList:底层使用的链表数据结构。特点：增删速度很快，查询稍慢。线程不同步。|--Vector:底层是数组数据结构。线程同步。被ArrayList替代了。因为效率低。
2017-02-07 19:07:54
670
转载 java集合中list集合基本用法及List集合特有的迭代器ListIterator
/*Collection|--List:元素是有序的，元素可以重复。因为该集合体系有索引。|--ArrayList:底层的数据结构使用的是数组结构。特点：查询速度很快。但是增删稍慢。线程不同步。|--LinkedList:底层使用的链表数据结构。特点：增删速度很快，查询稍慢。线程不同步。|--Vector:底层是数组数据结构。线程同步。被ArrayList替代了。因为效率低。
2017-02-07 19:04:25
4442
原创 sqoop从数据库导出数据遇到提示Your password has expired
当把sqoop从数据库中导出到hdfs中时，直接报错Java.sql.SQLException: Your password has expired.To log in you must change it using a client that supports expired passwords.解决的问题有两种方法：1.第一种：进入mysql命令行(1)update
2017-02-03 20:07:56
492
转载 sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决
在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。 解决方案如下：在yarn-site.xml中加入如下配
2017-02-03 20:02:50
9179
原创 mr程序运行在本地模式和集群模式的参数设置
本地运行mr配置：Configuration conf = new Configuration();conf.set("mapreduce.framework.name", "local");本地模式运行mr程序时，输入输出的数据可以在本地，也可以在hdfs上也就是说mapreduce在本地以线程跑的时候，数据可以从本地读取写入，也可从hdfs文件系统上读取写入到底
2017-01-09 22:07:21
4080
原创 关于hadoop中maptask运行切片前，运行的文件有大量小文件问题
关于大量小文件的优化策略：（1）默认情况下，TextInputformat对任务的切片机制是文件规划切片，不管文件多小，都会是一个单独的切片都会交给maptask。这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。（2）优化策略：最好的方式：在数据处理系统的最前端（预处理/采集），就将文件先合并成大文件，再上传到hdfs做后续分析 补救措施：
2017-01-09 22:05:21
1403
转载 编写mapreduce统计数据流量的小程序
主代码如下：package cn.itcast.bigdata.mr.flowsum;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;imp
2016-12-13 16:51:20
1194
转载 centos下防火墙的的常用命令与解释练习
#查看帮助iptables -hman iptables列出iptables规则iptables -L -n列出iptables规则并显示规则编号iptables -L -n --line-numbers列出iptables nat表规则（默认是filter表）iptables -L -n -t nat清除默认规则（注意默认是filter
2016-12-13 16:46:45
646
原创 hadoop命令行下hdfs客户端常用命令
hadoop版本号下的bin目录里面有些启动命令行客户端的命令，先介绍一下hadoop这个命令：如果配好了hadoop的环境变量，那么直接在命令行输入以下命令就好！启动hdfs客户端,如果只执行这句的话，会显示所有参数的含义：hadoop fs 查看hdfs文件系统的根目录下所有文件： hadoop fs -ls / (此处/为hdfs文件系统的根目录，和linux的一样)
2016-12-08 22:17:55
4582
原创 zookeeper环境搭建详解
1.先把安装包上传到虚拟机中，在SecureCRT软件中可以使用快捷键alt+p进入sftp模式传文件，也可以输入rz命令进行选择文件，直接上传，但是rz使用的前提是安装lrzsz，可以yum install lrzsz安装2.为了好管理zookeeper，在root下新建一个apps的文件夹，把文件解压进去3.解压之后有很多东西是不需要用的，比如xml文件要有源码包，可以删除，也可以
2016-12-08 16:29:03
399
原创 hadoop中hdfs主节点会储存数据吗？
主节点不会存储数据，数据节点专门存储数据，主节点存储了元数据信息。主节点的磁盘中存储了文件到块的关系，集群启动后，数据节点会报告名字节点 机器和块的关系，这两个关系组合起来便可找到文件所在机器的位置。如果名字节点所在的机器也配置到slave文件里，那么此台机器即是名字节点也是数据节点
2016-12-08 16:25:25
1806
原创 hadoop在centos6.7下安装下环境配置问题
1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改各个主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=mini1 ###1.2修改IP第二种：修改配置文件方式（屌丝程序猿专用）vim /etc/sysconfig/network-scripts/ifcfg-eth0
2016-12-08 16:23:25
345
原创 最小化centos6.7系统安装mysql时注意
安装不管最小化还是桌面话的，解压MySQL-5.6.20-1.el6.x86_64.rpm-bundle.tar之后只需安装这三个就好了但是最小化安装可能会缺少依赖包[root@xcldtc5m mysql]# rpm -ivh MySQL-server-5.6.22-1.el6.x86_64.rpm[root@xcldtc5m mysql]# rpm -ivh MySQL-dev
2016-12-08 16:21:57
959
原创 ssh免密登录配置问题
CentOS配置SSH无密码登录需要3步：当主机A要免密登录时，其实也可以用A 生成ssh-keygen生成之后直接 A ssh-copy-id B但是总是出现还得输入密码的情况，还要说没有代理什么的，按照下面这个方法亲测成功生成公钥和私钥导入公钥到认证文件,更改权限测试1.生成公钥和私钥ssh-keygen -t dsa -P '' -f ~/.s
2016-12-08 16:18:52
450
原创 export定义变量作用域
export A=1 定义的变量，会对自己所在的shell进程及其子进程生效 B=1 定义的变量，只对自己所在的shell进程生效 在script.sh中定义的变量，在当前登录的shell进程中， source script.sh 时，脚本中定义的变量也会进入当前登录的进程
2016-12-08 16:17:20
3599
原创 java中多线程安全问题
/**多线程的运行出现了安全问题。 问题的原因：当多条语句在操作同一个线程共享数据时，一个线程对多条语句只执行了一部分，还没有执行完，另一个线程参与进来执行。导致共享数据的错误。 解决办法：对多条操作共享数据的语句，只能让一个线程都执行完。在执行过程中，其他线程不可以参与执行。 Java对于多线程的安全问题提供了专业的解决方式。 就是同步代码
2016-11-20 11:39:36
615
原创 java中自定义一个异常的方法
/*因为项目中会出现特有的问题，而这些问题并未被java所描述并封装对象。所以对于这些特有的问题可以按照java的对问题封装的思想。将特有的问题。进行自定义的异常封装。 自定义异常。 需求：在本程序中，对于除数是-1，也视为是错误的是无法进行运算的。那么就需要对这个问题进行自定义的描述。 当在函数内部出现了throw抛出异常对象，那么就必须要给对应的处理
2016-11-20 11:35:15
13327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人