- 博客(174)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 spark 2.1 安装
前提：hadoop2.6集群，zookeeper集群 机器： master 192.168.0.110 slave1 192.168.0.111 slave2 192.168.0.112 node1 192.168.0.1131.下载spar
2017-08-17 14:47:58
506
原创 eclipse连接hadoop 2.6 ha配置
以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也不知道为什么有这么多错误，我只写我能运行的步骤。 1. 我的hadoop是2.6版本的，就下hadoop-eclipse-plugin-2.6.0.jar，然后放到eclipse插件位置，重启eclipse。
2017-08-16 11:32:02
1337
原创 java8 新的时期和时间API
java.time包中提供了许多新类。 LocalDate：获取日期 LocalDate date1 = LocalDate.of(2017, 8, 11); LocalDate date2 = LocalDate.now(); int year = date1.getYear(); int month = date1.getMonthValue(); int
2017-08-11 13:48:05
1307
原创 java8 Optional
Optional表示值可能存在可能不存在，用来替代null。可以把有可能为空的变量声明为Optional。1.Optional的几种应用 Optional对象的创建： Optional a = Optional.empty(); Optional b = Optional.of(new A("tom",18)); Optional c = Optional.ofNu
2017-08-10 17:14:35
349
原创 java8 stream流 collect
流的收集器非常有用。可用于将流元素归约和汇总为一个值 ，元素分组，元素分区。1.归约与汇总 静态导入java.util.stream.Collectors.*。 1.1求值 Collectors.maxBy和Collectors.minBy，来计算流中的最大或最小值。参数为Comparator。 Optional max = Stream
2017-08-10 14:56:37
2782
1
原创 java8 stream流入门
1.流简介 Stream的优点：声明性，可复合，可并行。这三个特性使得stream操作更简洁，更灵活，更高效。 Stream的操作有两个特点：可以多个操作链接起来运行；内部迭代； 集合和流的区别：集合包含目前的所有元素，你要什么就去集合里取。流是你要什么，然后去计算得到你需要的值。流是按照需求才生成的。 流只能遍历一次，用完之后就不存在了，只能重新创建流才能
2017-08-10 10:23:25
7361
2
原创 java8 方法引用
方法引用可以表示为调用特点方法的lambda表达式的一种快捷写法。方法引用就是根据已有的方法来创建lambda表达式，显示的指明方法的名称，这样可读性就更好。 当使用方法引用时，目标引用在::前，方法名称在后面。例如A::getNum。表示引用A中的方法getNum。方法不要加括号，因为没有实际调用这个方法。A::getNum就是(A a)->a.getNum()的简写。一些例子：
2017-08-07 17:58:28
879
原创 java8 lambda表达式
lambda表达式可以理解为一个匿名类，没有名称，有参数，函数主题，返回值，可能还有一个可以抛出的异常列表 。 lambda表达式基本语法： ([parameters,...]) -> expression 或者 ([parameters,...]) -> {statements;...} 例如： () -> {} (String s)
2017-08-07 16:31:59
295
原创 hadoop配置ha后，hbase配置的变化
hadoop配置完ha后，hbase的配置有一些变化。 hbase-site.xmlhbase.rootdirhdfs://myha/hbase 还要把hdfs-site.xml和core-site.xml复制到hbase的conf目录下。不然会报找不到myha的错误。 hbase的ha配置就是在conf目录下，配置backup-masters文件，里
2017-08-02 10:24:39
1297
1
原创 hadoop ha配置后一个namenode不能自动failover，相当于没有配置ha
配置了hadoop ha后，namenode kill后，另一个namenode没有变为active，相当于ha配置白配了。然后看了官网的ha配置，发现是dfs.ha.fencing.methods属性的问题。 我原先是这样配置的： dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key
2017-08-01 21:11:24
833
原创 hadoop2.6.5 ha配置与yarn ha配置
前提：java，ssh，hosts都配置完了。 master: namenode ,1.
2017-08-01 20:43:01
1515
1
原创 nexus发布项目与创建工厂
1.在pom文件中配置 java-release java release http://localhost:8081/nexus/content/repositories/releases/ java-snapshot java snapshot http://localhost:8081/nexus/content/repositories/s
2017-07-26 16:58:15
333
原创 nexus安装与配置
nexus相当于私服，maven项目不用直接去中央工厂中找jar包（很慢），先从nexus中找jar包（快），nexus中找不到，nexus在从中央工厂中找。1.下载安装 到https://www.sonatype.com/download-oss-sonatype下载，我下载的是nexus-2.14.4-03-bundle.zip。解压后得到两个文件夹。 把nexu
2017-07-26 15:53:23
320
原创 linux中安装svn
1.安装svnyum -y install subversion2.启动服务svnserve -d -r /var/svn //重启要重启启动3.创建版本库svnadmin create /var/svn/hello4.修改配置文件svnserve.confanon-access = noneauth-access = writepasswo
2017-07-25 17:42:48
221
原创 maven杂七杂八的东西
maven的命令： clean清空编译后的文件。 compile编译 test测试 install 把项目导入到仓库中，一个项目引用另一个项目时用到。 build--eclipse中maven的命令，其中可以自己定义maven的操作 package 项目打包。 maven项目的jar包先从本地仓库中获取，本地仓库没
2017-07-25 16:27:08
224
原创 maven install时出错
maven项目运行install是出错： Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile)。。。。。。。。。。No compiler is provided in this environment. Perhaps you are r
2017-07-25 15:48:56
471
原创 maven的依赖与继承
1.包的依赖 dependency的包有几个作用域： runtime表示运行的时候依赖，编译的时候不依赖。例如连接数据库的包， compile：编译的时候依赖。默认 provided：编译测试的时候有效，最后生成的项目包中没有这种jar包。例如servlet-api， test：测试的时候有效，其他时
2017-07-25 15:41:23
896
原创 maven安装
maven是一个非常好的jar包管理工具。1.安装 到官网下载apache-maven-xxx-bin.zip,解压。把安装目录路径配置到M2_HOME，再到path中加入%M2_HOME%/bin。打开cmd用命令mvn -v测试一下。D:\test>mvn -vApache Maven 3.5.0 (ff8f5e7444045639af65f6095c62210b
2017-07-25 10:54:42
343
原创 svn权限控制
1.进入到一个资源库中的conf中 修改svnserve.conf.anon-access = none //匿名访问，可以为read(只读权限),write（读写权限）,none(eclipse中要显示历史资源就要配置为none)auth-access = write //授权访问 read,write,nonepassword-db = passwd //授权用户文件为p
2017-07-24 17:37:23
770
原创 eclipse操作svn
1.eclipse中安装svn插件 可以在eclipse中直接安装插件，也可以先下载在放到eclipse的目录中。我是先下载的，eclipse_svn_site-1.10.5.zip解压，把目录直接放到eclipse的dropins目录中，重启，在window的preference的team中可以看到SVN。 项目圆筒图标是服务器版本，？表示未加入版本控制，+表示加
2017-07-24 17:13:50
321
原创 svn简介windows安装与命令
SVN就是一款版本控制的软件，可用于备份代码，版本控制，多人共同开发等。 svn采取服务器/客户端模式，服务器版本库保存项目文件所有的版本，客户端保存一个项目的副本，通过checkout,update,commit等命令交互。1.安装 到https://sourceforge.net/projects/win32svn/files/?source=navbar 下载
2017-07-24 15:43:14
1639
原创 用栈模拟汉诺塔问题
在经典的汉诺塔问题中，有 3 个塔和 N 个可用来堆砌成塔的不同大小的盘子。要求盘子必须按照从小到大的顺序从上往下堆 （如，任意一个盘子，其必须堆在比它大的盘子上面）。同时，你必须满足以下限制条件：(1) 每次只能移动一个盘子。(2) 每个盘子从堆的顶部被移动后，只能置放于下一个堆中。(3) 每个盘子只能放在比它大的盘子上面。请写一段程序，实现将第一个堆的盘子移动到最后一个
2017-07-21 15:11:55
359
原创 mapreduce引用第三方jar包
我的mapreduce运行要查询redis的数据，但是报错了。查了资料要引用第三方的jar包。 在Job中添加第三方包。tagJob.addFileToClassPath(new Path("/third_lib/jedis-2.9.0.jar"));tagJob.addFileToClassPath(new Path("/third_lib/commons-pool2-2.2.ja
2017-07-14 15:32:57
908
原创 hbase集群安装
1.安装java。。。。。2.安装hadoop集群。。。。。3.安装zookeeper集群。。。。。4.安装hbase集群4.1 下载解压。。。。。4.2 修改配置文件hbase-env.sh# The java implementation to use. Java 1.6 required.export JAVA_HOME
2017-07-11 10:36:52
214
原创 hbase shell Filter
数据：hbase(main):046:0> scan 'hbaseFilter'ROW COLUMN+CELL
2017-07-04 16:41:12
7134
原创 hbase Filter
get和sacn可以用过滤器。1.FilterList 这是一个过滤器列表，可以指定FilterList.Operator.MUST_PASS_ALL（列表内的过滤器要全部满足，相当于与）和FilterList.Operator.MUST_PASS_ONE（列表的过滤器只要满足一项就行了，相当于或，这是默认）。list里面可以包含list。 Scan scan = new Sc
2017-07-04 14:32:16
317
原创 mapreduce读取hbase值，结果输出到多个hbase表中
package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had
2017-06-30 16:06:05
1094
原创 mapreduce读取hbase内容，结果放到hbase中
package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had
2017-06-30 15:13:07
555
原创 mapreduce读取文件内容输出到hbase
package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop
2017-06-30 14:48:18
883
原创 mapreduce读取hbase数据输出到文件中
package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop
2017-06-30 14:18:24
2444
原创 mapreduce，自定义分区，分组，排序实现join
join1.txt:1 a 2 b3 c4 djoin2.txt:1 1111 2222 3332 4443 5553 6664 7774 8884 999自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.
2017-06-28 17:43:03
389
原创 mapreduce，自定义排序，分区，分组实现按照年份升序排序，温度降序排序
自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class KeyClass implements WritableCo
2017-06-28 16:11:30
2202
1
原创 jobcontrol
jobcontrol可以实现多个job结合起来运行。下面就是有两个job的jobcontrol，第一个job的输出是第二个job的输入。package hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
2017-06-20 15:04:05
767
原创 mapreduce输出多文件出错
运行mapreduce多文件输出试报错。17/06/19 17:25:45 INFO mapreduce.Job: Task Id : attempt_1497864070486_0001_r_000000_2, Status : FAILEDError: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protoco
2017-06-19 17:54:45
1286
原创 hadoop2.6完全分布式安装
192.168.0.110 master192.168.0.111 slave1192.168.0.112 slave21.配置jdk另一博客里，三台都要配。2.添加用户hadoopgroupadd hadoopuseradd -g hadoop hadooppasswd hadoopvi /etc/sudoers配置hadoop ALL=(ALL)
2017-06-16 22:01:28
357
原创 java连接redis集群
package redis;import java.util.HashSet;import java.util.Set;import org.apache.commons.pool2.impl.GenericObjectPoolConfig;import redis.clients.jedis.HostAndPort;import redis.clients.jedis.Jedis
2017-06-13 09:57:35
5836
原创 java简单操作zookeeper
package zookeeper;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooDefs.Ids;import org.apache.zo
2017-06-13 09:56:01
317
原创 redis-cli启动时可以带的参数
本文所有内容是从https://redis.io/topics/rediscli来的1.直接使用redis-cli来使用命令redis-cli get name #返回name的值redis-cli get name >/usr/local/redis.txt2.redis-cli连接host,port,password,database（最有用）redis-cli -
2017-06-13 08:59:00
4205
原创 redis 3.2.9集群安装
1.安装redis 另一篇博客里。2.配置redis.conf三台服务器master 7000 7001 7002slave1 7000 7001 7002slave2 7000 7001 7002port 7000 bind master daemonize yescluster-enabled yescluster-config-file no
2017-06-12 22:52:32
1731
Ajax基础教程
2015-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人