- 博客(11)
- 收藏
- 关注
RSS订阅原创 hbase1.2.5配置
hbase1.2.5配置dfs.journalnode.rpc-address 0.0.0.0:8485 hdfs-default.xmlio.storefile.bloom.block.size 131072 hbase-default.xmlyarn.ipc.rpc.class org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC yarn-de
2017-08-18 11:22:46
974
原创 centos部署HBase
1，三台机器安装zookeeper参考： Hbase安装配置（含分布式ZooKeeper） 部署与管理ZooKeeper(转)1.下载：wget http://apache.stu.edu.tw/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz2.解压到/usr/local/zookeeperchown -R hadoop:hadoop /usr/
2017-03-16 15:51:25
697
原创 hadoop 2.7.3部署配置文件记录
brief of 步骤 规划：3台centos7.2，暂时不设置HA 1. ssh已经配置好 2. 解压到hadoop用户下，改名字（去掉版本号） 3. 配置环境变量 、、、、、、、、、、、、、、、、、、、、、、 nn节点： hadoop_home yarn_home hadoop_user_name 、、、、、、、、、、、、、、、、、
2017-03-14 16:34:24
1320
原创 Hadoop权威指南-笔记2
MapReduce 用mapreduce选出NCDC收集到的某年的最高气温时，map function负责 从一行数据中筛出年份和气温数据 hadoop的mapreduce框架会自动把key（年份）相同的pairs合并，对数据进行sort和group 用reduce function选出每一年的最高气温
2017-03-14 14:51:24
447
原创 Hbase
从谷歌三剑客演进而来的mapreduce、 hdfs、hbase hbase是一个列式存储的数据库，适合存海量数据，事物性能不好 通过zookeeper做数据定位在文件尾部追加内容和在文件行尾追加内容，计算机都干了什么工作？有没有效率的不同？安装jdk的步骤： 1解压 2配置环境变量，方便使用 3配置软连接，这样jdk更新的时候就不用修改环境变量，修改软连接就可以了
2017-03-14 11:32:35
306
原创 Linux命令
echo note： .【n】输出后不换行 . 有引号原样输出，没有引号每个单词按字符串输出，中间用空格隔开 . 字符串中出现“/t”，插入tab chroot 查看可以打开的最大文件数 .系统级：sysctl -a | grep fs.file-max ……. cat /proc/sys/fs/file-max .用户级：ulimit -n 修改文件描述符的值
2017-03-13 16:58:07
228
原创 Hadoop权威指南-笔记1
Hadoop 和关系型数据库的比较问题：为什么不用基于很多磁盘的数据库来做大型数据存储和数据分析？在有关系型数据库存在的前提下，hadoop存在的意义是什么？一个事实 磁盘设备的发展趋势，seek的速度没有 transfer的速度提升的快，seek对应着磁盘操作的时延，transfer对应着磁盘带宽 这就是说，如果seek的是对于数据集的小部分数据，基于B-Tree的关系型数据库可以work w
2017-03-13 15:15:13
263
原创 带着偏头痛学习偏导数
本周屁事 偏头疼整得我怀疑人生 周五的时候收到Coursera的deadline通知 圆通的虚假派送真恶心人整个个情人节没干别的，主要负责头疼！真疼，疼的怀疑人生。一度以为是找不到对象急的。介绍下我的偏头痛： 整体症状变现为后脑偏左部分脉搏性疼痛，连带着左眼一起疼。左眼外侧有一条粗壮的血丝，随机时间头痛。无妨防备，整日戒严，精神贼紧张。 自救方案 1. 买药：正天丸，消炎去火药
2017-02-17 12:33:44
652
原创 windows平台下用eclipes链接hadoop 2.7.3 操作hdfs遇到的问题和解决（一）
第一步 eclipse新建maven项目，pom.xml中添加hadoop依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version> </dependency> 新建测试代码，为了解hdfs java api大概（有
2017-02-16 10:56:33
1678
原创 java客户端操作hdfs权限问题初探
java客户端操作hdfs权限问题初探学习hadoop hdfs时，用java client操作hdfs，想熟悉filesystem的javaapi，但是在上传文件时报错：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission d
2017-02-15 15:50:01
1256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人