- 博客(15)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages（THP，页面内存透明化）开启为提升hadoop性能，hadoop环境上要求关闭Transparent Hugepages（THP，页面内存透明化），但是操作系统重启后会自动开启Transparent Hugepages（THP，页面内存透明化）。在Suse系统，解决方法： /etc/init.d 下的几个档案
2015-09-07 23:46:39
2575
原创 Hadoop压缩类型
压缩类型工具算法文件名后缀可分割DEFLAT无DEFLAT.deflat不gzipgzipDEFLAT.gz不bzip2bzip2bzip2.bz2
2015-09-07 23:37:40
676
原创 Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件Hadoop-2.2.0Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的）Hive-0.13.1Zookeepr-3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了）Sqoop1.4.5Scala-2.10.4Spark-1.0
2015-09-07 23:07:15
4656
原创 storm解除twitter4jar包依赖的方法
在进行storm构建时，经常性遇到twitter4j-core和twitter4j-stream组件报错，并且下载的时候根本不动，主要原因twitter这些关键字被和谐过滤了。找到网上说更改version的方法，更改完也一直不成功，然后就干脆自己直接下载jar包，自己安装了。安装方法如下：1.下载twitter4j.zip，地址为： http://pan.baidu.com/s/1
2014-12-11 20:28:56
652
转载 storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较，原文发表于踏得网。Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使
2014-11-26 12:55:06
1343
原创 好用的linux命令
1. 查看cpumore/proc/cpuinfo | grep name | cut -f2 -d: | uniq -c2. 查看
2014-10-28 19:14:49
733
原创 用scp后台传输文件，用rsync进行断点续传
用nohup命令$nohup scpfile_to_copy user@server:/path/to/copy/the/file > nohup.out 2>&1 这时候还不是在后台运行，你需要输入密码，接着按ctr+z去暂停命令， 然后用bg命令 Shell代码 bg 这个时候，即使你关闭PUTTY， SCP还是在后台运行，直到
2014-10-21 09:31:26
2143
转载 栈和堆的区别
栈是有编程器在程序运行时分配的空间，有操作系统维护。堆是由函数分配的内存块（如c中的malloc（）），内存的管理有程序员手动控制。区别：1.管理方式不同：程序员在运行时栈由操作系统自动管理，无须程序员手工控制；而堆空间的申请、释放工作由程序员控制，容易产生内存泄露。2.空间大小不同栈是向低地址扩展，是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的，当申请的空
2013-10-25 11:18:55
673
转载 栈和堆的区别
栈是有编程器在程序运行时分配的空间，有操作系统维护。堆是由函数分配的内存块（如c中的malloc（）），内存的管理有程序员手动控制。区别：1.管理方式不同：程序员在运行时栈由操作系统自动管理，无须程序员手工控制；而堆空间的申请、释放工作由程序员控制，容易产生内存泄露。2.空间大小不同栈是向低地址扩展，是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的，当申请的空
2013-10-25 11:17:40
690
原创 最佳路由选择原则
1.有效的下一跳IP地址：路由进程收到更新和其他信息后，路由器首先检查路由的下一跳IP地址是否有效2.度量值：如果下一跳有效，路由协议将按度量值最小的原则来选择到给定目的地的最佳路径。然后，路由协议将选择的路径加入到路由表中3.管理距离：接下来需要考虑的是管理距离。如果从不同路由获悉了多条前往同一个网络的路由（前缀相同），路由器将根据路由来源的管理距离来决定哪条路由加入到路由表中。管理距离
2013-10-24 00:34:12
6680
原创 忘记root密码，修改的方法
1. 假若忘记用户密码，可以通过在root上passwd改变密码2. 如果忘记了root密码，系统都进步了要怎么办呢？a) 此时只能进入当用户模式进入系统，因为在进入单用户模式时，是不用密码的，且不启动任何服务。b) 进入单用户模式：在启动系统，进入倒数的界面时，按上下键进入引导界面。按“e”课进入编辑界面进入ker
2013-10-22 01:50:55
639
原创 删除找不到指定文件夹的方法
1、用文件编辑器，键入以下列命令：DEL /F /A /Q \\?\%1RD /S /Q \\?\%1并保存为. xxx.bat的批处理文件.2 再把要删除的文件或者目录直接拖放到这个bat文件图标上就可以删除了.
2013-10-15 13:40:18
813
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人