- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mapreduce执行整个过程-切片以及yarn的处理
TextInputFormat会创建RecordReader去读取数据，通过getCurrentKey、getCurrentValue、nextKeyValue等方法来读取；读取的结果要形成key value的形式 以wordcount为例，1.客户端运行类似如下代码：hadoop jar wordcount.jar cn.xx.xx.MainClass /input/ /outp...
2018-09-12 10:09:23
734
原创 关于namenode、datanode和secondarynamenode的互动过程
元数据是保存在namenode中的，这些元数据包括文件名、目录名，文件目录从属关系、文件大小，文件与块对应关系，块所对应的节点等；namenode会将这些元数据信息保存在硬盘上，对应的名字是fsimage_txid（即类似这种：fsimage_000000000000003210），以备下次启动时，可以及时获取到整个hdfs文件系统的重要信息;除了这个文件，还有一个文件edits（或者叫editl...
2018-09-12 10:06:35
934
原创 HDFS常见javaAPI操作
/** * 总结了HDFS的常见javaAPI操作，包括： * 1.创建文件夹 * 2.删除文件夹 * 3.创建文件 * 4.上传文件 * 5.下载文件 * 6.使用seek命令多次重定位操作 * 7.多线程（并发）写入多个文件 * 8.文件的追加 * 9.多线程追加入单个文件；注：这种方式无法实现，示例中列出了错误原因 * 10.不同字符集文件的上传 * 11.hdfs内...
2018-05-13 20:41:52
3765
原创 centos7+python3+twisted安装
1.下载Twisted由于使用python3.6，因此需要下载最新的17.9.0版本，此版本已经支持python3.6，可参见上图中Release notes说明，下图为此说明的网页截图：2.解压下载下来的Twisted-17.9.0.tar.bz2tar -xvf Twisted-17.9.0.tar.bz23.安装进入解压后的目录，执行：python setup.py installok！...
2018-03-11 14:44:56
3549
原创 Python学习笔记-进程与线程-1
multiprocessing模块为再子进程中运行任务、通信和共享数据，以及执行各种形式的同步提供支持。这个编程接口有意模仿threading模块中线程的编程接口。但和线程不同，进程没有任何共享状态，这一点需要重点强调。因此如果某个进程修改数据，改动只限于该进程内。Process([group[,target[,name[,args[,kwargs]]]]])类练习1-1#! /bin/pytho...
2018-02-08 09:03:25
242
原创 Centos7配置python连接mysql
1.由于centos7已将原版本中自动安装的mysql改为了mariadb，因此mysql需要自己到mysql官网下载，mysql的安装过程略2.https://pypi.python.org/pypi/MySQL-python下载MySQL_python；3.由于下载的是c源代码，需要进行编译 但提示”No module named setuptools”错误；4.去https://pypi.p...
2017-12-24 23:37:13
3870
原创 WatchService——监控硬盘文件改动功能用法及其缺陷
WatchService是jdk7之后nio包中的新功能，可以监控某文件夹下（盘符下）的文件改动，有一定实际应用的意义；但存在的问题是：1）其指定的路径下的文件改动是可以监控到的，但只对指定目录及其子目录下有效，如果创建了更深的目录，则不再有效，2）对指定的文件夹属性无法改动，比如：指定监听d:/a/b目录，如果修改或删除b目录名称是不允许的WatchService servi
2017-11-12 00:09:19
3197
1
原创 几种集合中查找指定元素的方法的执行效率
今天写代码的过程中遇到一个需求，从大数量的字符串（不重复！）中查找指定的字符串，突然想到集合的几种查找方法，分别是contains，indexOf以及Collections的binarySearch方法，就想尝试一下哪个执行效率更高，以下是测试代码： public static void main( String[] args ) { //指定的字符串
2017-11-12 00:04:29
3625
hdfs的api操作、mapreduce以及重写patitioner的例子
2018-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人