- 博客(14)
- 收藏
- 关注
RSS订阅原创 Python 利用字典合并文件
这个要求是这样的：将俩个文件合并为一个文件，这俩文件具有相同的第一列，合并后的文件为 第一列只有一列 其他列追加，与下图cc.txt 相同aa.txt1 442 653 644 43bb.txt1 542 663 684 49代码：import sysprint sys.path[0]with open(sys.path[0]+'\\aa.txt','r')
2017-06-02 11:38:31
428
原创 解决Django 配置mysql 遇到 No module named MySQLdb or MySQL-python
解决Django 配置mysql 遇到 No module named MySQLdb or MySQL-python
2017-05-15 16:49:21
8834
2
原创 Python 安装模块报错 No package 'libffi' found
安装scrapy 时候，遇到报错：No package 'libffi' found直接 yum install libffi-devel 然后 pip install scrapy[root@python2 opt]# pip install scrapyCollecting scrapy Downloading Scrapy-1.3.3-py2.py3-none-
2017-05-09 10:59:57
17419
1
转载 MapReduce 中的类
1、map类 map类继承了库类中的Mapper，即Mapper。通常map类中会重写map方法，map每次只接受一个key-value，然后对其进行预处理，再分发出处理后的数据。其map方法为：protected void map(Object key, Value value, Context context) throws IOException, Interr
2017-01-11 15:33:35
596
原创 spark 提交任务到spark
用上俩篇写的spark 程序提交到spark 做运行测试，分别以俩种方式进行提交（yarn-cluster）(yarn-client)1>将编写的spark程序打成jar包2>将打好的jar包上传(包中添加了spark依赖)3>上传数据文件到hdfs hadoop fs -put /data/platform.txt /data/查看上传的数据[root@s
2016-12-21 14:25:24
3643
原创 spark sql 测试小程序
这一篇是对上一篇造数据脚本的应用，造出的数据大概3.5G左右，然后再intellj idea 中跑了一下，效果不错，当然只能是本地跑了。下为代码：package main.scala.UserPlatformCountimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Row, SQLContext}
2016-12-09 12:48:26
358
原创 Scala 造数据脚本，方便Spark做测试用
苦于spark 无数据可测试，于是就动手写了些scala 程序用来造百G 或更多的数据，以方便spark sql 做测试使用，之前在某影视公司面试的面试题数据结构，我就按这个来进行造数据。结构一共6个字段：DataStructure("ID","Username","Userage","PhoneType,"Click","LoginTime")数据预览：1,Role97,16,MI,
2016-12-09 09:26:06
2370
1
原创 CDH 5 时钟服务器配置
不得不说 CDH版本的hadoop 虽然再安装上提供了方便，但是在前期的准备工作上得做足充分的准备，才能保证你安装 的集群不出问题。因工作需要，最近一直也在研究CDH,在诸多尝试之后终于安装成功了。由于自己一时的苟且偷懒，遗留了一些小问题，就是时钟服务器的问题。装过CM的都知道，在安装CM 的时候，有一个时钟检查，这项不通过，你是无法进行下去的，当时偷懒，未设置ntp 服务器配置，只是简单的将所有
2016-12-01 16:18:14
4290
原创 hadoop fs -put 上传文件失败
16/10/08 21:35:27 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /aaa/aa.txt._COPYING_ could only be replicated to 0 nodes instead of min
2016-10-08 13:42:03
4516
原创 read 的用法及各项含义
1、shell中read及各项含义-a:将键入的内容读到 某自定义变量中（或者说数组中）vi read.sh#!/bin/bashread -a arrayecho ${array}sdbadmin@iZ25sdqd375Z:~/sh> sh read.sh5 55这里我键入了俩个值，但是只显示一个，之后又进行了尝试#!/bin/bashread -
2016-09-24 18:29:19
3834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人