cxkaa502401673-CSDN博客

原创 linux命令统计文件中某个字符串出现的次数

总之,在Linux中有多种命令可以实现对文件内字符串出现次数的统计,grep和wc的组合用法算是最为常用和简单的一种。grep -o 's[0-9]+' /etc/file # 匹配s后跟一个或多个数字的字符串。- grep -o:查找文件中匹配的字符串,并只输出字符串本身。可以使用grep命令统计文件中某个字符串出现的次数。grep -o '字符串' 文件名 | wc -l。- '字符串':需要统计的字符串,用单引号括起来。- 文件名:需要查找的文件的路径和文件名。

2023-04-17 09:08:09 4455

翻译 IBolt IRichBolt IBasicBolt IBatchBolt 区分

一：IBolt :定义了Bolt的功能集合，主要有 void prepare(Map stormConf,TopologyContext context,OutputCollector collector);void execut(e Tuple input);void cleanup();三个方法二：IRichBolt：需要实现IBolt和IComponent接口 public interfa...

2018-03-14 17:10:07 495

原创源码编译Spark，Hadoop 2.6.0-cdh5.7.0 版本

1：下载源码2：解压spark-2.2.1.tgz3: 配置环境：意思是 maven版本至少要3.3.9 ，jdk 1.8 +本人的环境： jdk1.8.0 maven 3.3.9scala 2.114：进入spark源码目录，修改pom.xml添加支持CDH的repositorie

2018-01-11 16:38:43 1310 1

转载 RDD 中foreach与foreachPartition区别

参考：http://blog.csdn.net/u013939918/article/details/60881711https://www.cnblogs.com/mfmdaoyou/p/7073861.htmlRDD.foreachPartition/foreach的操作在这个action的操作中:这两个action主要用于对每一个partition中的iterat

2017-12-14 13:44:45 3868

转载 Spark:Yarn-cluster和Yarn-client区别与联系

我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。　　Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管

2017-12-14 13:39:16 237