xhl101711-CSDN博客

翻译 scala 符号

1、:: 是 scala的cons操作符car :: cdt "1"::("2"::("3"::Nil)) //> res1: List[String] = List(1, 2, 3)scala中做了简化所以也可以写成"1"::"2"::"3"::Nil是等价的 (::其实是方法名相当于调用方法可以写成.::)1 :: 2

2016-09-08 09:47:00 160

原创 spark kafka hbase

接上一个示例，结果输出到hbase wordCounts.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => // ConnectionPool is a static, lazily initialized pool of connections val hbaseCon

2016-09-05 14:34:14 190

原创基于0.9版本的kafka测试问题

主要模拟测试kafka的某一个broker挂掉的情况。public Future send(ProducerRecord record)1、定义partition,key,valuepublic ProducerRecord(String topic, Integer partition, K key, V value)这种情况下，测试结果是，如果这个partiti

2016-08-17 16:21:51 426

原创参数为1个RDD的Cogroup

import org.apache.spark.SparkContextimport org.apache.spark.SparkConfobject Cogroup { def main(args: Array[String]): Unit = { val sc = new SparkContext("local", "Cogroup", new SparkCon

2016-08-17 15:27:50 161

原创 Scala 统计文件单词数

函数原型：def foldLeft[B](z: B)(op: (B, A) => B): B = { var result = z this.seq foreach (x => result = op(result, x)) result }实现代码：val lines = Source.fromFile("E://test.txt").

2016-08-17 15:07:48 942

原创 Range 的 reduce(_+_)函数做累加的原理以及语法推导

scala> val array = 1 to 10array: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)scala> array.reduce(_+_)res4: Int = 55reduce源码：def reduce[A1 >: A](op:

2016-08-11 16:57:17 302

原创 Scala 闭包

scala> def add(more:Int) = (x:Int) => x+moreadd: (more: Int)Int => Intscala> val increase = add(1)increase: Int => Int = scala> increase(100)res0: Int = 101定义increase 时候，就定义了一个

2016-08-11 15:16:45 146

原创 Scala 闭包

scala> def add(more:Int) = (x:Int) => x+moreadd: (more: Int)Int => Intscala> val increase = add(1)increase: Int => Int = scala> increase(100)res0: Int = 101定义increase 时候，就定义了一个

2016-08-11 15:14:01 40

原创 CDH-HBASE二级索引

1. 使用LILY HBASE NRT 索引服务1.1. 确保整个集群范围的HBase复制启用 1.2. 用shell设置column-family的复制功能a) 对于已存在的表，每个需要建立索引的列簇都需要设置REPLICATION_SCOPE，命令如下：b) 新建表，用如下命令：1.3.

2016-07-29 10:46:08 69

原创 PHP+Apache安装

一、Apache的安装1、下载Apache：官方下载地址：http://httpd.apache.org/download.cgi2、安装步骤： 1）点Next进入下一步 2）

2012-11-19 10:18:26 361

转载 java特殊类中this使用

有时候，我们会用到一些内部类和匿名类。当在匿名类中用this时，这个this则指的是匿名类或内部类本身。这时假如我们要使用外部类的方法和变量的话，则应该加上外部类的类名。如下面这个例子：public class A{ int i = 1; public A(){ Thread thread = new Thread(){ public void run(){ f

2012-07-20 10:16:22 407