跌倒的小绵羊-CSDN博客

转载 Elasticsearch之基础

接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。集群（cluster）一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticse

2017-09-13 16:13:51 302

转载大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。数据的计算则是指从大量单一数据点中提取信息和见解的过程。下文将介绍这些框架：仅批处理框架：Apache Hadoop仅流处理框架：Apa

2017-08-14 16:35:39 492

Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。　　本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JD

2017-08-12 21:34:38 248

转载 Spark SQL性能优化

转载自http://blog.csdn.net/yqlakers/article/details/68925328最近在学习spark时，觉得Spark SQL性能调优比较重要，所以自己写下来便于更过的博友查看，欢迎大家指导。在spark中，Spark SQL性能调优只要是通过下面的一些选项进行优化的：1 spark.sql.codegen 默认值为false，当它设置为true时，S

2017-08-12 13:10:50 2640

原创 scala常见问题总结（IDE:idea)

问题一：scala程序报错Error:scalac: IO error while decoding E:\Eclipse\Idea\Spark\src\main\scala\WordCount\AdvUrlCount.scala with UTF-8Please try specifying another one using the -encoding option解决方案：在idea

2017-08-08 11:21:49 1802

转载 org.apache.hadoop.ipc.RemoteExceptionOperation category READ is not supported in state standby解决办法

转载自http://blog.csdn.net/ZHAOLEI5911/article/details/51493637参考的文章：http://www.cnblogs.com/smartloli/p/4298430.html当然，在操作的过程中，发现与上述文章中描述的还是有一些小小的区别。配置好后，start-dfs.sh start-yarn.sh之后，相关的进程，会

2017-08-07 20:59:52 9267 1

原创 win10系统dos界面解决中文乱码问题

操作步骤：1、按win+r打开运行窗口，输入cmd。2、在命令提示符界面中，输入chcp 936，回车即可。3、在界面中，如果显示：活动代码页：936 就表示问题解决了。4、也可以鼠标右键命令提示框，选择默认值。5、在窗口中，默认代码页里选择“936简体中文选项，如图所示：以上就是Win10 CMD命令提示符不能输入中文的解决办法，cmd中使用中文输入的

2017-08-03 11:45:00 17323

转载 Scala中偏函数

Scala-Partial Functions(偏函数)如果你想定义一个函数，而让它只接受和处理其参数定义域范围内的子集，对于这个参数范围外的参数则抛出异常，这样的函数就是偏函数（顾名思异就是这个函数只处理传入来的部分参数）。偏函数是个特质其的类型为PartialFunction[A,B],其中接收一个类型为A的参数，返回一个类型为B的结果。其有个重要的函数就是：

2017-08-02 22:49:28 330

转载 Scala样例类详细解释

case类在模式匹配和actor中经常使用到，当一个类被定义成为case类后，Scala会自动帮你创建一个伴生对象并帮你实现了一系列方法且带来了不少好处，如下：1.实现了apply方法，意味着你不需要使用new关键字就能创建该类对象?12345scala> caseclass People(name:S

2017-08-02 22:09:03 6788

转载 HBase性能优化<转>

原文：http://kenwublog.com/hbase-performance-tuning因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180

2017-07-28 18:54:13 515

转载 Scala中方法和函数的区别

在Scala中函数和方法有什么区别方法可以作为一个表达式的一部分出现（调用函数并传参），但是方法（带参方法）不能作为最终的表达式，但是函数可以作为最终的表达式出现：scala> //定义一个方法scala> def m(x:Int) = 2*xm: (x: Int)Intscala> //定义一个函数scala> val f = (x:Int) =>

2017-07-28 18:49:50 303

转载 scala基础总结

转载自http://blog.csdn.net/u011225629/article/details/48263773，谢谢大神分享===概述 scala是一门以Java虚拟机（JVM）为目标运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。scala是纯粹的面向对象的语言。java虽然是面向对象的语言，但是它不是纯粹的，因为java的基本数据

2017-07-26 21:57:55 609

转载页高速缓存

一直以来，缓存和缓冲的概念十分容易引起混淆，其实如果用英文来表示的话可能会好一些，用英文表示，缓冲就是buffer，缓存就是cache，buffer有减轻，减震的作用，其实就是为了减少抖动而采取的平滑化方案，而后者cache是真实事物的代替或者是为了更低价的取得一些数据而采取的暂存方案，这是它们的区别，那么它们的联系是什么呢？最简单的，缓冲区可以被缓存吗，或者相反，缓存需要缓冲一下子吗

2017-06-16 09:22:36 403

转载常用10大算法

在程序员的职业生涯中，算法亦算是一门基础课程，尤其是在面试的时候，很多公司都会让程序员编写一些算法实例，例如快速排序、二叉树查找等等。本文总结了程序员在代码面试中最常遇到的10大算法类型，想要真正了解这些算法的原理，还需程序员们花些功夫。1.String/Array/Matrix 在Java中，String是一个包含char数组和其它字段、方法的类。如果没有IDE自动完成代

2017-06-15 18:08:22 258

原创 MySql知识点

1：查看mysql版本的方法：第一种在终端下mysql -V（也就是在命令行下或是客户端）第二种mysql> status; 第三种mysql> select version();2：查看mysql字符集命令：show variables like '%char%';mysql> show variables like '%char%';+-----------------------

2017-05-21 21:21:45 208

原创 Hive知识点

1:查看mysql服务是否启动命令 service mysqld status2:在集群上使用hive要首先启动mysql服务 service mysqld start

2017-05-20 13:52:17 450

跌倒的小绵羊