demonwang1025-CSDN博客

转载 hive sql语句转换成mapreduce

1.hive是什么？2.MapReduce框架实现SQL基本操作的原理是什么?3.Hive怎样实现SQL的词法和语法解析?连接：http://www.aboutyun.com/thread-20461-1-1.html 美团大众点评上：http://tech.meituan.com/hive-sql-to-mapreduce.

2017-08-15 14:12:41 1076

转载深入浅出数据仓库中SQL性能优化之Hive篇

Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以及针对整个查询的优化。

2017-08-14 11:57:34 635

原创 Groovy SPL 语法链设计

因为要设计SPL,也可以说是DSL,采用Groovy，在chain调用的过程中发现两种方式。

2017-08-11 15:02:21 419

原创 Spark DataFram 脏数据与databricks

前两天在使用Spark SQL的过程中，一直遇到ArrayOutofBoundsError,然后比较了一下用databricks加载数据与不用的区别。

2017-08-11 14:40:02 770

转载 Hive入门

经常忘记hive的用处和方法，所以转载一篇方便下次查看

2017-08-04 10:29:19 312

转载 RDD：基于内存的集群计算容错抽象

该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。

2017-07-28 16:30:00 575

原创 Apache Zeppelin简介与源码

简介Zeppelin是一个Apache的孵化项目. 一个基于web的笔记本，支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook，可以直接在浏览器中写代码、笔记并共享)

2017-07-27 18:05:09 339

原创 Zeppelin Spark配置GroovySpark

Zeppelin Spark中添加GroovySpark的支持

2017-07-27 17:32:58 583

原创 Zeppelin下GroovyInterpreter的配置

GroovyInterpreter的配置

2017-07-26 11:21:46 653

转载 float,double等精度丢失问题

面试的时候遇到了这个问题，只知道精度会丢失，但是不知道为何会丢失，在这里做个记录。问题提出：12.0f-11.9f=0.10000038，”减不尽”为什么？

2017-07-11 19:13:31 434

转载 Lucene入门

Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。

2017-07-10 15:21:40 203

转载 Spring：源码解读Spring IOC原理

Spring：源码解读Spring IOC原理:http://www.cnblogs.com/ITtangtang/p/3978349.html

2017-07-08 11:14:10 903

原创 SSM框架--小功能整合

在 SSM框架——详细整合教程（Spring+SpringMVC+MyBatis）之后，还需要配置一些功能，提供常用的开发功能。

2017-07-02 20:13:34 312

转载 SSM框架——详细整合教程（Spring+SpringMVC+MyBatis）

SSM框架

2017-06-24 15:59:45 356

原创用位操作符实现乘除法加减法

1：乘除法右移一位就是除以2，左移一位就是乘以2。如：N*6 = N 如：N*7 = N 更详细的说明 http://bbs.csdn.net/topics/3601021652：加减法public int getSum(int a, int b){ while ((a & b) != 0x00) {

2017-06-22 10:16:50 531

转载 ASCII编码

ASCII码大致由三部分组成： 1、ASCII 打印字符：数字 32–126 分配给了能在键盘上找到的字符，当您查看或打印文档时就会出现。注：十进制32代表空格，十进制数字 127 代表 DELETE 命令。下面是ASCII码和相应数字的对照表ASCII 码字符 ASCII 码字符 ASCII 码字符

2017-06-22 10:15:24 1003

原创 CVTE-兔子藏洞百度-蘑菇阵百度-钓鱼比赛

CVTE-兔子藏洞百度-蘑菇阵百度-钓鱼比赛

2017-06-21 10:56:08 313

原创深入理解Java虚拟机总结

花了几天学习完了周志明老师写的《深入理解Java虚拟机–JVM高级特性与最佳实践》一书，为更加深入的理解以及日后复习之用，写一篇总结

2017-06-18 17:45:49 3513

转载工厂模式

抽象工厂模式：提供一个接口，用于创建相关或依赖对象的家族，而不需要明确指定具体类。工厂方法模式：定义了一个创建对象的接口，但由子类决定要实例化的类是哪一个。工厂方法让类把实例化推迟到子类。

2017-05-26 09:28:13 188

原创装饰者模式

装饰者模式装饰者模式：动态地将责任附加到对象上，想要扩展功能，装饰者提供有别于继承的另一种选择。

2017-05-25 17:30:22 251

原创观察者模式

观察者模式观察者模式：在对象之间定义一对多的依赖，这样一来，当一个对象改变状态，依赖他的对象都会收到通知并自动更新。

2017-05-25 16:04:22 191

原创策略模式

策略模式：定义算法族，分别封装起来，让他们之间可以相互替换，此模式让算法的变化独立于使用算法的客户。

2017-05-25 14:56:06 208

原创数据结构与算法学习总结

主要是通过对《数据结构与算法分析——C语言描述》（Mark Allen Weiss）的课本学习和普林斯顿大学的《算法》（Robert Sedgewick）课程进行学习（http://algs4.cs.princeton.edu/home/），都是讲的非常好的，受益良多，下面以算法课程的授课顺序进行一下总结。

2017-05-24 17:13:14 372

在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币

2017-04-12 16:22:49 373

原创 Spark独立集群模式部署

Spark独立集群模式部署1.local:本地模式，不是集群模式2.独立集群模式2.1 配置conf/slaves Slave1 Slave2 Slave32.2 同步conf文件到所有集群节点2.3 在Master节点启动master进程，start-master.sh2.4 在Slave节点上启动slave进程start-slave.sh（或直接在ma

2017-02-23 11:10:37 622

demonwang1025的博客