左VJ-CSDN博客

翻译 Spark 2.2.1 官方文档翻译 RDD编程指南（RDD Programming Guide）

本文翻译Spark官方文档，版本为2.2.1。章节目录如下：概览通过编写应用程序使用Spark链接到Spark初始化Spark通过Spark-Shell使用Spark弹性分布式数据集RDDparallelizing 集合外部数据集RDD操作基本操作将函数传递给Spark了解闭包例子本地或集群模式打印RDD的

2018-01-22 10:39:59 1466

翻译 Spark2.2.1官方文档翻译快速开始（Quick Start）

http://spark.apache.org/docs/latest/quick-start.html#more-on-dataset-operations使用Spark Shell进行交互式分析基础更多DataSet 操作缓存Spark应用程序更多本教程提供了使用Spark的快速入门教程。我们将首先通过Spark的交互式shell（Python或Scala）介

2018-01-21 01:08:34 1973

原创 Hadoop进阶之MR中MapTask并行度决定机制及切片机制

前言mapTask并行度的决定机制FileInputFormat切片机制切片定义在InputFormat类中的getSplit方法FileInputFormat中默认的切片机制FileInputFormat中切片的大小的参数配置map并行度的经验之谈ReduceTask并行度的决定前言maptask的并行度决定map阶段的任务处理并发度，进而影响到整个j

2018-01-15 17:51:31 3011

转载 spark streaming 根据文件内容自定义文件名输出，并实现文件内容追加

转载自http://blog.csdn.net/qq_19917081/article/details/56841299spark streaming 从kafka拉取数据，根绝消息内容，需要将不容的消息放到不同的文件夹下，大致内容为从消息中拆分出域名，不同域名分不到不同目录，域名下按消息中的时间分年月日目录，底层目录下自定义文件个数，实现追加由于sparkstreaming ...

2018-03-28 11:09:32 2374 2

原创 Spark进阶之shuffle深入解析

第37课：Spark中Shuffle详解及作业 http://www.blog.csdn.net/zhumr/article/details/52540994Spark Shuffle原理、Shuffle操作问题解决和参数调优 http://www.cnblogs.com/arachis/p/Spark_Shuffle.html美团Spark性能优化指南——基础篇 https://t...

2018-03-28 11:08:34 291

原创 ZooKeeper 是什么？知道这些就足够了！

Zookeeper是什么有什么用Zookeeper集群机制是什么Zookeeper选举机制zookeeper的选举机制全新启动的集群非全新集群的选举机制数据恢复Zookeeper结构Zookeeper特性zookeeper数据结构节点类型本文解决的问题：Zookeeper是什么？有什么用？Zookeeper集群机制是什么？为什么可以发挥这样的作用？Z...

2018-02-26 11:22:54 2634

转载【转】记Flume-NG一些注意事项

转载自《记Flume-NG一些注意事项(不定时更新，欢迎提供信息)》 https://www.cnblogs.com/lxf20061900/p/4012847.html一关于Source二关于Channel三关于Sink四关于SinkGroup五关于监控monitor六关于flume启动七关于interceptor八关于Flume-NG集群网络拓扑方案...

2018-02-26 11:20:58 380

翻译 Flume 官方文档翻译 Flume 1.8.0 User Guide（一）

Introduction简述OverView 综述System Requirements系统要求Architecture架构Data flow model数据流动模型Complex flows复杂流Reliability可靠性Recoverability可恢复性Setup设置Setting up an agent配置AgentConfiguring individu...

2018-02-09 14:40:34 2310

原创 JVM GC 图文笔记整理一图读懂GC算法

读《Java虚拟机：JVM高级特性与最佳实践（第2版）》后做的笔记整理： MinorGC ：新生代 MajorGC：老年代 FullGC ：所有。

2018-01-24 08:40:23 597

转载 Hadoop进阶之MapReduce编程模型简介和总结

本文转载修改自《MapReduce编程模型简介和总结》 https://www.cnblogs.com/mmaa/p/5789911.htmlInputFormatOutputFormatMapper和ReducerPartitionerMapReduce应用广泛的原因之一就是其易用性，提供了一个高度抽象化而变得非常简单的编程模型，它是在总结大量应用的共同特点的基础

2018-01-16 11:20:17 3877

转载 Hadoop进阶之读写文件内部工作机制

转载修改自《Hadoop读写文件时内部工作机制》 https://www.cnblogs.com/beanmoon/archive/2012/12/17/2821548.html读文件Hadoop中的网络拓扑写文件replica是如何分布的读文件读文件时内部工作机制参看下图具体流程 1. 客户端通过调用FileSystem对象（对应于HD

2018-01-15 10:16:25 1468

转载 Hive进阶-深入解析Hive底层实现 - Distinct 的底层实现

转自Hive – Distinct 的实现并稍作更改 http://ju.outofmemory.cn/entry/784Hive版本为1.1.0。有空的话其实可以分析它在hive on spark 的底层实现是怎么样的分析语句准备数据计算过程OperatorExplain分析语句SELECT count, COUNT(DISTINCT uid)

2018-01-10 16:40:41 8353

原创如何查看当前hive版本号

如何查看当前hive版本号方法一方法二如何查看当前hive版本号方法一查看jar包版本：whereis hive 获取 hive位置查看hive的jar包版本方法二进入hive客户端通过log查看当前hive的版本。

2018-01-09 12:00:32 78131 2

原创 Centos7：5分钟安装python3.5 并存python2.7，兼容yum及Gnome

前言由于需要使用Python3，而Centos7中默认安装的是2.7版本，于是进行升级安装。本文汇总我再安装及安装后的问题解决，希望能给大家一点帮助。Python3下载安装CentOS7默认安装了python2.7.5，当需要使用python3的时候，可以手动下载Python源码后编译安装。1.安装python3.5可能使用的依赖yum install openssl-devel bzip2-dev

2017-09-30 14:35:04 3786 1

原创在Linux中通过Kitchen和Pan以命令行方式执行kettle的Job和Transformation

1. 准备工作一个简单的job，一个简单的trans。本处为了方便和效果易见，job和trans都生成文件。trans：读取download目录下的所有文件名，输出为文件。【界面情况下测试成功】成功生成目标文件： job：创建文件。【界面模式测试执行成功】执行结果：把界面执行测试结果文件删除，以免影响观察。2. linux环境以命令行方式执行job和trans

2017-09-25 11:33:49 20639 1

原创 Kettle邮件配置及遇到的问题解决

其实kettle的发邮件配置还是很简单的。遇到了神坑的问题：connect time out。原因：公司网络作为邮件smtp发送不行。解决方法：换个网络，就好了。上图吧直接。因为确实很简单。 1. 基本配置 2.服务器配置： 3.内容配置 4.执行结果

2017-09-22 09:49:00 3773 1

原创 Linux中 Mysql 14.14 数据库编码修改为utf-8

故事背景：由于使用sqoop与mysql进行连接，为解决传输中文数据出现乱码问题，需要对mysql数据库编码进行修改。但由于网上的具体操作和我自己的操作不一样（其实也就是配置资源不一样），于是记录这个文档，希望帮到别的人。sudo vi /etc/my.cnf 在datadir，socket等等的下面加入：character_set_server=utf8 我就是开始的时候因为加入的地方不一样

2017-08-15 21:53:50 923

原创 Linux 中启动Eclipse 出现异常 Exit code =13解决方法

对于我的个人案例，是因为安装了与Eclipse位数不同的jdk：Eclipse64位，jdk32位。这还不是最坑爹的，坑爹的是我居然还不知道我装了32位的jdk。如何验证安装的jdk版本，请点击这里：卸载Linux中的jdk 并重新安装jdk的Linux命令： http://blog.csdn.net/zhongguozhichuang/article/details/52727745安装

2017-08-08 22:19:03 1357

原创 Linux 中如何辨别当前所安装jdk是32位还是64位

使用 java -version 即可。如果是安装了32位的jdk，则输出信息如下：java version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) Server VM (build 25.144-b01, mixed mode)上面的输出信息中没包含64bit。如果是安

2017-08-08 22:06:06 6905

原创 Window系统中MySql 5.7.19 忘记密码该怎么改回来

故事背景：装了mysql几天后忘记了密码，怎么试都不对，我也很绝望于是百度重设密码的方法，路途曲折，所以写下自己的解决方法，以助后人一臂之力。目的：改root密码为root方法：其实也就是修改mysql里所存储的root密码。至于为什么我的路途那么曲折？因为网上所修改的password字段，其实在我这个5.7.19版本没有，password字段变为了authentication_string字段。步

2017-07-28 16:37:16 5386 5

原创 Github 下载安装失败

Github再次安装，我居然遇到了挫折参考问题：http://stackoverflow.com/questions/25439865/unable-to-install-github-for-windows不废话，上解决问题：我是下载下载着会卡住，然后报一些我不记得什么错误。所以找了找解决方法。and it worked。我两个都试了，不知道最终哪个操作起作用。方法一：window+R 进入运行

2015-12-15 09:34:32 1701

原创修改NavigationView中的Item的Icon大小

嘿嘿嘿。闲着没事逛了逛 stackoverflow，发现有人问及这个问题: http://stackoverflow.com/questions/32179258/how-to-change-the-size-of-menu-item-icon-in-navigationview/34082280#34082280如何改变默认的NavigationView中的左侧icon大小？嘿嘿，看到没人回

2015-12-04 14:59:41 13246 9

转载魅族 MX4,MX4 Pro,MX5等 android studio无法识别问题解决

前手机突然发病暴毙身亡，一番抢救还是无法挽回，我知道我和它的缘分已尽，只好放手让它走了。一番比较，买了魅族MX5，很开心。过两天发现android studio无法识别？明明电脑都识别到是Mx5了啊？我很无奈。一番查找，终在魅族论坛找到答案。经尝试，有效。步骤：1.把手机usb模式设置成光盘模式2.建立或修改C:\用户\\.android\a

2015-10-20 22:09:30 5647

原创 Android Studio 1.3RC版 build加速

Android Studio 确实是好用，但build的速度却是奇慢无比！！！！我上网找了很多build加速的设置，却不能适配到我的1.3RC版。。。。。心塞，无耐，忍着超级无敌慢的速度硬是过了一周。当然这一周里几乎每一天都找一遍设置。。。。。直到，今天。我是真的高兴坏了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！哈哈哈哈哈哈哈机缘

2015-07-28 13:59:23 1904 1

原创一步消除导入Android项目所产生的错误

发现很多导入的别人的项目（比如说Andoird官方的Api Demo）后，产生一些莫名其妙的错误。经过对比排查，发现大部分是由于属性文件的丢失，只需在你的别的项目里copy一个属性文件过来就可以了。哈哈哈哈，希望能帮到你们吧~

2015-06-04 00:13:55 462

原创酷派大神f1，酷派大神f2 无法打log的解决方法。

我发现我的手机无法再eclipse里面输出自己打的log.i等log，一开始还以为是我手机root或刷过机的问题，在百度上找解决方法，并尝试了好久啊啊啊啊啊。最终非常偶然找到了解决的方法：酷派大神f1，f2在出厂时将log的级别做了限制。解除限制的方法是：拨号盘输入*20121220# -> 选择日志输出级别 -> 选择Java log level -> 选择LOGD即可。。。。。

2015-05-31 23:19:03 3187

原创在xml代码中实现color半透明

在开发一个app的appWidget的时候，身边的同学给了我一个很好的建议：“能不能把背景换为半透明的？因为我觉得半透明的效果会很好看。”觉得他的这个建议十分的好啊啊啊啊~感觉自己的ui一下子就高大上了起来。分析：首先，由于AppWidget的view是RemoteView，所以不能像普通的view那样用代码去实现透明度的调节。网上查阅结果得知，color标准表示是8位的16进制表示的，而我之前一直

2015-05-20 17:41:45 3953

原创 android学习记录(十八)---AppWidget显示内容随数据改变而更新

我们知道,appWidget可通过设置widgetinfo中的updateTimeMillies设置更新的间隔，那么，当我们需要实时进行更新的时候呢？该如何进行appWidget显示内容的更新？如行程应用中添加了新的行程，想立刻在appWidget显示内容更新。如何？我们知道，widgetProvider本质上就是一个广播接收器，所以我们可以在数据修改处发送一个与之符合的广播。当我们的intent并

2015-05-16 22:43:52 4338 1

原创 DDMS无法查看data/data简单解决方法

问题来源：由于需要查看app的数据库文件，所以我希望打开data/data目录去查看，但却发现我居然无法打开？试了下别的目录，却可以打开。我不服。。。问题引起原因：权限不足。问题解决步骤：先要条件：手机已root。 1.下载并安装Re管理器。 2.选取data目录，设置权限。搞定！！！！现在可以直接在DDMS里查看data/data目录文件了。

2015-05-13 13:08:50 2439

原创 android学习记录(十七)---Notification 精要解析

notification，通知，显示在状态栏那里的信息。它看起来是这样的：如果想设计更为人性化的notification，可参考android官方的design文档————notification创建notification 类似于AlertDialog的创建，notification的创建同样也是通过NotificationComp

2015-05-03 23:01:48 1557

原创 android学习记录（十六）Dialogs

首先,什么是Dialog.如图:即：只占一部分屏幕的对话框. 主要用处:提醒用户,和收集用户输入信息. Dialog类是基类.但一般不使用基类实例化对象,因为这样的目的性,功能性太弱.一般使用的子类: 1.AlertDialog 2.DatePickerDiaog，TimePickerDialog; 我们一般把它放在一个容器内

2015-05-02 17:38:38 641

原创关于google眼镜的个人想法

在网上看到关于google眼镜的各种差评，于我个人看来，这的确是，因为google的功能还是太广了。但如果我们缩小google功能的范围呢？其实，我个人对于google眼镜只有一个功能的期许：阅读。在现在这个快节奏时代，人们通常要花费很多的时间去从一个地方到达另一个地方。比如说：上班1个多钟地铁，来回3个钟了，白白浪费？虽说可以看书，看报纸。可是个人觉得太麻烦，背着书跑也太重，

2015-04-28 23:33:08 960

原创 android学习记录（十五）Menu综合

在android中，有以下几种菜单：1.Options Menu(选项菜单)；效果，在action bar处显示所定义的菜单项。2.Context Menu(上下文菜单)；效果：长按后弹出菜单窗口在屏幕中央。3.Popup Menu(弹出框菜单)。效果：在所绑定的view 的上边或下边显示菜单窗口。4.contextual Action Mode。（这个

2015-04-25 11:17:13 617

原创 android学习记录（十四）android震动功能调用

如何让手机震动？手机震动属于系统级别的功能，所以需要用到SystemService.想要让手机震动只需3步：1.Manifest文件添加权限： 2.获得vibrator实例。Vibrator vibrator = (Vibrator) getSystemService(VIBRATOR_SERVICE);3.调用api[a]vibrator.vibrate(

2015-04-23 21:26:04 1712

原创 eclipse 突然打不开，loading WorkBench后退出，闪退。

今天中午，我在用eclipse android 时发现很卡，每新建一个文件都弹出对话框加载什么东西，然后我就关掉重新打开，发现在loading workBench之后就关闭了，没动静了。上网查了一下，就解决。如下：删除文件：[workspace]/.metadata/.plugins/org.eclipse.e4.workbench/workbench.xmi还有其

2015-04-23 14:23:33 1916

原创 android学习记录（十三）Task 和 Activity 回退栈操作。

首先说一下Task是一个什么概念吧：Task是一个包含activity的列表。没错，简单的说就是按照启动的先后来排队的一个队列。Back Stack，就是回退栈的意思：那么有什么用？Back Stack是存储一个Task的实现方式，一个容器。它具有栈的特性：后进先出。那么，依据什么来把activity指定给某个Task？------默认情况下，根据activity的启动的顺序，加入

2015-04-02 07:23:29 5953 1

原创 android学习记录（十二）android设备兼容性

目前市场上有各种不同的android设备，从手机，平板，到电视等。甚至安装在同一个手机上的android版本也不同，比如说有的是4.0，有的是最新的5.0等。那么为了优化用户的app体验和令我们的应用功能根据不同用户设备配置做出改良，我们需要了解或限定有关的android版本，硬件配置等。Then，how？1.如果你的应用必须要依赖于手机的一些硬件，那么，我们必须让我们的应用只

2015-03-23 09:02:08 1400

原创 android学习记录（十一）在非主线程实现更新ui------------Handler

你想更新UI界面及更新界面上的显示数据？然而发现在其他的线程中不允许进行这样的操作？没错，在安卓的保护机制中是限制了只能够在ui线程中进行的。在群众们的强烈呼唤中，Handler和Message机制横空出世-----------------实现一种好像在非主线程更新UI的错觉。其实实际上它就是把非主线程的数据通过message和handler传输到主线程中。然后

2015-03-09 22:52:23 833

原创 android学习记录（十）SQLiteOpenHelper简单解析。

1.什么是SQLiteOpenHelper？就是字面上的意思：帮助打开SQLiteDatabase的工具类。2.SQLiteOpenHelper作用？主要是： 1.onCreate()中帮助初始化数据库的一些操作。如建表等 2.在onUpGrade()中帮助更新数据库，删除旧的表，创建新的表等等。3.为什么要用SQLiteOpenHelper？这个工具类

2015-02-01 21:31:30 971

原创 android学习记录（九）AppWidget桌面控件轻松实现

因为仿制的一个项目中需要实现一个AppWidget，就去学习了Widget是怎么实现的，总结起来其实也很简单。实现AppWidget的步骤有三：1.在Manifest文件中注册你的AppWidgetProvider类2.定义AppWidgetInfo(即widget的ui界面）。在xml中定义。3.实现你的AppWidgetProvider类。步骤解析：

2015-02-01 11:02:21 880

空空如也

位运算效率高还是位运算效率高？