雪地车的博客

原创 测试hive操作insert into和insert overwrite对elasticsearch中数据的影响

我们今天来测试一下，hive对elasticsearch表进行操作的时候，会怎样影响elasticsearch中的数据呢主要是测试insert into和insert overwrite操作测试重要结论：1.elasticsearch字段较多时，可以建立多个hive映射表分别进行写入2.hive无法删除elasticsearch中的记录，只能插入和更新3.hive的in

翻译 Hive on Spark系列一：CDH5.5配置支持hive on spark

CDH 5.4以后引入了Hive on Spark，但是在CDH5.5.x中是不被推荐使用的。为了尝试这一特性，请使用测试环境直到Cloudera解决了当前存在的问题和局限性来确保它能用于生产环境。

原创 mapreduce从hbase大量读数据超时异…

错误描述：16/05/06 19:56:13 INFO mapreduce.Job: Task Id : attempt_1461653563167_0008_m_000001_2, Status : FAILEDError: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attemp

原创 JVM之Java内存区域及内存溢出异常 …

一、Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。1、程序计数器占用较小内存空间，可以看做当前线程所执行的字节码的行号指示器，线程拥有独立的计数器。如果线程正在执行java方法，计数器记录正在执行的虚拟机字节码指令的地址；如果正在执行native方法，计数器值则为空。此内存区域是唯一一个在Java虚拟机规范中没有规定任何OutOfMemoryErr

原创 Spark 源码和应用开发环境的构建

转自：Spark 源码和应用开发环境的构建http://www.aboutyun.com/thread-16697-1-1.html(出处: about云开发)问题导读：1、如何在Eclipse下设置Spark开发调试环境？2、如何在IntelliJ下设置Spark开发调试环境？源码和应用开发环境的构建" />调试与阅读 Spark 源代码无疑是深入学习 Spark

原创 jQuery.extend 函数详解

转自http://www.cnblogs.com/RascallySnake/archive/2010/05/07/1729563.htmlJQuery的extend扩展方法：     Jquery的扩展方法extend是我们在写插件的过程中常用的方法，该方法有一些重载原型，在此，我们一起去了解了解。     一、Jquery的扩展方法原型是:　　　extend(dest,sr

原创 web.xml 中的listener、&nbsp…

转自：http://www.cnblogs.com/JesseV/archive/2009/11/17/1605015.html  在项目中总会遇到一些关于加载的优先级问题，近期也同样遇到过类似的，所以自己查找资料总结了下，下面有些是转载其他人的，毕竟人家写的不错，自己也就不重复造轮子了，只是略加点了自己的修饰。       首先可以肯定的是，加载顺序与它们在 web.xml 文件中的先

原创 jquery构造函数的12个分支

原创 java.net.BindException: Add…

转发自：土豆王子的日记 在网络编程中，特别是在短时间内new的网络连接太多，经常出现java.net.BindException: Addressalready in use:JVM_Bind的异常，网络有很多介绍此异常的，通常都是在说是要使用的端口被别的程序已经使用，但有时并不是这个原因，通过仔细查找，找到一些很好的资料，在此将其一一记录下来。  ****************

原创 系统架构设计师入门

1.架构师分为 以下几大类：业务架构师 ÿBusiness Architect)ÿ 主题领域架构师(DomainArchitect)ÿ 技术架构师(TechnologyArchitect)ÿ 项目 架构师( J2EE架构师、.NET架构师等）以及系统架构师2.系统架构师是系统或产品线的设计责任人，给出开发规范， 搭建系统实现的核心构架，对整个软件架构、关键构件、接口进行总体设计并澄清关键技

原创 2014年08月10日

感觉生活真累，每天累得跟狗一样，上班无奈的跟驴一样，回家屋子小的跟猪窝一样；不知何处是尽头，不敢吃顿好的，不敢多买几套衣服，不敢换新手机，不敢回老家，穷的跟一逼一样，为什么这么穷呢？

原创 linux笔记2--linux的vi编辑器

vi编辑器是所有Unix及Linux系统下标准的编辑器，它的强大不逊色于任何最新的文本编辑器，这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux中最基本的文本编辑器，学会它后，您将在Linux的世界里畅行无阻。1、vi的基本概念　　基本上vi可以分为三种状态，分别

原创 VMware网络模式

VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。Bridged 模式：在桥接模式下，VMware虚拟机里的系统就像是 局域网 中的一台 独立 的主机，它可以访问同一个网段内任何一台机器，即可以相互ping通。在桥接模式下，你需要手工为 虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才

原创 ant下部署struts2开发环境

1.安装部署jdk，安装部署tomcat服务器，下载安装ant构建工具，下载struts2的jar文件2.在电脑上新建一个文件夹test，在test文件夹下新建目录lib、src、WEB-INF，在test文件夹下新建文件index.jsp（见附1）3.所有网站都要有web.xml文件。从tomcat的webapps/在WEB-INF/ROOT/WEB-INF下，复制web.xml到te

原创 使用ant手动搭建struts2开发环境

1.安装部署jdk，安装部署tomcat服务器，下载struts2的jar文件2.在电脑上新建一个文件夹test，在test文件夹下新建目录lib、src、WEB-INF                                                                                                           

转载 ContentType,pageEncoding和…

原文地址：ContentType,pageEncoding和charset的区别作者：GAVINContentType 属性指定响应的 HTTP 内容类型。如果未指定 ContentType，默认为 text/HTML。　　语法　　Response.ContentType [= ContentType ] 　　参数 　　ContentType pageEncoding是jsp文件本身的编码

原创 object-c的开发起步

//object-c的开发起步//一、student.h文件#import@interface Student : NSobject{ int age;}-(int)getAge;-(void)serAge:(int)newAge;//同时设置两个变量-(void)setAge:(int)newAge andNo:(int)newNo;@end//二、student.m文件

转载 致李彦宏的公开信

原文地址：致李彦宏的公开信作者：flcaoz拜读了网上关于李彦宏在百度联盟峰会的演讲实录，对其中若干观点实在不敢苟同，如鲠在喉。特发此文，逐一辨明。第一个问题，用户重要还是商业模式重要。李彦宏认为，光抓住用户而不考虑商业模式是不对的，并用了网景来做说明。首先，这个例子用反了。在这个场合，这个例子是个百分百的反例。网景最早的模式李总不记得了嘛？是典型的付费软件下载。网景上市初期，收入每季度

原创 算法笔记2 递归与分治策略

一.递归的概念：直接或间接地调用自身的算法成为递归算法。用函数自身给出定义的函数成为递归函数。1.1递归解决阶乘函数。定义=(n是非负整数，n的阶乘是n*(n-1)......2*1)int factorial(int n)      {          if(n == 0)return 1;           returnn * factorial(n - 1);    

转载 《活出全新的自己》新版上市

我很想活出全新的自己，我不会不断地提醒自己。努力原文地址：《活出全新的自己》新版上市作者：张德芬   《遇见未知的自己》画出了一张心灵蓝图，唤醒大家重视内在世界的重要性。而《活出全新的自己》着重在“疗愈”这一块，帮助大家面对自己多年来一直未能被疗愈的创伤，并且在其中找到力量。当我们疗愈好自己，解除了自己的负面信念和模式后，“创造”自然会来临。                       

原创 编译原理笔记13  自底向上分析技术…

简单优先分析法一、基本思想 自底向上分析技术-简单优先分析法" TITLE="编译原理笔记13  自底向上分析技术-简单优先分析法" /> 自底向上分析技术-简单优先分析法" />二、简单优先文法a) 定义：一个文法G，如果它不含空串产生式，也不含任何右部相同的不同产生式，并且它的任何符号对(X,Y)---X、Y是非终结符或终结符---或者没有关系，或者存在优先级相同或低于、

原创 编译原理笔记12  自底向上分析技术…

一、自下而上的语法分析过程a) 自下而上的语法分析过程思路i. 自下而上的语法分析过程是一个醉左规约的过程，从输入串开始，朝着文法的开始符号进行规约，直到到达文法的开始符号为止的过程。ii. 注意：输入串在这里是指从词法分析器送来的单词符号组成的二元式的有限序列。b) 自下而上的语法分析方法：下推自动机。i. 工作方式："移进-规约"方式ii. 即：自左至右把输

转载 谷歌正式推出在线云储存服务…

原文地址：Drive">谷歌正式推出在线云储存服务Google Drive作者：飞刀李Drive" TITLE="[转载]谷歌正式推出在线云储存服务Google Drive" />GoogleDrive，让人们通过Web界面查看作为有意义缩略图的文件。谷歌Google►点击可修改和查看其他翻译Drive" TITLE="[转

原创 编译原理笔记11  自上而下分析-递…

递归下降分析技术一、递归下降分析程序若一个文法G不含有左递归，而且每个非终结符的所有候选式的首符集都是两两不相交的，那么就能为G中每个非终结符编写一个相应的递归过程。把该文法中所有这样的递归过程组合起来就可能构成一个不带回溯的自上而下分析程序-递归下降分析程序。二、递归下降分析法实现思路 自上而下分析-递归下降分析法" TITLE="编译原理笔记11  自上而下分析-递归下降分析法"

原创 编译原理笔记10  自上而下分析-预…

预测分析程序与LL(1)文法一、预测分析程序1.带预测分析的PDA：1）在PDA中加入预测分析之后，可以消除自上而下分析中出现回溯的现象，此时PDA可以改造为：   自上而下分析-预测分析程序与LL(1)文法" TITLE="编译原理笔记10  自上而下分析-预测分析程序与LL(1)文法" />2）注：a、改造后，整个分析过程都在预测分析程序控制下工作。B、预测分析程序用

原创 编译原理笔记9 自上而下语法分析-…

1）不带回溯的自上而下分析算法a) 消除左递归。i. 什么是左递归：自上而下语法分析-无回溯的自顶向下分析技术" TITLE="编译原理笔记9 自上而下语法分析-无回溯的自顶向下分析技术" />ii. 消除直接左递归，消除间接左递归。b) 消除直接左递归。  自上而下语法分析-无回溯的自顶向下分析技术" />自上而下语法分析-无回溯的自顶向下分析技术" />

原创 编译原理笔记8 自上而下语法分析-…

1.自上而下分析法的一般问题。1）自上而下语法分析定义：从文法的开始符号开始，反复使用不同产生式进行推导以谋求与输入符号串相匹配。注：此处的输入符号串是指词法分析结果的一串二元式。2）一般方法：a) 基本构成：设下推栈的初始状态包括两个符号：‘#S’，其中‘#’为栈底，‘S’为文法开始符号。整个分析过程在语法分析程序控制下进行。在语法分析中用到的文法产生的表，称为语法表。自上而下语法

原创 编译原理笔记7 自上而下语法分析-…

1.引言  1）语法分析的地位：是编译程序的核心部分。  2）语法分析的任务：识别由词法分析得到的单词序列是否是给定文法的句子。  3）语法分析的理论基础：上下文无关文法和下推自动机。  4）语法分析的方式：（1）自上而下语法分析：反复使用不同产生式进行推导以谋求与输入符号串相匹配。（2）自下而上语法分析：对输入符号串寻找不同产生式进行规约直到文法开始符号。注：这里所说的输入符号指词法分析

原创 编译原理笔记6 词法分析程序

1.正规式与有限自动机之间的关系。——有限自动机M向正规式阿尔法的转换。1）把状态转换图的概念拓展，令每条弧上都可以用一个正规式作标记。2）在M的转换图上加两个结点：x，y。从x用一颗塞隆弧连接到M的所有初态结点；从M的终态结点用一颗塞隆弧连接到y。这个新的NFA为M’，且L（M）=L（M'）3）通过引入的3条有限自动机替换规则逐步消去M’中的所有结点，直到只剩下x和y为止。这样，在x至y的弧线上

原创 编译原理笔记5 词法分析

词法分析1.词法分析是编译的第一个阶段，在单词的级别上分析和翻译源程序。2.理论基础：有限自动机理论，有限自动机理论与正规文法/正规式之间在描述语言方面有一一对应的关系。3.正规文法：是Chomsky 3型文法。正规文法是描述正规集的文法，可用于描述程序，设计语言的语法部分。4.正规集：由正规文法产生的语言。注：正规集是集合，可有穷也可无穷。可通过正规式来形式化表示。5.正规式：6.三

原创 编译原理笔记4 文法与语言

1.字母表与符号串2.连接（乘积）运算：串集间的乘积；串集的方幂：串集的自身乘积  例如：A={a,b};B={c,e,d}  则AB={ac,ae,ad,bc,be,bd}  1）A^0={ekeseilong}  2)字母表A的n次方幂是字母表A上所有长度为n的串集。3.字母表的闭包与正闭包1）字母表A的闭包（A*）2）字母表A的正闭包（A*），除了空串的所有次

原创 编译原理笔记3 编译程序

1.3编译程序生成1.直接用机器语言编写编译程序。2.用汇编语言编写编译程序。3.用高级语言编写程序。编译程序" />4.自编译5.编译工具：LEX（词法分析）与YACC（用于自动产生LALR分析表）6.移植（同种语言的编译程序在不同类型的机器之间移植）1.4编译程序的构造在某机器上为某种语言构造编译程序要掌握以下三方面：源程序，目标语言，编译方法。

原创 编译原理笔记2 引论续之编译程序的…

1.词法分析：任务：输入源程序，对构成源程序的字符串进行扫描和分解，识别出一个个的单词单词：是高级语言中有实在意义的最小语法单元，他由字符构成单词有：基本字（高级语言中原来定义好的单词，对于c语言有特殊的意义，不能随便应用，他构成了程序的框架如void，int，float），标识符（用户自己定义的单词），常数，运算符（+，-，*，/，=，and等），界限符（功能是分割开两个标示符，语句及

原创 编译原理笔记1 编译原理入门及引论

1.编译原理的地位计算机专业的专业基础课（今后也许不用，但一定要懂，要知道高级语言如何运行）是软件技术基础（想要编好程序，就必须了解程序是如何运行的）是计算机专业的必修的一门主干课是本学科研究生如何考生的科目2.编译原理的作用：是介绍如何将高级程序设计语言变换成计算机硬件所能识别的机器语言，以便计算机进行处理他的理论基础坚实，其形式化系统不仅应用于编译

原创 算法笔记1 算法概念

1.算法的概念：算法是指解决问题的一种方法或一个过程。更严格的讲，算法是指由若干条指令组成的又穷序列，且满足下述4个性质：1）输入：有零个或多个由外部提供的量作为算法的输入。2）输出：算法产生至少一个量作为输出。3）确定性：组成算法的每条指令都是清晰，没有歧义的。4）有限性：每条指令的执行次数和时间都是有限的。程序是算法用某种程序设计语言的具体实现，程序可以不满足性质4）2.算法复杂

原创 aAndroid笔记3 win7搭建Android开…

准备文件：WIN7 的安装方法与 XP 的安装方式完全相同。 1、安装JDK运行 jdk-6u14-windows-i586.exe  检查JDK是否安装成功。打开cmd窗口，输入 java –version 查看JDK的版本信息。2、安装 Eclipse直接解压缩 Eclipse3.4.1.zip 到指定目录 如：F:\Android\eclipse 运行ecl

原创 Java学记笔记31   XML

1.eXtendsible MarkupLabguage(可扩展的标记语言)2.Document Type Definition(DTD,文档类型定义) 3.xml示例：100lisibeijign4.XML中的每个元素都是成对出现的（又开始，有结束），,XML中的元素嵌套关系要保持正确性，即先开始的标记要先结束，后开始的标记要后结束。5.要求，每个XML文档都有且只有

原创 Android笔记2 Android开发环境的搭…

1.要开发Java程序，则肯定需要JDK的支持，同样如果开发Android的程序也是需要AndroidSDK的支持，可通过www.android.com下载，此时选择的开发版本是在Windows操作系统中，而AndroidSDK使用使用的是R11，实际上不管使用何种SDK的版本都是可以的，因为它可以自动的帮助用户进行升级。但是需要注意的是，Android SDK这个开发包本身只是一个开发的容

原创 Java学习笔记30 Java集合框架

圣思园张龙讲授java.util包中包含了一些在Java2中新增加的最令人兴奋的增强功能：类集。1.一个类集（collection）是一组对象。类集的增加使得许多java.util中的成员在结构和体系结构上发生根本的改变。它也扩展了包可以被应用的任务范围。类集是被所有Java程序员紧密关注的最新型的技术2.除了类集，java.util还包含了支持范围广泛的函数的各种各样的类和接口。这些类

原创 Android笔记1  Android入门

1.学习前需具备的一些知识：   javaSE：对一些面向对象，GUI的编程有所了解   JavaWEB：JSP、Htm、JavaScript、XML、Servlet等   数据库：SQL语句Android现在只能作为移动设备开发平台所广泛使用的技术，与实际上的3G开发有些相背离2.智能手机的发展历史：  1902年，第一个无线电话装置由一个美国人制成   1973年