- 博客(24)
- 收藏
- 关注
RSS订阅原创 hive-spark: Error while processing statement: FAILED: Execution Error, return code 30041 from org.ap
今天用hive执行hql时出现错误:Error: Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 44e53d61-a15e-4d01-864c-099e6754c541 (state=42000,
2020-08-31 16:07:05
5799
2
原创 kylin:web页面登录问题： ERROR [localhost-startStop-1] context.ContextLoader : Context initialization failed
kylin安装后进行启动，然后登录kylin的web页面，出现了404问题，查看kylin的日志后发现报错：报错太长了，截取了一段 ERROR [localhost-startStop-1] context.ContextLoader:350 : Context initialization failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.sprin
2020-08-19 10:53:31
2598
原创 xshell突然连接不上虚拟机解决办法
昨天xshell还可以连接上虚拟机，今天晚上下班回来，想搞一下flink，结果xshell怎么也连不上虚拟机。查了网络上的一些解决办法，没有解决。最后google后找到了解决办法：首先说下网络上的大部分解决办法是：将vmnet1属性种的ip地址设置成手动地址，这个手动地址需要和虚拟机的频段相同：例如虚拟机设置为192.168.245.45，那么vmnet1的地址设置为：192.168.245.X，X可以是除了45的任意0~255间的数字。但是我试了以后不行，以下是我的解决办法：cen
2020-08-18 21:15:01
2436
1
原创 Presto客户端报错：Query failed (#20200815_082938_00004_a5yxe) in tmall-presto: Catalog hive does not exis
运行Presto客户端时报错：Query failed (#20200815_082938_00004_a5yxe) in tmall-presto: Catalog hive does not exis在网上查询，在谷歌上查询没有什么有效的解决办法，重新检查了一遍后，总结下可能导致这个问题的原因：1.检查hive.properties及内容是否有误：connector.name=hive-hadoop2hive.metastore.uri=thrift://Order:9083con
2020-08-16 09:50:53
4187
原创 azkaban日志报错：azkaban.executor.ExecutorManagerException: No active executors found
azkaban的web服务起不来，去查了日志，报错如下：[ExecutorManager] [Azkaban] No active executors found2020/08/13 10:56:17.109 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"2020/08/13 10:56:17.109 +0800 ERROR [StdOutErrRedirect] [Azkaban] azkaban.exec
2020-08-13 11:28:24
601
原创 Shell: 单引号‘‘和双引号““的区别，记录一下
总结如下：（1）单引号不取变量值（2）双引号取变量值（3）反引号`，执行引号中命令（4）双引号内部嵌套单引号，取出变量值（5）单引号内部嵌套双引号，不取出变量值
2020-08-05 15:44:09
672
原创 hadoop问题：org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory
看某机构视频学习数仓时出现以下问题：org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/atguigu/022de185-c8ac-42ee-9102-e1ba61371b40. Name node is in safe mode.解决方法：直接执行：hdfs dfsadmin -safemode leave关闭安全模式即可...
2020-08-04 15:12:33
5671
5
原创 hadoop问题：ssh: connect to host hadoop port 22: Connection timed out
绝大部分原因是ip地址没有设置好。1.查看防火墙是不是关闭：systemctl status firewalld永久关闭防火墙：systemctl disable firewalld2.假如已经可以用xshell等工具连接虚拟机，查看/etc/hosts 目录下的ip地址是否和在/etc/hostname中配置的一样本人是/etc/hosts中ip地址不一样的问题。...
2020-08-04 08:29:54
7060
1
原创 什么是BIO、NIO、同步IO、异步IO？
BIO:阻塞IO NIO:非阻塞IO 同步IO 异步IO那么什么是阻塞IO、非阻塞IO、同步IO、异步IO呢？一个IO操作其实分成了两个步骤：发起IO请求和实际的IO操作阻塞IO和非阻塞IO的区别在于第一步：发起IO请求是否会被阻塞，如果阻塞直到完成那么就是传统的阻塞IO；如果不阻塞，那么就是非阻塞IO。 同步IO和异步IO的区别就在于第二个步骤是否阻塞，如果实际的IO读写阻塞请...
2019-01-09 15:04:45
581
原创 Spring注解之@ComponentScan
@ComponentScan 其实就是起到了包扫描的作用。传统方式的包扫描，是在配置文件中输入以下配置项：<context:component-scan base-package="com.spring" use-default-filters="false"></context:component-scan> 如果不用配置文件的方式，可以直接在类上添加@Co...
2019-01-08 19:20:21
433
原创 Spring注解之@Configuration
@Configuration 是一个配置类的注解。以前用Spring的xml配置方式如下：2.现在用@Configuration进行配置如下：
2019-01-07 20:11:02
271
原创 Java8新特性之lambda表达式
Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑。语法lambda 表达式的语法格式如下：(parameters) -> expression或(parameters) ->{ statements; }...
2018-09-26 13:18:01
197
原创 阿里canal的理解
一：什么是canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的...
2018-08-28 10:19:01
11065
2
原创 @requestMapping中produces的作用
produces是注解@requestMapping注解里面的属性项，它的作用是指定返回值类型。使用方法如下：返回json数据，字符编码为utf-8.：@RequestMapping(value = "exportExcel", method = RequestMethod.GET, produces = "application/json; charset=utf-8") @Ap...
2018-08-28 09:37:08
1709
原创 @Scope注解的作用详解
@Scope默认是单例模式，即scope="singleton"。另外scope还有prototype、request、session、global session作用域。scope="prototype"多例例:@scope默认是单例模式（singleton）即：@scope("prototype")1.singleton单例模式, 全局有且仅有一个实例2.prototyp...
2018-08-28 09:30:05
44588
5
原创 java类立即被初始化的几种情况
初始化一个类，包括执行这个类的静态初始化，和初始化在这个类中声明的静态字段。根据Java语言规范，在首次发生下列任意一种情况时，一个类或接口类型T将被立即初始化。1）T是一个类，而且一个T类型的实例被创建。2）T是一个类，且T中声明的一个静态方法被调用。3）T中声明的一个静态字段被赋值。4）T中声明的一个静态字段被使用，而且这个字段不是一个常量字段。5）T是一个顶级类（Top Level Clas...
2018-07-11 15:48:32
633
1
原创 Java并发系列六：深入了解final关键字
1. final的简介final可以修饰变量，方法和类，用于表示所修饰的内容一旦赋值之后就不会再被改变，比如String类就是一个final类型的类。即使知道final具体的使用方法，但是，final在多线程中存在的重排序问题也很容易被人忽略，希望能够一起做下探讨。2. final的具体使用场景final能够修饰变量，方法和类，也就是final使用范围基本涵盖了java每个地方，下面就分别以锁修饰...
2018-07-06 15:19:49
1281
3
原创 Java并发系列五：深入理解volatile关键字
1. volatile简介在上一篇文章中我们深入理解了java关键字synchronized，我们知道在java中还有一大神器就是关键字volatile，可以说是和synchronized各领风骚，其中奥妙，我们来共同探讨下。通过上一篇的文章我们了解到synchronized是阻塞式同步，在线程竞争激烈的情况下会升级为重量级锁。而volatile就可以说是java虚拟机提供的最轻量级的同步机制。J...
2018-07-06 13:46:21
244
原创 Java并发系列四：深入理解synchronized关键字
1. synchronized简介在学习知识前，我们先来看一个现象：public class SynchronizedDemo implements Runnable { private static int count = 0; public static void main(String[] args) { for (int i = 0; i < 10; i++) {...
2018-07-06 11:05:58
268
原创 Java并发系列三：Java内存模型以及happens-before规则
注：本文参考于 微信公众号：Java知音JMM的介绍在上一篇文章中总结了线程的状态转换和一些基本操作，对多线程已经有一点基本的认识了，如果多线程编程只有这么简单，那我们就不必费劲周折的去学习它了。在多线程中稍微不注意就会出现线程安全问题，那么什么是线程安全问题？我的认识是，在多线程下代码执行的结果与预期正确的结果不一致，该代码就是线程不安全的，否则则是线程安全的。虽然这种回答似乎不能获取什么内容，...
2018-07-05 17:43:04
363
1
原创 Spring Boot 自动配置的深入解析
Spring Boot是Spring旗下众多的子项目之一，其理念是约定优于配置，它通过实现了自动配置（大多数用户平时习惯设置的配置作为默认配置）的功能来为用户快速构建出标准化的应用。Spring Boot的特点可以概述为如下几点：内置了嵌入式的Tomcat、Jetty等Servlet容器，应用可以不用打包成War格式，而是可以直接以Jar格式运行。提供了多个可选择的”starter”以简化Mave...
2018-07-05 15:30:23
460
1
原创 Java并发系列二：线程的创建、状态转换及基本操作
在上一篇文章中Java并发专题【1】并发编程的优缺点谈到了为什么花功夫去学习并发编程的技术，也就是说我们必须了解到并发编程的优缺点，我们在什么情况下可以去考虑开启多个线程去实现我们的业务，当然使用多线程我们应该着重注意一些什么，在上一篇文章中会有一些讨论。那么，说了这么多，无论是针对面试还是实际工作中作为一名软件开发人员都应该具备这样的技能。万事开头难，接下来就应该了解如何新建一个线程？线程状态是...
2018-07-05 14:21:51
626
1
原创 Java并发系列一：什么是并发？
由于最近想重新看下并发方面的知识，所以拿来总结一下，和大家分享探讨一下。1.为什么要用到并发？并发编程在一定程度上离不开多核CPU的发展。随着单核CPU的研发已经不能遵循“摩尔定律”（摩尔定律是硬件发展的观测定律，另外还有基于“摩尔定律”的“反摩尔定律”，不过“反摩尔定律”是软件领域的定律，有兴趣的可以自行了解），硬件工程师们为了进一步提升计算速度，而不是再追求单独的计算单元，而是将多个计算单元整...
2018-07-05 10:16:17
6361
原创 @Repository注解的作用及含义
@Repository(value="userDao")该注解是告诉Spring，让Spring创建一个名字叫“userDao”的UserDaoImpl实例。当Service需要使用Spring创建的名字叫“userDao”的UserDaoImpl实例时，就可以使用@Resource(name = "userDao")注解告诉Spring，Spring把创建好的userDao注入给Service即...
2018-06-27 14:17:31
59451
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人