- 博客(22)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
使用maven下载IDEA的 maven-scala-plugin 时报如下4个错误：Cannot resolve plugin org.scala-tools:maven-scala-plugin:<unknown>Could not find artifact org.scala-lang:scala-compiler:pom:2.11.12 in scala-tools.org (http://scala-tools.org/repo-releases)Could not fi
2020-06-15 17:44:54
20168
8
原创 hive写入ES报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
HIVE整合ES场景：ES版本：6.5.2hive版本：2.3.4插件包下载地址：https://repo.maven.apache.org/maven2/org/elasticsearch/elasticsearch-hadoop-hive/整合过程网上很多资料，下载与自己ES版本匹配的插件包，然后将elasticsearch-hadoop-hive-6.5.2.jar拷贝到hive安装目录lib下。因为我的hive下已经有commons-httpclient-3.0.1.jar文件了
2020-05-30 16:33:43
1091
原创 FAILED: SemanticException No valid privileges User p55_u33_userchk does not have privileges for LOAD
场景：大数据平台使用sentry做权限控制。使用代理用户从后台直接在hdfs上创建了目录/sap/webservice,将数据put到此目录,然后load数据到hive表中报错如下：Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: Semantic...
2019-10-30 15:37:41
7516
原创 requirement failed: Block broadcast_487 is already present in the MemoryStore
场景：以往正常执行的sparksql，今天在公司执行报如下错误：第一次执行报错如下：Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1382 in stage 320.0 failed 4 times, most rece...
2019-06-05 13:44:22
528
原创 java.sql.SQLException: java.lang.RuntimeException: serious problem
场景： spark on hive 使用sparksql查询hive的ORC表。select * from evchk_ods.ODS_CAR_DRIVE_INFO_P_D报错如下：java.sql.SQLException: java.lang.RuntimeException: serious problemat org.apache.hive.jdbc.HiveSta...
2019-05-31 18:13:11
2853
原创 with as insert overwrite table
习惯写sql的时候把insert overwrite table 写在首行,但是在使用with 语法的时候报错:Error while compiling statement: FAILED: ParseException line 2:0 cannot recognize input near 'with' 't1' 'as' in statement最初还以为是insert时不支持w...
2019-02-21 11:31:37
4005
原创 [ERROR] SQLInstaller error 12: Invalid install path
问题:hxeadm@hxehost:/usr/sap/HXE/home/mysql-connector-odbc-5.3.11-linux-sles12-x86-64bit/bin> ./myodbc-installer -d -a -n "MYSQL" -t "DRIVER=/usr/lib/libmyodbc5a.so;SETUP=/usr/lib/libmyodbc5a.so"[...
2018-11-16 15:38:19
1456
原创 HANA通过unixODBC连接HIVE及遇到的问题
1,首先安装unixODBC.前文已经安装过,不做赘述.2,使用https://www.cloudera.com/downloads/connectors/hive/odbc/2-5-24.html下载hiveodbc驱动ClouderaHiveODBC-2.5.24.1017-1.suse12.x86_64.rpm,我这个是适合suse12 64位的版本,可以选择适合自己系统的版本.3,...
2018-11-15 20:45:59
1687
原创 suse安装unixODBC问题记录
一,安装unixODBC1,下载unixODBC最新版本:http://www.unixodbc.org/2,#tar zxvf unixODBC-2.3.7.tar.gz3,#cd unixODBC-2.3.74,#./configure --prefix=/usr/local/unixODBC-2.3.7 --includedir=/usr/include --libdir=/...
2018-11-09 17:37:15
1955
原创 HAHA激活视图报 Insufficient privileges - not authorized 的权限问题
场景:导入SAP HANA提供的虚拟机,启动完成后,通过eclipse使用SYSTEM用户连接HANA.1, Catalog -> SYSTEM -> 新建一个test表.2, Contnet -> 新建一个package -> 新建Attribute View 3, add TEST表到 TEST 视图,并Activate视图.报如下错误.描述如下:...
2018-11-09 15:30:34
2140
原创 spark-thrift-server 执行spark-sql 的OOM GC异常.
场景 : 在前端页面提交一个spark-sql,然后通过spark-thrift-server 调用来执行. sql逻辑很简单, 就是使用join关联两表(一个大表90G,一个小表3G)查询,前台界面执行出错.后台抛出java.lang.OutOfMemoryError: GC overhead limit exceeded 异常; 直接使用./spark-sql --master yarn --executor-memory 4G --num-executors 19 启动
2016-10-19 10:21:03
3881
原创 安装oracle遇到的bug及解决方法
因公司需要，搭建oracle数据库服务器：ubuntu 14.0.4 LTS 64oracle ： oracle 11gjdk ： jdk 1.7安装教程网络上很多。粘贴两篇我借鉴的教程http://www.linuxdiyf.com/linux/9954.htmlhttp://www.jb51.net/article/53769.htm下面开始介绍安装...
2016-03-21 13:51:04
11202
原创 安装flume-1.6.0后,测试所遇bug
案例1：AvroAvro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件vi /usr/local/flume-1.6.0/conf/avro.confa1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the s
2015-10-21 16:01:27
6260
1
原创 hive1.0.0-1.2.1版本升级及升级中遇到bug
1,现版本:hive1.0.02,目标升级版本:hive1.2.1升级步骤:1.关闭当前打开的连接.2.备份mysql中的hive库(如若升级失败,便于恢复) mysqldump -uhive -phive hive > schem_hive-1.0.0.sql3.解压新版本hive4.修改环境变量 指定HIVE_HOME到新版本hive目录
2015-10-12 15:47:42
2130
原创 hadoop笔记
1、SAAS、PAAS、IAAS、XAAS、都是什么意思，另外DAAS是什么意思？ SAAS：应用软件服务，用户可以直接租用服务 PAAS：管理软件资源的服务，通过他可以开发、管理软件服务 IAAS：管理硬件资源的软件服务，通过他可以租用硬件 XAAS：一切皆服务，指越来越多的通过互联网提供的服务，而不是指本地或现场服务。云计算的本质就是XAAS DAAS：
2015-01-12 18:35:48
728
原创 关于部分datanode不能正常启动的问题
2014-10-11 14:42:51,415 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: using BLOCKREPORT_INTERVAL of 3600000msec Initial delay: 0msec2014-10-11 14:42:51,421 INFO org.apache.hadoop.ipc.Server:
2014-10-11 15:20:47
1312
原创 统计页面独立IP数的时候遇到的异常
14/10/07 19:51:18 WARN mapred.LocalJobRunner: job_local_0001java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text
2014-10-07 19:50:43
523
转载 在eclipse中调试Hadoop遇到的问题
14/09/10 15:42:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable14/09/10 15:42:55 ERROR security.UserGroupInformatio...
2014-09-10 16:22:09
912
转载 MapReduce 编程模型在日志分析方面的应用
日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详细解释 MapReduce 模型的对应实现，涵盖在 MapReduce 编程中对于特殊问题的处理技巧，比如机器学习算法、排序算法、索引机制、连接机制等。文章分三部
2014-08-19 10:44:17
606
转载 MapReduce工作原理
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的R...
2014-08-19 09:47:24
716
Python for Data Analysis第一版的测试数据
2017-11-15
glibc-static-2.17-55.el7.x86_64
2016-03-21
Rsession Jar包REngine.jar, RserveEngine.jar, Rsession.jar,以及Rsession.jar源码和使用文档
2015-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人