- 博客(16)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 发送邮件com.sun.mail.util.TraceInputStream.<init>(Ljava/io/InputStream;Lcom/sun/mail/util/MailLogger;)V
报错信息如下：Exception in thread "main" java.lang.NoSuchMethodError: com.sun.mail.util.TraceInputStream.<init>(Ljava/io/InputStream;Lcom/sun/mail/util/MailLogger;)V at com.sun.mail.smtp.SMT...
2019-10-30 19:17:16
2194
原创 spark1.6升级2.3读取hive表报错NoSuchDatabaseException: Database 'ods' not found
升级完spark后，通过spark-submit 操作hive报错，如下：org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'ods' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$ap...
2019-10-30 19:00:07
2184
2
原创 IDEA本地远程调试kylin
首先部署的kylin版本和IDEA里下载好的源码版本需要保持一致。步骤如下：1、按照官方教程，安装配置好kylin（可用docker启动）2、在启动脚本kylin.sh中添加-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=19001如下：start_command="hbase ${KYLIN_EXT...
2019-10-22 14:58:32
884
2
原创 hive查看rcfile和orc
hive --orcfiledump /data/datawarehouse/xx/xxxx/xxxx/part-00199hive --rcfilecat /data/datawarehouse/xx/xxxx/xxxx/part-00199
2018-08-31 10:13:39
3680
原创 spark读取sqlserver数据BulkLoad到hbase
def load2hbase2(sc: SparkContext,tableName: String): Unit ={ val sqlContext = new SQLContext(sc) val properties = new Properties() properties.put("user","xxx") properties.put("passwo...
2018-08-13 10:29:21
1159
原创 java.lang.SecurityException: class "javax.servlet.ServletRegistration"'s signer information does not
本地调试spark程序运行时会报错如下：Exception in thread "main" java.lang.SecurityException: class "javax.servlet.ServletRegistration"'s signer information does not match signer information of other classes in th...
2018-08-13 10:17:02
3384
1
原创 VirtualBox修改虚拟机存储路径
由于VirtualBox默认虚拟盘存放在C盘，导致C盘容量占用太多，于是要将默认 存放 位置修改到容量充足的盘符下，本文将C盘C:\Users\testUser\VirtualBox VMs下的虚拟盘转移到E:\VirtualBox\VirtualBox VMs下，如下： 1.把C:\Users\testUser下的VirtualBox VMs和.VirtualBox两个文件夹拷贝到...
2018-05-02 15:06:14
7517
1
原创 合并本地文件并上传到hdfs
hadoop能从标准输入流中直接put，如下：cat /home/data/* |hadoop fs -put - /tmp/data/input
2016-06-13 14:19:55
695
原创 mapreduce生成HFile通过bulkload入hbase库问题
最近有个需求，要将相同id的记录存储为hbase的一行，于是就将id做md5后作为rowkey，相同id记录数据以json存储在列中，开始想用一个mapper和一个reducer搞定的，mapper负责将数据组织好（以id的md5值做key，整行数据组织成json串做value输出），reducer负责将相同key的value拼接起来，并write到HFile中。方法一：m
2016-05-16 11:18:06
660
转载 shell 2>&1的用法
原文章请参考：http://blog.sina.com.cn/s/blog_5842daa30101enz5.html经常关注linux脚本的人，一定看到过 2>&1 这样的用法，最初一定不明白其中的含义以及为什么是这样的一种组合。昨天偶然间再次看到了这个 2>&1 的写法，遂下决心搞明白其中的含义。 其实要弄清楚 2>&1 的含义，首先应当知道linux中有三种标准输入输出
2015-10-22 10:33:34
613
原创 Hadoop 文件操作
1、 hadoop fs -put input/* ./in/将当前目录下的input文件夹下所有文件放到hadoop的./in文件夹下
2015-04-20 21:36:35
513
原创 centos 防火墙设置
Linux下查看、关闭及开启防火墙命令1、重启系统后不会复原 开启： chkconfig iptables on 关闭： chkconfig iptables off 1、重启系统后复原 开启： service iptables start 关闭： service iptables stop 需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。 在
2015-04-20 21:23:07
407
原创 ssh 出现key_read 问题
ssh的时候总是出现：key_read: uudecode AAAAB3NzaC1yc2EAAAABIwAAAQEAyQVLUpGRK0Z3YMt+0aBVN/5oiar4KGiqEsGI6D+d3xT6wzi+wXdYH5tOm2vMsaQdm8VgGO8iTGx7yXNBiTL1x5NdyG7B70JLHqoNKXJWpmOVbbFmknp6RxYu0hjOUZvwd5sZ6ONdNL4Zln
2015-04-16 23:22:42
2341
原创 hadoop启动datanode总有一个失败
今天启动hadoop的时候总是有一个datanode无法启动，错误信息如下：STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = localhost/127.0.0.1STARTUP_MSG: args = []STARTUP_MSG: version = 1.2.1STARTUP_MSG: build = http
2015-04-16 23:14:25
811
原创 Server2008 服务器jacob操作Office
今天用jacob调用Office将Excel转换成html格式，在本机测试没有问题，可是到服务器上就报错： com.jacob.com.ComFailException: Invoke of: OpenSource: Microsoft Office ExcelDescription: Microsoft Office Excel 不能访问文件“D:\Program Files (
2014-12-30 18:06:41
2184
原创 CentOS 6.6下安装OpenOffice4.0
最近由于项目需要，要在公司服务器上安装Openoffice，网上搜了一些资料后成功安装，现分享给大家。1、首先先下载好需要的rpm包：Apache_OpenOffice_4.0.0_Linux_x86-64_install-rpm_zh-CN.tar.gz或直接命令下载：wget http://heanet.dl.sourceforge.net/project/openofficeorg.
2014-12-27 11:03:42
16384
1
java反序列化漏洞利用工具WebLogicExploit
2016-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人