huntblack-CSDN博客

原创使用HADOOP API 操作HDFS文件系统踩坑及解决

采坑及解决思路版本介绍代码展示踩坑1踩坑2版本介绍TYPEASCIIHADOOP 版本3.2.1JAVA版本1.8编辑器IDEA开发是在window上使用IDEA, 连接腾讯云购买的云主机, 云主机安装了HADOOP的环境;代码展示package com.imooc.bigdata.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSyst

2020-08-22 15:42:39 524

原创 LATERAL VIEW explode 采坑, 遇到空的array/map不返回结果

LATERAL VIEW explode 说明: UDFArgumentException explode() takes an array or a map as a parameter, 主要是将array和map 打平;比如:有个test表,结构如下:ABC[“垂直频道优质网易号提权_实验组_1”,“mfv2替换实验_实验组_1”]1k1null2k2则select A_explode from test where B=1 lateral view e

2020-08-06 19:54:32 2431

原创 Hive - 将本地磁盘文件导入到Hive表

桌面有txt文件名为: words.txt上传至本地服务器: rz在Hive中建表create table tmp.words_counts (word string ) STORED AS TEXTFILE LOCATION '/user/portal/user/portal/tmp/sunlu1/words';将本地磁盘文件导入Hive表中:LOAD DATA LOCAL I...

2019-01-21 18:05:47 1989

原创 HIve 建表, 导入HDFS路径文件; 遇到问题及解决策略

现有hdfs路径hadoop fs -du -h /user/portal/ODM/RECOMMEND/abc;路径下有每天分区139.1 M /user/portal/ODM/RECOMMEND/readAgentInfo/abc744.4 K /user/portal/ODM/RECOMMEND/readAgentInfo/abc.2018-12-041.1 M /user/...

2018-12-06 16:54:58 3303

原创 Centos7 wordpress路径问题, 出现Sorry, but I can’t write the wp-config.php file.

1.首先可尝试这位同学的办法, 修改nginx配置文件root的目录;https://blog.csdn.net/edison_03/article/details/827509352. 将latest.tar.gz的解压文件wordpress, 更改所有者和群组权限sudo chown nginx:nginx wordpress/*3. 为wordpress 添加读写权限: chco...

2018-11-21 18:29:04 2576

转载 ERROR 1045 (28000): Access denied for user 'xxx'@'localhost' (using password: YES)

ERROR 1045 (28000): Access denied for user ‘xxx’@‘localhost’ (using password: YES)在MariDB添加新用户时:mysql> GRANT ALL PRIVILEGES ON wds. TO wds@’%’ identified by ‘wds0k’;Query OK, 0 rows affected, 1 ...

2018-11-21 16:28:37 812

原创 FAILED: ParseException line 3:7 character ' ' not supported here 错误

建表时候老报错: ParseException line 3:7 character ’ ’ not supported here 查了许久终于发现 (这里看不清楚,其实是个·), 在两个字符中间; 最终在有道Markdown编辑模式下找到问题: content和string之间有个·,sublime根本看不见!! done...

2018-08-24 11:10:59 14428

原创 Hive 加载HDFS数据建表, 挂载分区遇到问题及解决方法

1.创建临时表:CREATE EXTERNAL TABLE IF NOT EXISTS tmp.tmp_tb_jinritoutiao_log (content string COMMENT 'json内容格式')COMMENT '今日头条视频内容'PARTITIONED BY (`day` string)STORED ASINPUTFORMAT 'com.hadoop....

2018-08-22 10:01:01 7431

转载 Hadoop 文件部分命令(文件行数)

欢迎使用Markdown编辑器写博客1.hdfs下载文件夹中多个文件hadoop fs -get /目录目录结果是输出到本地的文件夹之中2.多个文件合并后输出到一个文件之中hadoop fs -getmerge filePath localPath/data.dat3.统计多个文件行数hadoop fs -cat /文件* | wc ...

2018-08-14 11:00:14 7638

huntblack的博客