- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 sqoop导出数据到hive，日期格式多了.0 点0
原来导出的sql是select * from table 结果会出现一个.0,为了避免这类问题，select 所有字段 from table 对于字段为日期的格式化处理，date_formate(日期字段,''%Y-%m-%d %H:%i:%s'')如下面的格式import_rp_category_monthly_sale() { import_data "rp_category_monthly_sale" " select date_format(record_month,'%Y-%m-%d %.
2021-01-28 17:36:17
719
原创 Superset0.38.0新版本如何将中国地图由拼音显示中文
修改后修改的文件，/data/program/miniconda3/envs/superset/lib/python3.6/site-packages/superset/static/assets/b3c8bf97ee7cc642bf10e0eecbe25c36.geojson将NAME_1的值由拼音改成中文，一定是id_1后面的，然后页面刷新你的缓存
2020-12-17 13:28:18
782
2
原创 显示_破解Navicat连接的密码
把Password粘贴出来，放到下面的程序里面，把倒数第二行的密码换成自己获取的密码。4.点击运行，右侧的密码就是你想要的密码。2.用文本编辑器打开生成的文件。
2022-12-13 14:01:48
249
1
原创 在数据仓库中，数据同步有哪些方式？我们如何进行选择？
数据同步方法主要有全量同步策略、增量同步策略、新增及变化策略、特殊策略1.全量同步策略应用场景：1、首次拿到业务相关数据时且不关心主键的情况下，一般会将全部数据导入到一张表中。2、针对业务需求： 每日全量，每天存储一份完整数据，作为一个分区。适用于表数据不大，且每天既有新数据插入，也会有旧数据修改的场景。例如：编码字典表，品牌表，商品分类表，优惠表，活动表，商品表，加购表，SPU表等。 2、增量同步策略应用场景：1、一般在第一次全量建表以后，基本会选择增量同步策略，除非有所有
2021-07-20 09:42:54
905
原创 es集群问题，修改默认端口9200，改成其他端口，无法获取集群信息
需要添加端口信息：根据日志提示discovery.zen.ping.unicast.hosts: ["hadoop31:9301", "hadoop32:9301","hadoop33:9301"] 其他不用修改
2021-07-13 16:40:20
1111
原创 Linux：环境变量配置说明
Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。bash的运行模式可分为login shell和non-login shell。例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell，而当我们执行以下命令ssh hadoop103 command，在hadoop103执行command的就是一个non-login sh
2021-07-07 13:43:55
80
原创 mysql 数据库获取字段名称和字段类型，字段顺序不出现混乱，具体的代码
SELECT t.field, case t.type when 'varchar' then 'string,' when 'datetime' then 'string,' when 'bigint' then 'bigint,' when 'int' then 'int,' when 'tinyint' then 'int,' when 'int' then 'int,' when 'longblob' then 'string,' when 'text' then 'stri.
2021-07-01 13:51:37
373
原创 hive udf的过程中，pom文件无法下载相关依赖，修改maven配置，maven的配置文件如下
<?xml version="1.0" encoding="UTF-8"?><!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copyright ownersh.
2021-06-30 14:02:32
308
原创 2021-04-01
CentOS 安装mysql 8.0.23 ,网上有很多安装方式，我才用 一个非常不错的一个方式，不用修改太多的配置，大家可以尝试，非常方便的，https://www.jb51.net/article/186499.htm
2021-04-01 10:45:03
50
原创 sqoop从关系型数据中导数据指定相应的队列
#!/bin/bash if [ -n "$2" ] ;then do_date=$2else do_date=`date -d '-1 day' +%F`fidb_name=ztdata_sync.[dbo]sqoop=/data/program/sqoop-1.4.6/bin/sqoopimport_data() {$sqoop import -D mapred.job.queue.name=hive \--driver com.microsoft.sqlser.
2021-03-17 16:17:24
892
原创 hive跑脚本的时候，出现异常，regexp_replace替换函数导致，错误如图所示，解决方案如下
insert into decent_cloud.t_cpbszb_logselect get_json_object(data, '$.id') id, get_json_object(data, '$.DjBth') DjBth, get_json_object(data, '$.create_time') create_time, get_json_object(...
2021-01-20 17:03:08
1100
原创 CentOS 7.0批量删除rpm 安装包
sudo rpm -qa |grep -i jdk |xargs -n1 sudo rpm -e --nodeps
2020-12-29 13:28:58
523
原创 vmware按照vm-tools 安装失败，解决办法
安装链接：https://www.jianshu.com/p/217e8cc316f3安装失败：解决的办法rm -rf /etc/vmware-tools rm -rf /tmp/vm* ./vmware-install.pl
2020-08-03 16:52:55
691
原创 如何统计连续（连续登陆天数，连续学习天数，连续购买天数）
直接来看实战，现在有一张表t，这张表存储了每个员工每天的打卡情况，现在需要统计截止目前每个员工的连续打卡天数，表t如下表所示：uid tdate is_flag1 2020/2/1 11 2020/2/2 01 2020/2/3 11 2020/2/4 11 2020/2/5 01 2020/2/6 ...
2020-04-14 23:47:21
2798
原创 手写hivesql
表结构：uid,subject_id,score求：数据集如下1001 01 901001 02 901001 03 901002 01 851002 02 851002 03 701003 01 701003 02 701003 03 85找出所有科目成绩都大于某一学科平均成绩的学生...
2020-01-03 23:43:01
200
原创 SparkSql 项目实战
第 1 章 准备数据我们这次 Spark-sql 操作中所有的数据均来自 Hive.首先在 Hive 中创建表, 并导入数据.一共有 3 张表: 1 张用户行为表, 1 张城市表, 1 张产品表CREATE TABLE `user_visit_action`( `date` string, `user_id` bigint, `session_id` string,...
2019-11-21 00:05:20
778
原创 Hadoop处理文本文件，数组下标越界的特殊情况
今天在使用Hadoop分析文件时，莫名其妙出现了数组下标越界报错。1、先检查程序是否有问题，如果没有问题。2.检查文件是否有问题，检查文件的末尾是否有问题，3.用debug单行调试也行，需要会简单的debug。用eclipse或者idea都可以。在接受到行数据后将行拆分为数组，数组元素可以正常打印，但是控制台报下标越界，try环绕后仍然报错，但是程序可以正常跑完。检查了很多遍，...
2019-09-08 13:10:05
593
转载 Fragment null must be a public static class to be properly recreated from instance state.
logcat中的报错：java.lang.IllegalStateException: Fragment null must be a public static class to be properly recreated from instance state. 今天写影音播放器项目的时候碰到了这个问题，老师视频中的代码这么写能运行，但是在我电脑上就会报错。/** * 把页面添加到f...
2018-05-24 09:48:27
1253
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人