- 博客(38)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 fatal: ‘origin‘ does not appear to be a git repository
'origin' does not appear to be a git repository
2022-06-11 13:48:20
5905
5
原创 VSCode安装go相关插件失败的解决方案
GO环境信息C:\Users\home>go versiongo version go1.18.2 windows/amd64C:\Users\home>安装go插件之后，VSCode开始写代码会提示安装其他插件，错误信息如下：Installing 8 tools at C:\Go\repository\bin in module mode. gotests gomodifytags impl goplay dlv staticcheck g.
2022-05-20 00:39:30
19694
6
原创 Springboot整合Neo4j和Mysql多数据源整合方案及其解决冲突问题方法
1. 背景最近数仓系统的元数据分析和任务依赖分析用到Neo4J，原有的后台模块使用了Mysql，需要在同一个模块中同时操作Mysql和Neo4J，整合的方案网上也有不少，感觉别人好像不会有整合的问题一样，而我在整合的过程中，碰到一系列问题。2. 整合步骤1. 添加Jar包依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-st
2022-01-18 17:29:22
5938
1
原创 表扩展字段实现，实现字段值自动填充功能
一般的业务系统，需要扩展字段，扩展字段值需要自动填充功能@Componentpublic class MpMetaObjectHandler implements MetaObjectHandler { @Override public void insertFill(MetaObject metaObject) { Date date = new Date(); this.strictInsertFill(metaObject, "dflag",
2021-11-19 10:10:02
335
原创 Hive UDF函数扩展实现步骤
Hive自定义函数中主要分为三类UDF函数（一进一出），1.编写一个Java类，继承UDF类，并重载evaluate方法。方法中实现函数的逻辑（可以在一个Java类中实现多个函数）。2. 把程序打包成Jar，上传到HiveServer所在机器或者HDFS上。3. 客户端命令行中添加Jar包到Hive的classpath中，可以直接放到${HIVE_HOME}/lib中 hive> add Jar /xxx/xxx/xxx.jar 命令格式4.注册成为临时函数或永...
2021-10-06 00:10:22
201
原创 Oracle添加字段，字段注释，表注释语句
-- 添加字段alter table 表 ADD (字段名 字段类型)如：alter table dws.DWS_FINANCING_INCUR_DEBTS ADD (ORG_ID NVARCHAR2(128));-- 添加表注释COMMENT ON TABLE 表名 IS '表注释';-- 添加字段注释COMMENT ON COLUMN DWS_FINANCING_INCUR_DEBTS."ORG_ID" IS '字段注释';区分大小写可以用双引号，字段或表名需要用双引号...
2021-08-02 10:55:25
1221
1
原创 Hive和Oracle的多行转单列
1. Hive多行转单列，即行转列 一般行转列，Hive用concat_ws指定分隔符来拼接字符串，如果需要去重的话，还需要用collect_set，如果不需要去重，则可以用collect_list替代。模拟代码select t1.ID, concat_ws(';',collect_set(cast(t1.name as string))) namefrom user_list t1group by ID2. Oracle的多行转单列，即行转列Oracle的行...
2021-07-11 00:36:24
522
原创 Oracle生成当前时间到上一年末所有月末日期数据
很多时候，我们要统计上一年末到当前月份，每个月月末数据，则需要生成每个月底日期和相关业务数据进行关联。SELECT to_char(ADD_MONTHS(trunc(to_date('20210630', 'yyyymmdd'), 'yyyy') -1, ROWNUM - 1),'yyyymmdd') as mouthstr FROM DUAL CONNECT BY ROWNUM <= months_between(to_dat.
2021-07-08 17:07:17
1956
原创 当年取最新月份历史取年末数据
SELECT *FROM ( SELECT t.*, ROW_NUMBER() OVER( PARTITION BY stats_year, stats_subject ---stats_subject 统计科目 ORDER BY stats_month DESC, data_dt DESC ...
2021-07-08 10:31:53
97
原创 Oracle数仓分区表创建及其数据清理存储过程
Oracle数仓中，由于客户要求不能有delete语句，delete语句会对每一条数据记录一条日志，造成很慢，日志太大的问题。同时由于传统数仓容量限制，需要对历史数据进行一个归档，归档之后需要对历史数据进行清理，因此Ods采用了分区表设计。ODS采用按天列表分区，重跑时需要清理已存在的分区数据，非重跑时需要增加按天分区。清理的Oracle存储过程如下：-- 清理分区数据或创建分区-- v_tabname 表名-- v_tabpartition 分区名字-- v_bizdate 分区值C...
2021-04-12 16:32:42
723
原创 轻松搞定Linux docker在线或离线自动安装及其docker配置
docker是做什么，就不用我来赘述，整个IT行业，docker使用频率一直在提高，任何一个新的软件安装部署对于一个新手来讲，都是比较麻烦的。下面提供一个脚本，即支持在线安装，也支持离线安装。特别提醒，如果是离线安装，则要提前下载docker和docker-compose安装文件。下载地址如下：docker安装文件：https://download.docker.com/linux/static/stable/x86_64/docker compose安装文件：https://gith...
2021-02-27 16:11:31
170
原创 Suse Linux 磁盘动态扩容
1. 背景 Suse Linux本身非常少见，在实际项目中用过最多的是CentOs和RedHat版本的Linux，Linux各个发行版只是微小差异，命令基本上一样。有一个数仓的测试环境中，总磁盘大小为1T，根目录/挂载了300G，剩下的600多G挂载到了/home目录下，磁盘空间分配非常不合理，根目录磁盘已经被Oracle的数据库占满了，而/home目录只使用了几十个G，根目录占满之后，数仓的调度几乎无法运行，有些时候连接Oracle都成问题。甲方又不给增加容量，还要我们自己去扩容。2....
2021-02-24 10:12:05
2285
原创 Oracle密码过期策略修改，改成永不过期
问题： Oracle密码过期，无法登录。如下图所：执行请求的操作时遇到错误:ORA-28001: the password has expired28001. 00000 - "the password has expired"*Cause: The user's account has expired and the password needs to be changed*Action: change the password or co...
2021-02-02 15:56:11
241
原创 UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xbf in position的解决方案
pip安装时python包时报错，我自己是运行pip install pandas时报错。报错信息：DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won't be maintained after that date. A future version of pip will drop support for P
2020-10-19 13:29:52
1150
2
原创 Kerberos常用命令用法
1. Kerberos简介 Kerberos就是一种网络认证的协议，提供了一种登录认证的方法，常用在大数据集群中hadoop相关组件中的安全认证功能，和Kerberos类似的还有ldap。Kerberos主要包括认证服务器（AS），客户端和服务器。Principal是相当于用户名，是客户端和服务器的一个唯一名字，keytab文件是加密的认证文件，一般有Principal和keytab为后缀的认证文件就可以了。认证的时候很少直接使用密码。2. kerberos管理员常用命令2.1 登录K...
2020-10-08 22:29:28
13278
1
原创 RedHat/Centos系统中Python源码编译升级Python 2.6.6版到Python 2.7.15
1. 前言 升级python版本，有两种方式，第一种是通过RPM包的方式升级，第二种是通过源码编译升级。1. 环境版本信息 本文中的操作系统是RedHat6.9版本，属于比较老的版本，但是按照greenplum时，Python环境最低要求是Python2.7版本，系统自带的版本是Python2.6.6版本，因此只能升级Python版本来解决。[root@localhost ~]# lsb_release -aLSB Version: :base-4.0...
2020-09-30 12:06:06
334
原创 Springboot集成quartz调度框架，同时可以在Job中直接使用@Autowired
扯皮： Quartz是一个分布式任务调度框架，详细介绍请查询官网，避免误导大众。目前搜索结果被某些网站霸占，点击进去很难找到自己想要的结果。Spring本身也可以实现任务调度，简单的任务调度，可以用Spring的，复杂一点的只能使用Quartz了，网上的文章眼花缭乱，特别是很多恶心的网站复制来复制去，重复率那么高。Springboot集成Quartz的步骤：1. 添加Quartz依赖。<dependency> <groupId>org.springfr...
2020-09-08 10:50:05
689
原创 docker容器安装mysql镜像，并配置远程访问
1. docker基本命令 1.1 查看已拉取镜像 [root@hadoop66 ~]# docker images[root@hadoop66 ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEd...
2020-09-08 10:05:50
539
原创 mysql 8.0版本后修改密码的方法及其lower_case_table_names设置问题
网上文章太多了，没多少靠谱的，搜索引擎收集了一堆垃圾。8.0以后，修改密码的方法已经很以前不一样的，安装的日志中会自动生成临时密码。临时密码：mysql 8.0版本后修改密码的方法mysqladmin -uroot -p安装时生成的临时密码 password 新密码mysql8.0 安装好之后，启动之后，无法配置lower_case_table_names选项，启动之后配置lower_case_table_names，则服务无法启动。如果你已启动，请卸载重新安装。rpm -e .
2020-08-19 20:26:00
1129
原创 linux为已存在的用户创建home目录
新建的用户时候，有时候创建home目录不成功或有忘记创建home目录，则需要后续来创建用户的家目录home 实例用已oracle用户为例子localhost:~ # mkdir /home/oraclelocalhost:~ # chown oracle:oinstall -R /home/oraclelocalhost:~ # usermod -d /home/oracle oraclelocalhost:~ # grep oracle /etc/passwdoracle:x:10.
2020-08-18 16:29:25
10335
原创 mybatis多字段一对多嵌套查询
mybatis或mybatis-plus嵌套查询语句，嵌套查询条件为多字段。1. 定义JavaBean@Data@Accessors(chain = true)@ApiModel(value = "WflowLogTableEntityDto", description = "工作流调度日志数据传输")public class WflowLogTableEntityDto { @ApiModelProperty(value="执行批次ID") @TableId(value =
2020-08-18 14:06:02
1080
原创 基于Spring拦截器自定义注解CheckAuth实现用户认证校验
基于Spring框架实现自定义登录验证CheckAuth注解，此注解主要用于类和方法上，实现接口调用时进行用户认证校验，注解代码如下：import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.lang.annotation.Target;@Retention(RetentionPoli
2020-05-16 01:30:46
3120
原创 Source Insight 3.5的golang语言扩展及其设置
Source Insight3.5 官方没有提供golang支持，我的是Source Insight 3.50.0064，官网4.0版本已经支持golang，当时官网没提供3.5的golang的扩展文件，3.5和4.0不能兼容的，只能靠自己编写。官网下载地址https://www.sourceinsight.com/download/custom-languages/，官网中可以看到，没有提供3....
2020-04-09 10:32:40
1148
原创 golang 引入导入本地其他项目的包或者其他目录的代码
项目目录结构如下，本文主要是解决如何引入其他文件夹的代码或者其他项目的包。刚开始老是碰到引入问题。编译时，引入错误通常会报malformed module path "xxxxx/common/message": missing dot in first path element类似的错误。还有就是有些开源库中用到golang.org/x/....等问题，golang.org这个网址本身无法访问造...
2020-04-07 02:09:04
16270
原创 Spark streaming应用状态监控及其自动重启脚本
Spark 应用的状态监控，应用提交，应用定时重启等等，有很多开源的组件可以用的方案，比如说hue,azkaban,oozie之类的。总有一些客户提供大数据环境，不提供一些工具，嫌弃工具的。那只能通过最原始的方法来提交Spark应用，应用状态监控只能通过脚本来实现。脚本主要内容每隔10分钟检查一次状态，如果不在运行，则重启。由于客户自己要求还加了一个凌晨无论在不在运行，都是先关闭，然后在重启。...
2020-03-16 16:20:44
523
原创 Springboot 2.1.1.RELEASE版本修改默认JSON解析器为fastjson
SpringBoot 2.0 以上，需要自定义配置项时，则通过实现WebMvcConfigurer接口来实现，WebMvcConfigurerAdapter已经过时了，SpringBoot默认的JSON处理器（解析器）是Jackson，本人用的比较多的是fastjson，fastjson的api用起来更方便一点。当然有时候太过复杂的JSON字符串，使用FastJson有时候会转换失败，只不过一般情...
2020-03-09 18:00:55
383
原创 CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel包，进行了安装。安装完成之后，运行Spark的相关命令就报java.lang.NoClassDefFound...
2020-03-04 14:18:34
796
原创 CDH大数据平台安装phoenix-4.14.0
客户生产环境用的CDH 5.12.2企业版本，其他组件主要版本为kafka 0.9,hbase 1.2,spark1.6+spark2.1,phoenix4.14.0，JDK 1.7.0.67，由于公司开发时跟客户环境不完全一致，主要在HDP版本和apache版本的大数据平台测试相关应用，由于各种配置的问题，特别是Kerberos认证，导致线上运行特别不稳定。不得不在公司安装CDH的社区版来做基...
2020-03-01 01:33:18
731
原创 Spark hadoop票据过期问题HDFS_DELEGATION_TOKEN
问题描述：Spark streaming应用运行7天之后，自动退出，日志显示token for xxx(用户名): HDFS_DELEGATION_TOKEN [email protected], renewer=yarn, realUser=, issueDate=1581323654722, maxDate=1581928454722, sequenceNumber=6445344, m...
2020-02-18 17:42:48
1880
原创 heka 0.11.0源码分析--主要启动流程分析
heka主程序的启动源码为cmd/heka/main.go，首先来分析一下main函数源码如下：主程序代码分析func main() { exitCode := 0 // `os.Exit` will skip any registered deferred functions, so to support // exit codes we put it in the first reg...
2020-02-11 23:59:17
453
原创 heka 0.11.0源码分析--Elasticsearch OutPut插件
ElasticSearchOutputElasticSearchOutput插件使用HTTP或UDP将记录插入ElasticSearch数据库。由特定的编码器将消息序列化为JSON结构，同时转换成适当的ElasticSearch Bulk 批量API接口的 Indexing索引的JSON格式。通常，此插件与特定ElasticSearch的编码器插件结合使用，例如ElasticSearch JSO...
2020-02-11 14:50:59
293
原创 SparkStreaming发生java.lang.StackOverflowError的解决方案
在使用SparkStreaming做实时统计时，使用了mapWithState基于有状态的统计，必须使用Spark自带的checkpoint机制，使用这个机制会有带来很多问题，又没有更好的办法。有一个实时统计的应用在公司环境中一直运行都没啥问题，到了客户的生产环境中老是出问题，没有逃过一演示就崩的魔咒。公司开发使用的Apache版本，客户生产环境用的是CDH企业版本hadoop，管理端用的是CD...
2020-01-10 10:17:01
540
原创 挂载ISO镜像作为本地yum源
Linux系统安装的时候，没有全部都安装，一般没有特别的说明，安装的自带软件都是比较少的，可能是最小化安装的。再者很多生产的机器都是不联网的，无法再现安装，只能离线安装软件。安装软件有涉及到很多依赖，总之没有网络安装软件非常头痛的一件事情。而Linux系统很多RPM包都是在ISO镜像中能找到的，无需去网上以一个一个下载，RPM包一般位于ISO镜像中Packages目录下。本文主要是离线安装软件时...
2019-12-17 11:07:30
6555
原创 SSH免密登录（Linux）
ambari，CDH安装大数据环境，都需要ssh免密登录，当然手动安装apache版本的hadoop环境也需要。注意：访问的用户名和登录用户一致 如：三台机器都有root用户，以下的行为都基于同一用户第一步： 配置hadoopmaster节点无密码登录到其他节点，在hadoopmaster节点上操作 ssh-keygen -t rsa 运行结束以后， 默认在 ~/.ssh目录生成两...
2019-12-04 09:54:38
98
原创 presto部署安装配置
PRESTO安装配置PRESTO server 下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.212/presto-server-0.212.tar.gzPRESTO client 下载地址:https://repo1.maven.org/maven2/com/facebook/presto/...
2019-12-03 15:40:20
343
原创 dll文件生成lib文件方法，解决缺少lib文件，无法链接问题
有些时候，别人提供dll文件，却没提供lib文件，而windows平台VC++编译器又需要lib文件来链接，不然编译根本无法通过，找别人比较麻烦的情况下，只能自己来生成lib文件。lib命令说明：lib命令说明：usage: LIB [options] [files]options:/DEF[:filename] /EXPORT:symbol /EXTRACT:me...
2019-12-03 11:51:04
1589
Source Insight 3.5的golang语言扩展文件
2020-03-19
源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz
2018-01-21
源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz
2018-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人