- 博客(17)
- 收藏
- 关注
RSS订阅原创 Clickhouse使用测试
测试Clickhouse的插入特性，了解数仓计算中出现同层依赖场景下的数据处理。本次采用分布式的Clickhouse数据库进行测试。
2023-08-04 15:18:55
247
原创 Spark SQL函数中对应的PG数据库函数测试
pg:coalesce(nullif(dsiimro.oper_doc_id, ‘’), ‘-10’),用于判断字段值是 否是 ‘空’，再使用coalesce赋值。pg:coalesce(to_number(dept_id,‘9999999999999’) ,-1),存储过程中使用于类型转换。spark:需要自定义，当类型为string时，使用自定义的函数，类型为integer：ifnull(cs_id,-1)pg:SUBSTRING(v_day_start, 1 , 7),存储过程中多数用于截取时间。..
2022-08-03 19:34:55
885
2
原创 Mysql中遇到的索引问题总结
最近几天碰到了Mysql查询数据慢，造成接口请求超时情况，排查原因后发现为建立索引无法使用问题，特总结如下第一步查看Mysql中的索引，使用命令 show index from table_name，首先需要了解使用查询出来后所代表的意思命令详解：命令行对应的意思Table表的名称Non_unique如果索引不能包括重复词，则为0。如果可以，则为1Key_name索引的名称Seq_in_index索引中的列序列号，从1开始Column_name列
2020-09-18 17:59:00
196
原创 mysql之定时任务
mysql之定时任务定时任务语句下面语句表示每天01:00来执行该条sql语句CREATE EVENT IF NOT EXISTS name（定义定时任务名称，建议与表名相同）ON SCHEDULE EVERY 1 DAY STARTS DATE_ADD(DATE_ADD(CURDATE(), INTERVAL 1 DAY), INTERVAL 1 HOUR)ON COMPLETION PRESERVE ENABLEDO 需要执行的sql语句;时间定义周期执行Every：单位有second
2020-08-13 10:38:37
327
原创 sqlserver上的时间函数
datediff(day,createdate,GetDate())=0 -- 判断是否当天，createdate为日期字段 -- 1.一个月第一天的 Select DATEADD(mm, DATEDIFF(mm,0,getdate()), 0) -- 2.本周的星期一 Select DATEADD(wk,...
2019-08-19 16:56:37
152
原创 Linux上安装sqlserver2017
根据公司需求 需要在linux 上安装sqlserver数据库，已经安装了好长一段时间了，写的不好，但是我自己使用中确实没问题第一步：下载安装包wget https://packages.microsoft.com/rhel/7/mssql-server-2017/mssql-server-14.0.1000.169-2.x86_64.rpm第二部：解压安装包rpm -ivh mssql-...
2019-06-04 13:51:34
1636
原创 Centos7上安装sqlserver
一、创建目录mkdir sqlserver2017创建一个目录 sqlserver2007二、下载安装包wget https://packages.microsoft.com/rhel/7/mssql-server-2017/mssql-server-14.0.1000.169-2.x86_64.rpm三、执行安装rpm -ivh mssql-server-14.0.1000.16...
2019-05-16 17:47:13
2680
3
原创 liunx中安装mysql出现的问题 Access denied for user 'root'@'localhost' (using password: YES)
1. 安装完成后进入mysql后出现了如下的问题2.解决方法1.停止liunx上的mysql的服务2.进入bin目录下运行如下命令，通过客户端进入mysql中3.通过命令进入到mysql中，这里进入mysql不需要密码4.进入之后要先使用mysql数据库，然后修改密码并进行更新，如下图，完成后即可退出5.启动mysql的服务，通过命令进入并赋予权限6.在第五步中赋予权限会报...
2019-03-26 14:17:08
449
3
原创 liunx下安装mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz
1.解压准备一个赶紧的环境，然后安装mysql。2.cd到/usr/local/目录下，修改文件名为mysql修改完目录名以后我们cd到mysql下，建立一个data目录命令：cd mysql/ 和 mkdir data3.查看是否有mysql用户，并创建mysql用户4.给mysql用户进行赋权5.配置参数执行以下命令，用红框圈起来的就是我们的密码，需要...
2019-03-19 09:57:15
4891
原创 CDH5.15.0版本的安装#本篇文章为CDH测试版本，在一台服务器上虚拟出三台机
一、基础环境1.1软件环境| 软件名称 | 版本 ||-操作系统-|-Centos7.4 64 位-|| JDK | jdk-8u192-linux-x64 || Clouder Manager| 5.15.0 || CDH | 5.15.0 || 数据库 | Mysql 5.6 || JDBC | mysql-connector-java-5.1.43.jar |1.2配置规...
2019-03-11 13:27:12
532
原创 sqlserver中的日期函数
–按日统计SELECT CONVERT(VARCHAR(10),日期列,120) AS days,COUNT(1) AS totalCount FROM 表 GROUP BY CONVERT(VARCHAR(10),日期列,120) ORDER BY days–按周统计select datepart(week, 日期列) AS weekCount, sum(1) AS totalCount ...
2019-01-10 17:19:15
1938
原创 Sqoop问题总结
运行sqoop连接sqlserver的命令碰到如下问题：问题：WARN tool.EvalSqlTool: SQL exception executing statement: com.microsoft.sqlserver.jdbc.SQLServerException: 用户 ‘sa’ 登录失败。 ClientConnectionId:4a96ee65-f785-40fd-9377-2ba0...
2018-12-25 10:57:13
682
原创 Sqoop1的安装，测试，sqoop1与sqoop2的区别以及架构，执行流程
**1. Sqoop介绍**Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外，Sqoop 也提供了一...
2018-12-14 15:13:41
593
原创 使用kettle中遇到的问题
1.kettle连接hive和mysql与sqlServer中所需要的jar，将所有jar放到lib下2.在kettle连接hive时，需要启动hive的服务，分为两种启动方式直接启动nohup hive --service hiveserver2 >> ~/metastore.log 2>&1后台启动./nohup hive --service hive...
2018-12-13 11:17:13
393
原创 liunx下安装oozie
Oozie安装1.进入Oozie的官网http://oozie.apache.org/2.点击downloads3.点击画红圈部分4.点击画红圈部分5.点击画红圈部分6.上传到liunx上 解压到/opt/module下7. Cd bin进行编译 命令是：./mkdistro.sh -Phadoop-2 -DskipTests8.ping repository.cloud...
2018-12-13 11:10:21
165
转载 kettle连接hive与mysql之完整
@如何使用kettlehttps://blog.csdn.net/qq_29186199/article/details/80995847
2018-11-26 14:29:55
580
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人