伴生伴熟-CSDN博客

原创 LATERAL VIEW EXPLODE与LATERAL VIEW OUTER EXPLODE的区别

LATERAL VIEW EXPLODE与LATERAL VIEW OUTER EXPLODE的区别。

2023-01-13 17:11:16 514

原创 hive kv结构转map

hive 将kv结构转map结构。

2022-11-23 11:13:01 659

用正则替换字符，示例代码：SELECT aa ,REGEXP_REPLACE(aa, '[a-z]', '') -- 替换所有字母 ,REGEXP_REPLACE(aa, '[abc]', '') -- 替换指定字母 ,REGEXP_REPLACE(aa, '[^abc]', '') -- 替换所有非字母 ,REGEXP_REPLACE(aa, '[0-9]', '') -- 替换所有数字 ,REGE

2021-07-14 10:34:07 19093 2

原创 hive ARRAY_CONTAINS

hive ARRAY_CONTAINS判断array中是否包含某个值，包含返回true，不包含返回falseSELECT ARRAY_CONTAINS(SPLIT(c1,','), 'a') AS c1 ,ARRAY_CONTAINS(SPLIT(c1,','), 'b') AS c2 ,ARRAY_CONTAINS(SPLIT(c1,','), 'c') AS c3 ,ARRAY_CONTAINS(SPLIT(c1,','), 'd') AS c4

2021-04-23 10:44:29 1481

原创 python3访问url

python3 访问url# -*- coding:utf-8 -*-import requestsr = requests.get('https://www.baidu.com/')print(r.content)

2020-10-15 10:16:34 1214

原创 DataFrame 窗口函数rolling()

在数据开发最经常会用到将最近几个值相加、求平均等操作，使用rolling操作简单、计算效率高官方文档链接DataFrame.rolling(window, min_periods=None, center=False, win_type=None, on=None, axis=0, closed=None)参数说明：window:时间窗的大小,数值int,即向前几个数据(可以理解将最近...

2020-03-09 17:59:42 27518 1

原创 DataFrame 行列移动函数(shift)

用于移动df中的行列，或滚动取第N行值做为新列，代码如下：# -*- coding:utf-8 -*-import pandas as pdimport numpy as np# 创建DFdf = pd.DataFrame(np.random.randint(5, size=(3, 2)), index=pd.date_range('1/1/2020', periods=3), col...

2020-03-05 22:11:41 8656

原创用Mysql取字段中的key_value值

示例代码SELECT SUBSTRING_INDEX( REPLACE(a, CONCAT(SUBSTRING_INDEX(t.a, 'c:', 1),'c:'),'') ,';' ,1 )FROM ( SELECT 'a:10;b:20;c:30;d:40' AS a ...

2019-10-18 10:28:02 2717

原创 python递归解析嵌套json

json数据示例{"node":"a","subNodes":[{"node":"a1","subNodes":[{"node":"a11","subNodes":[{"node":"a111","subNodes":[]},{"node":"a112","subNodes":[]}]},{"node":"a12","subNodes":[]}]},{"node":"a2","subNodes"...

2019-08-16 17:54:31 12279

原创 python dataframe递归找出每个节点的所有父节点

数据存储格式 pid id None a a a1 a a2 a1 a11 a11 a111 a a12期望获得每个id的所有pid代码如下:import pandas as pddf = pd.DataFrame( { 'id': ['a', 'a1',...

2018-03-27 17:47:11 6432 1

转载 python递归父子节点数据,打印节点路径层级

递归父子节点数据数据样式 id name p_id 1 学校A 0 2 专业1 1 3 专业2 1 4 专业3 1 5 专业4 1 6 班级11 2 7 班级12 2 8 班级21 3目的:打印每个节点路径,层级代码:...

2018-03-15 20:39:51 4177

原创 numpy函数:arange(),reshape()用法,

import numpy as np默认一维为数组print(np.arange(5))自定义起点一维数组print(np.arange(1, 5))自定义起点步长一维数据print(np.arange(2, 10, 2))用一维数组生成二维数组data = np.arange(8) print(data.reshape((2, 4)))用一维数组生成三维数组data = np.arange(60

2017-11-16 10:42:00 37470 2

原创 python修改list中所有元素类型

修改list中所有元素类型：方法一：new = list()a = ['1', '2', '3']for x in a: new.append(int(x))print(new)方法二：a = ['1', '2', '3']b = [int(x) for x in a]print(b)

2017-03-30 16:01:27 39810 6

原创 hadoop stop-all.sh no namenode to stop解决方法

现象：长时间启动hadoop后，使用stop-all.sh报 no namenode to stop，但使用jps发现namenode 确实存在原因: hadoop默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下，但linux会定期清理/tmp目录，pid信息丢失导致解决方法:修改hado

2017-01-22 16:10:54 2370

原创 mysql 取多列最大最小值GREATEST,LEAST

SELECT GREATEST(1, 2,3,4); 结果：4SELECT LEAST(1, 2,3,4); 结果：1

2017-01-12 17:18:35 21806 4

转载 MySQL的Replace into 与Insert into on duplicate key update真正的不同之处

这篇文章写得很详细，这里借鉴下: http://www.jb51.net/article/47090.htm

2017-01-12 10:43:08 543

原创 mysql判断是否为闰年

DELIMITER $$DROP FUNCTION IF EXISTS `F_IS_LEAY_YEAR`$$CREATE FUNCTION `F_IS_LEAY_YEAR`(p_year BIGINT) RETURNS INT(11)BEGIN DECLARE v_year INT; -- 0:不是闰年,1:是闰年 DECLARE v_is_leay

2017-01-10 17:21:46 3855

原创 mysql 计算两个日期间有多少个2月29

功能：统计两个日期间有多少个2月29 实现方法： 2月29天数 = 两个日期天数差 - (两个日期在一个自然年内天数差 + 365 * 两个日期年数差) DELIMITER $$DROP FUNCTION IF EXISTS `F_GET_LEAYYEAR_DAYS`$$CREATE FUNCTION `F_GET_LEAYYEAR_DAYS`(start_date BIG

2017-01-10 16:53:15 1223

原创 Waiting for table metadata lock

在删除mysql表中数据时出现：Waiting for table metadata lock但用show processlist查看却没有其他进程在使用该表。解决方法: 查询information_schema.innodb_trx表，找到trx_mysql_thread_id字段的值，然后killselect * from information_schema.innodb_trx\G

2017-01-03 10:40:49 476

原创 centos6.5 vnc服务安装配置

首先确认服务器端需要运行级别为5的图形界面，且GNOME桌面图形界面已经安装# 查看命令rpm -qa gnomerunlevel安装VNC服务命令:yum install tigervnc tigervnc-server -y 修改配置：编辑vnc启动图形界面的文件 vi /root/.vnc/xstartup把最后一行 twm & 这个注释掉，然后添加一行内容gnome-sessi

2016-12-22 16:32:21 704

原创 Linux下查看CUP，内存，硬盘

2016-12-21 13:25:02 990

原创 hadoop2.7完全分布式安装

安装准备操作系统: Centos 7 三台机器(hadoop-0为master)：hadoop-0:192.168.116.130hadoop-1:192.168.116.131hadoop-2:192.168.116.132软件包： hadoop下载地址: http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3

2016-12-21 13:23:08 478

转载国债和利率关系

这里要搞清楚一个概念，国债期货是以固定收益的国债为交割标的物，而国债是固定了票面价格和固定利息的，国债到期后，ZF是按照票面上规定的面值和票面利息支付给持有者，并不随市场利率变化而变化。例如，我国国债期货标的物是“面值为100万元人民币、票面利率为3%的名义中期国债”。也就是说，假设这个国债一年后到期，那么投资者一年后获得100万的面值加上3万利息。如果市场上的利息上涨，比如涨到5%，那么投

2016-12-12 15:35:28 6206

原创 generating project in batch mode 很慢

generating project in batch mode 很慢,是应为maven获取archetype-catalog.xml导致(用浏览器打开http://repo1.maven.org/maven2/archetype-catalog.xml很慢))解决方法：在用maven创建项目时在properties中添加 archetypeCatalog=internal,让maven读取本地

2016-11-29 18:01:41 1598

原创 ubuntu下hadoop单节点安装

1.安装准备a.下载hadoop:hadoop下载地址 b.必须先安装好Java,参考:java安装 c.必须先安装好SSH服务,SSH服务安装: $ sudo apt-get install ssh $ sudo apt-get install rsync2.解压安装包tar -zxvf hadoop-2.7.3.tar.gz 3.修改配置文件a. vi /opt/hadoop-2.7.

2016-11-17 18:02:12 508

原创 linux下Java安装

1.下载java安装包,下载地址:java下载页面2.解压安装包:tar -zxvf jdk-8u101-linux-x64.tar.gz3.设置环境变量:a.编辑profile文件vi /etc/profileb.在profile文件最后加上以下代码，JAVA_HOME根据安装路径自行修改JAVA_HOME=/opt/jdk1.8.0_101CLASSPATH=.:$JAVA_HOME/lib

2016-11-17 16:59:25 405

原创 mysql event

1.查看事件调度是否开启mysql> show variables like 'event_scheduler';+-----------------+-------+| Variable_name | Value |+-----------------+-------+| event_scheduler | OFF |+-----------------+-------+1 r

2016-11-11 13:39:04 292

原创 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)

最近在centos7下安装mysql5.7后，登录报以下错误： ERROR 1045 (28000): Access denied for user ‘root’@’localhost’ (using password: YES)解决方法: 1.修改/etc/my.cnf文件,在最后一行加上skip-grant-tables2.重启mysqlservice mysqld restart3.免密码

2016-11-07 13:24:06 861

原创 Linux根据关键字批量杀进程

示例：查找含python关键字的所有进程，并全部killkill -9 $(ps -ef | grep python| grep -v grep | awk '{print $2}')

2016-10-28 14:06:43 1785

原创 redis.exceptions.ResponseError: MOVED 6918

最近这使用python连接redis时很奇怪的报以下错误信息：Traceback (most recent call last): File "D:/chen_test/redist_test/redis_copy2.py", line 10, in <module> print r.set('test', 111) File "D:\Anaconda\lib\site-packag

2016-10-19 11:35:25 12493 4

原创 ValueError: time data '5:45:56 AM' does not match format '%I:%M:%S %p'

最近在使用最新Anaconda 4.2.0的PyQt5时报如下错：Traceback (most recent call last): File "/opt/package/test1.py", line 81, in <module> File "/opt/package/test1.py", line 41, in __init__ print 6666, test(time_s

2016-10-14 17:46:17 5095

原创 linux vi常用命令

vi 常用命令:dd #删除一行yy #复制一行p #粘贴gg #移动到文件首行G #移动到文件尾行nG #光标移至第n行首n+ #光标下移n行n- #光标上移n行0 #移动到行首$ #移动到行尾i #进入编辑模式esc #退出编辑模式q #正常退出q! #强制退出,不保存wq #退出并保存u #回到上一次操作,想到于crtl+zct

2016-10-12 11:16:37 338

原创 python dataframe 输出结果整行显示

在使用dataframe时遇到datafram在列太多的情况下总是自动换行显示的情况，导致数据阅读困难，效果如下：# -*- coding: utf-8 -*-import numpy as npimport pandas as pddf = pd.DataFrame(np.random.randn(1, 20))print df显示效果: 0 1...

2016-10-09 17:09:59 29381 2

原创 python pandas series

series使用简单示例# -*- coding:utf-8 -*-import pandas as pd# 数组生成serviesdata = [1, 2, 3, 4]print pd.Series(data)print pd.Series(data=data, index=['a', 'b', 'c', 'd'])print pd.Series(data=data, index=['

2016-09-19 10:09:27 519

原创 git stash

git stash # save uncommitted changes git stash list # list stashed changes in this git git show stash@{0} # see the last stash git stash pop # apply last stash and remove it from

2016-09-02 10:10:38 471

原创 linux ln命令

ln是linux下的链接命令,相当于window下的快截方式命令格式: ln [参数][源文件或目录][目标文件或目录] 示例: ln -s /home/test /test参数: -b like --backup but does not accept an argument -d, -F, --directory a

2016-09-02 10:03:12 496

原创 mysql计算时间差

SELECT TIMESTAMPDIFF(SECOND, '2016-09-01 18:01:32', "2016-09-01 18:02:32")输出结果: 60TIMESTAMPDIFF(unit,datetime1,datetime2)unit参数: SECOND, MINUTE, HOUR, DAY, WEEK, MONTH, QUARTER, YEAR

2016-09-01 18:06:04 882