- 博客(87)
- 收藏
- 关注
RSS订阅原创 impala-count()报错换用NDV()函数
使用impala查询引擎的时候，如果count(disticnt column)数据量过大会报错，报错内容正在提取遇到以下错误的结果： (370) Query analysis error occurred during query execution: [HY000] : AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT a.udid
2020-10-31 20:01:49
1010
原创 2020-03-05
前几日与完美江湖重逢了，至今不知自己这步选择是对是错，但心中已不再是18年时的憧憬和欣喜，反而充斥着担忧和焦虑。甚至怀疑前些日子疫情在家太久，有点抑郁倾向，整日的担忧，脆弱，焦虑，自怨自艾，本身我也是个念旧的人，因此变得异常念旧，甚至想起过去的日子就忍不住哭。 前面这一年，无法形容，总结起来大概有点：时运不济，世事难料，，在仓促和波折中，一眨眼就过去了，但这过去的可能正是自己最好的年华，......
2020-03-05 12:20:37
317
原创 SQL中的交叉连接-cross join
欢迎使用Markdown编辑器今天在看同事的redash里的query时，看到一段SQL，看到的时候突然发了一下愣，在日常我们需要进行多表查询时，日常最常用到的有内链接，外链接（inner join，left(right) outer join，full outer join(mysql不支持，可以使用union关键字来合并left join与right join来模拟。在截图中，join...
2019-12-31 15:07:06
8388
原创 git命令总结及疑问
一、创建版本库1、创建一个空目录$ mkdir learngit$ cd learngit$ pwd //pwd命令用于显示当前目录2、创建一个版本库（通过git init命令把这个目录变成Git可以管理的仓库）$ git init3、把文件添加到版本库（1）在learngit的目录下创建一个learn.txt的文件（2）用命令git add告诉Git，把文件添加到仓库...
2019-08-01 22:10:33
204
原创 Impala和Hive的关系（详解）
Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。 与Hive的关系 Impala 与...
2019-03-19 13:01:19
6030
原创 mongoDB和mysql命令对比
附在最前面官网对照表https://docs.mongodb.com/manual/reference/sql-comparison/index.html mongodb与mysql命令对比传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成MongoDB是由数据库（database）、集合（collection）、文...
2019-01-10 21:53:37
457
原创 STL容器之删除元素，迭代器失效
一. 种类：标准STL序列容器：vector、string、deque和list。标准STL关联容器：set、multiset、map和multimap。非标准序列容器slist和rope。slist是一个单向链表，rope...
2018-09-12 11:42:03
631
原创 京东(保险)部门直推面经
0).旅游景点数据的项目,问的很详细 1).详细说一下你实习都做了什么工作,经历怎样2).怎么判定异动指标,我举用户元宝消耗的例子说的3).几个SQL,第一个比较基础,左连接,右连接,内连接的区别,连接过程中都发生了什么4).第二个题分清row_number() over (partition by)和dense_rank() over (partition by)的区别就能回答...
2018-09-03 09:45:43
421
原创 HIVE和HBASE区别
HIVE和HBASE区别两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一...
2018-09-03 09:19:20
222
原创 Python 使用全局变量
今天在写以下Python代码时出现了问题。该段代码根据一些URL下载视频：#coding=utf-8def save_case_infos(case_urls): for case_url in case_urls: # some download code ... # 打印已下载的视频个数 # 希望访问全局变量 case_tot...
2018-08-27 16:18:42
482
原创 《武林外传》产品体验总结
视觉体验-画面效果与美术风格 整体画面1.游戏整体画幅为东方写实风格，对历史场景还原度高,色彩统一，人物、建筑、场景等融合自然，加之阴影,高光,粒子特效，甚至对水面效果的精细处理,使游戏画面的整体效果得到进一步提升，增强玩家代入感，很好的吸引玩家沉浸其中； 片头动画及过场动画在过场动画的设计方面,时长篇幅把握得当，过场动画的画幅视角全面,作为剧情表现的一部分，提升玩家...
2018-08-23 19:36:51
477
原创 2018-8-23
一直沉浸在看似忙碌的状态里感觉整个人从上到下都弥漫着糙的气息，思考糙，读书糙，看问题的角度糙，跟人相处糙，关系处理糙，回复信息糙，写出的字都透露着糙，要慢下来。有时真的觉得这个社会运转的效率太低了，大量的资源和时间浪费在了互相琢磨暧昧浮于表面的沟通和流程上。顺利时觉得这才是社会带有人性印记的鲜活的部分和所谓枷锁即自由中规则和安全感归属的部分，受挫时又觉得这是这是生活中使人无奈却步令人急躁和所谓...
2018-08-23 19:31:31
190
原创 Oracle中的nvl()、nvl2()、nullif()、Coalesce()、lvvnl()等函数简介
Oracle中函数除了的字符串处理，日期函数，数学函数,以及转换函数等常用函数外，还有一类函数是通用函数。主要有：NVL,NVL2,NULLIF,COALESCE，这几个函数用在各个类型上都可以。下面简单介绍一下几个函数的用法。在介绍这个之前你必须明白什么是表中的空值(NULL)1.NVL函数NVL函数的格式如下：NVL(expr1,expr2)含义是：如果expr1为...
2018-08-17 19:51:05
814
原创 markdown基础语法-改变字体,字号,与颜色
Markdown是一种可以使用普通文本编辑器编写的标记语言，通过类似HTML的标记语法，它可以使普通文本内容具有一定的格式。但是它本身是不支持修改字体、字号与颜色等功能的！ CSDN-markdown编辑器是其衍生版本，扩展了Markdown的功能（如表格、脚注、内嵌HTML等等）！对，就...
2018-08-13 19:08:08
528
原创 Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容
背景： 修改了hive表的某些字段的数据类型，如从String -> Double ， 此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。如： Impala —— 正在提取遇到以下错误的结果： Bad status for request TFetchRes...
2018-08-13 19:02:29
2515
原创 impala完整常用数据类型
因为impala与mysql、Oracle在数据类型上并不完全一致 并且最近会经常用到,所以记录一下 类型 说明 BIGINT 此数据类型存储数值，此数据类型的范围为-9223372036854775808至9223372036854775807.此数据类型在create table和alter table语句中使用。 BOOLEAN 此数据类型只存储t...
2018-08-13 18:54:15
9103
原创 SQL排序函数基础详解 row_number()/rank()/dense_rank() over(partition by)
为了方便学习和测试，所有的例子都是在Oracle自带用户Scott下建立的。 我用了mysql的环境,借助以下语句进行建表和插入数据,以备后续练习使用create table EMP --创建表EMP( empno int(4) not null, ename VARCHAR(10), job VARCHAR(9), mgr ...
2018-08-10 19:33:12
8194
1
原创 sql语句优化
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描， 如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： ...
2018-08-09 19:13:38
287
原创 impala常用语法
因为最近工作上会常用,记录一下 1、语法：group_concat select city_id, group_concat(concat(type,”,”,cast(count as string)),”#”) from tmp_park_site_device_co...
2018-08-09 17:00:54
1872
原创 GET和POST两种基本请求方法的区别
GET和POST是HTTP请求的两种基本方法GET - 从指定的服务器中获取数据POST - 提交数据给指定的服务器处理最直观的区别就是GET把参数包含在URL中，POST通过request body传递参数。（此部分参考自w3schools） - GET在浏览器回退时是无害的，而POST会再次提交请求。 - GET产生的URL地址可以被Bookmark，而POST不可以。 ...
2018-08-02 16:10:19
526
原创 Python(.py)文件打包为.exe文件
在我们使用IDE完成一个Python项目或一个程序时，希望将Python的py文件打包成在Windows系统下直接可以运行的exe程序。在浏览网上的资料来看，有利用pyinstaller和cx_Freeze两种进行打包的方法。方法一:使用cx_Freeze关于cx_Freeze打包的方法，可以参考wangdamozhizhou博客windows下cx_Freeze生成Python可...
2018-07-11 17:30:07
898
原创 MySQL常用基础语句
用户管理： 1、新建用户： >CREATE USER name IDENTIFIED BY 'ssapdrow'; 2、更改密码： >SET PASSWORD FOR name=PASSWORD('fdddfd'); 3、权限管理 >SHOW GRANTS FOR name; --查看name用户权限 ...
2018-07-11 16:34:51
763
原创 Python中with的用法
之前再遇到with语句在文件操作上的用法非常巧妙,以前不太熟悉,看的时候也产生一些困惑With语句是什么？有一些任务，可能事先需要设置，事后做清理工作。对于这种场景，Python的with语句提供了一种非常方便的处理方式。其中一个很好的例子是文件处理，你需要获取一个文件句柄，从文件中读取数据，然后关闭文件句柄。 如果不用with语句，代码如下：file = open("/tmp/...
2018-07-01 12:03:29
82132
19
原创 基于TCP协议的Socket网络编程( )
TCP编程Socket是网络编程的一个抽象概念。通常我们用一个Socket表示“打开了一个网络链接”，而打开一个Socket需要知道目标计算机的IP地址和端口号，再指定协议类型即可。今天我们要在Python中,基于TCP协议进行Socket网络编程客户端大多数连接都是可靠的TCP连接。创建TCP连接时，主动发起连接的叫客户端，被动响应连接的叫服务器。举个例子，当我们在浏览器中...
2018-07-01 12:01:51
4283
原创 R中向量化运算apply族函数apply、tapply、lapply、sapply、mapply、table等函数
R语言提供了批量处理函数，可以循环遍历某个集合内的所有或部分元素，以简化操作。 这些函数底层是通过C来实现的，所以效率也比手工遍历来的高效。批量处理函数有很重要的apply族函数：lapply sapply apply tapply mapply。apply族函数是高效能计算的运算向量化(Vectorization)实现方法之一，比起传统的for,while常常能获得更好的性能。 ...
2018-06-27 12:00:28
1792
原创 信息系统分析与设计相关
填空:信息系统存在并分布于组织系统之中,与企业过程紧密交织在一起,组织活动中的各种 ++信息流++ 出入于信息系统,通过信息系统对组织信息的 ++加工++, ++处理++,为组织目标所用根据系统资源的 ++空间分布情况++,将信息系统分成 ++集中式系统++ 和 ++分布式系统++,按照信息系统面向的智能分为 ++生产、销售、财务、人事++ 等系统,现有信息系统的商品软件中不少就是面向某...
2018-06-11 19:24:00
4087
1
原创 算法题-rotate-list 旋转旋转
[编程题]rotate-list 时间限制：1秒 空间限制：32768K Given a list, rotate the list to the right by k places, where k is non-negative. For example: Given1->2->3->4->5->NULLand k =2, return4-...
2018-06-10 20:21:16
776
原创 Leetcode-convert-sorted-list-to-binary-search-tree(把有序链表转为二叉搜索树)
[编程题]convert-sorted-list-to-binary-search-tree 时间限制：1秒 空间限制：32768KGiven a singly linked list where elements are sorted in ascending order, convert it to a height balanced BST. 思路：二分查找法每次需要找到中间...
2018-06-10 20:15:10
874
原创 算法题-二叉搜索树与双向链表
[编程题]二叉搜索树与双向链表 时间限制：1秒空间限制：32768K输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。思路： 非递归版本： 二叉树的中序遍历 中序遍历中每个结点的链接# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x...
2018-06-09 18:59:03
590
原创 算法题-按照左右半区的方式重新组合单链表
[编程题]按照左右半区的方式重新组合单链表 时间限制：1秒 空间限制：32768K 给定一个单链表的头部节点head，链表长度为N。 如果N为偶数，那么前N/2个节点算作左半区，后N/2个节点算作右半区； 如果N为奇数，那么前N/2个节点算作左半区，后N/2+1个节点算作右半区； 左半区从左到右依次记为L1->L2->…，右半区从左到右依次记为R1->R2->...
2018-06-09 18:58:13
678
原创 算法题-构建乘积数组
编程题]构建乘积数组 时间限制：1秒 空间限制：32768K 给定一个数组A[0,1,…,n-1],请构建一个数组B[0,1,…,n-1],其中B中的元素B[i]=A[0]A[1]…A[i-1]*A[i+1]…*A[n-1]。不能使用除法。 1.剑指offer上的思路： B[i]的值可以看作下图的矩阵中每行的乘积。 下三角用连乘可以很容求得，上三角，从下向上也是连...
2018-06-09 17:18:13
657
原创 算法题-删除链表中重复的结点
[编程|20分] 删除链表中重复的结点 时间限制：C/C++ 1秒，其他语言 2秒 空间限制：C/C++ 32768K，其他语言 65536K题目描述 在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5
2018-06-07 21:38:02
1470
原创 算法题-求带环链表中环的入口结点
[编程|20分] 链表中环的入口结点 时间限制：C/C++ 1秒，其他语言 2秒空间限制：C/C++ 32768K，其他语言 65536K题目描述 一个链表中包含环，请找出该链表的环的入口结点。思路: 已知链表带环,那么我们便不需要判断链表带环与否,而主要关注找到环入口的方法:设置两个指针(pFaster, pSlower)，初始值都指向头，pSlower每次前进一步，p...
2018-06-07 21:12:02
617
原创 算法题-两个链表的第一个公共结点
[编程题]两个链表的第一个公共结点 时间限制：1秒 空间限制：32768K 输入两个链表，找出它们的第一个公共结点。 给两个指针,”分别”从头到尾遍历”两个链表“，只要没遇到公共结点就继续遍历,最终两个指针到达 null 或者到达公共结点,返回之.C++/*struct ListNode { int val; struct ListNode *next...
2018-06-07 16:24:37
649
原创 算法题-数组中重复的数字
[编程题]数组中重复的数字 时间限制：1秒 空间限制：32768K 题目描述 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。 解题思路找到任意重复的一个值并赋值...
2018-06-07 16:05:23
835
原创 算法题-合并两个排序的链表
[编程题]合并两个排序的链表时间限制：1秒 空间限制：32768K输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则。主要思路1、本题很显然用递归方式很好实现，同时需要注意下算法的鲁棒性即——首先处理空链表，当其中一个为空链表时，直接输出另一个；当两个均为空链表时，输出null 2、比较 list1 和 list2 的头结点，较小的头结...
2018-06-04 17:24:36
652
原创 算法题-反转单链表
[编程题]反转链表时间限制：1秒 空间限制：32768K输入一个链表，反转链表后，输出链表的所有元素。解法一.循环反转链表(非递归法) 整体思路就是，从原链表的头部一个一个取节点并插入到新链表的头部p始终指向要反转的结点newHead 指向反转后的首结点每反转一个结点，把p结点的next指向newHead, newHead再移动到P的位置成为反转后首结点, 再把p通过tmp...
2018-06-04 17:02:08
889
原创 算法题-复杂链表的复制
[编程题]复杂链表的复制 时间限制：1秒 空间限制：32768K 输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空） 1.递归法 Python解法# -*- coding:utf-8 -*-# class Rando...
2018-06-03 22:06:50
589
原创 算法题-从尾到头打印链表
[编程题]从尾到头打印链表题目描述:输入一个链表,从尾到头打印链表每个节点的值常规问题没什么费劲的,应该很容易想到利用栈的后进先出特性,将整个链表顺序压栈后弹出至动态数组中C++/*** struct ListNode {* int val;* struct ListNode *next;* ListNode(int x) ...
2018-06-03 22:05:06
250
原创 算法题-求数组中 连续子数组最大和
[编程题]连续最大和 . 热度指数：38075 时间限制：1秒 空间限制：32768K 算法知识视频讲解 一个数组有 N 个元素，求连续子数组的最大和。 例如：[-1,2,1]，和最大的连续子数组为[2,1]，其和为 3 输入描述: 输入为两行。 第一行一个整数n(1 <= n <= 100000)，表示一共有n个元素 第二行为n个数，即每个元素,每个整数都...
2018-06-03 20:49:25
2528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人