- 博客(38)
- 收藏
- 关注
RSS订阅原创 大数据领域 数据管理工具 的概念区分
参考多篇文章，总结记录大数据领域数据管理工具相关的概念，旨在从多个角度区分概念加深理解，是系统化学习大数据和数据仓库理论的宏观基础。
2022-05-04 22:58:52
1645
原创 Kettle（Pentaho）用法：job作业中并行作业项执行完后执行下一作业项
本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。
2022-05-04 00:51:11
9978
3
原创 Hive/Presto中函数grouping sets用法详解（踩坑总结，看到赚到）
本文详细记录了函数grouping sets使用时遇到的坑，基于Hive和Presto实现。
2022-04-24 00:07:06
20663
3
原创 《大数据时代》（维克托·迈尔·舍恩伯格）读书笔记
本书讲述了大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。接着，从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。最后，作者面熟了大数据帝国千叶的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。
2021-12-19 16:41:12
2975
原创 MySQL、HQL、impala、presto 的语法常见区别（持续更新中）
工作中会用到hive和presto，但语法和MySQL存在差异。及时记录，持续更新
2021-11-24 19:52:38
5819
原创 数据分析案例——销售利润不达标原因分析及应对策略
本文包括方法和案例两部分，内容摘自猴子学院书籍《数据分析思维——分析方法和业务知识》，详细讲解了如何将但单独分数据分析方法组合起来解决问题。该书作者的这一套方法还有别的类似案例，可以加深理解，逐步形成自己的分析体系。
2021-07-09 17:57:43
6133
原创 MySQL中where与having的关系与区别
浏览网页对这个问题有了深入的理解，主要参考了如下两个链接，得到的结论是：区别在于功能和性能两个方面，链接1对功能描述比较详细，链接2主要从性能角度进行解释。where与having的区别具体区别：1、Where 是一个约束声明，使用Where约束来自数据库的数据，Where是在结果返回之前起作用的，Where中不能使用聚合函数。2、Having是一个过滤声明，是在查询返回结果集以后对查询结果进行的过滤操作，在Having中可以使用聚合函数。3、在查询过程中聚合语句（sum,min,max,avg,
2021-05-01 14:05:58
1405
原创 《谁说菜鸟不会数据分析》学习笔记 第八章数据分析报告
第8章 数据分析报告8.1 什么是数据分析报告8.1.1 数据分析报告是什么数据分析报告是用于研究事物的现状、问题原因，并得出结论，提出解决方案的一种应用文体。是决策者认识事物、了解事物、掌握信息的主要工具之一。8.1.2 数据分析报告的原则（1）规范性原则报告中使用的名词术语一定要规范，标准统一，前后一致（2）重要性原则重点选取关键指标，科学专业地进行分析分析结果应当按照问题重要性的高低来分级阐述（3）谨慎性原则基础数据真实完整，分析过程科学合理（4）创新性原则适当引用新的研究
2021-03-31 16:29:59
770
原创 《谁说菜鸟不会数据分析》学习笔记 第七章 图表优化
第七章 图表优化专业化图表的标准是：严谨、简约和美观。7.1 别让图表犯错1、标题、图例、单位、脚注、资料来源等这些图表元素要健全2、要注意的规则（1）避免做出无意义的图表决定做不做图表的唯一标准是——能否帮助你有效表达信息。（2）不要把图表撑破不要在一张图表里塞太多信息最好一张图表反映一个观点（3）只选对的，不选复杂的（4）一句话标题反面例子：公司销售情况发展趋势、各地区产量、薪酬与利润间的关系缺点：没有切中图表大意；没有吸引力修改原则：将短语变句子正面例子：公司销售额翻了一
2021-03-31 11:32:12
445
原创 《谁说菜鸟不会数据分析》学习笔记 第六章 数据展现
第六章 数据展现图表即 图形+表格这一章内容多且杂乱，有三个方面的重要内容。6.1.3 通过数据间关系选择图表6.2 用表格替图说话6.3 给图表换装（复杂图表）
2021-03-30 23:24:03
147
原创 《谁说菜鸟不会数据分析》学习笔记 第一章总览 第二章数据分析思路
网上的信息太琐碎了，根本没搞懂什么是数据分析方法什么是数据分析方法论，所以找了一本比较简单的书来系统学习一下，本来打算粗略看完，但是觉得这本书知识还是不错的，所以决定在未来一周把这本书用心学一下。这本书是基于Excel讲解的，顺便复习了下Excel的用法，笔记只记录我觉得有用的内容。第一章 数据分析那些事儿第二章 确定分析思路第三章 数据准备第四章 数据处理第五章 数据分析第六章 数据展现第七章 图表优化第八章 数据分析报告第一章 数据分析那些事儿1.1 什么是数据分析？1.1.1
2021-03-21 23:33:29
596
原创 《SQL面试50题》刷题笔记 day12（ 知识点：各种小知识点）
问题19 查询出只选修两门课程的学生学号和姓名问题20 查询所有课程的成绩第2名到第3名的学生信息及该课程成绩问题21 查询男生、女生人数问题22 查询名字中含有"风"字的学生信息问题23 查询同名学生名单，并统计同名人数问题24 查询1990年出生的学生名单...
2021-02-28 23:48:09
99
原创 《SQL面试50题》刷题笔记 day11（ 知识点：case when[conditions] then result else result end）
问题17 统计各科成绩各分数段人数及所占百分比：课程编号，课程名称，[100-85]，[85-70]，[70-60]，[60-0] 及所占百分比问题18 查询每门课程被选修的学生数
2021-02-27 23:33:45
101
原创 《SQL面试50题》刷题笔记 day10（知识点：order by）
问题15 查询学生得总成绩并进行排名问题 16 查询不同老师所教不同课程平均分从高到低显示
2021-02-26 23:16:02
108
原创 《SQL面试50题》刷题笔记 day9（知识点：MySQL8.0开窗函数排序、MySQL8.0以下用户变量、联结法排序）
多方法排序（仅分组排序，非全局排序）
2021-02-25 22:56:37
230
原创 《SQL面试50题》刷题笔记 day8（知识点：左联结、开窗函数lead、case when condition用法）
问题12 按平均成绩由高到低显示所有学生的所有课程的成绩以及平均成绩问题13 查询各科成绩最高分、最低分和平均分：以如下形式显示：课程ID，课程name，最高分，最低分，平均分，及格率，中等率，优良率，优秀率--及格为>=60，中等为：70-80，优良为：80-90，优秀为：>=90
2021-02-24 23:37:49
435
原创 《SQL面试50题》刷题笔记 day7（知识点：函数group_concat()、开窗函数lead、内联结）
问题9 查询和"01"号的同学学习的课程完全相同的其他同学的信息问题10 查询两门及其以上不及格课程的同学的学号，姓名及其平均成绩问题11 检索"01"课程分数小于60，按课程“01”的分数降序排列的学生信息
2021-02-23 23:50:38
385
原创 《SQL面试50题》刷题笔记 day6（知识点：distinct、内联结）
晚饭后睡到了快9点才清醒，做1个题打卡，然后要加班打工了。啊天晓得题什么时候能刷完，希望自己早点精通MySQL！问题8 查询至少有一门课与学号为"01"的同学所学相同的同学的信息首先 嵌套子查询select * from student where sid in(select sid from score where cid in(select cid from score where sid='01')) and sid<>'01';子查询一般都可以写成联结，写的时候on后面的
2021-02-22 21:27:58
159
1
原创 《SQL面试50题》刷题笔记 day5（知识点：操作符not in、联结）
问题7 查询没学过"张三"老师讲授的任一门课程的学生姓名（与问题5相关）
2021-02-21 20:42:32
115
2
原创 《SQL面试50题》刷题笔记 day4（知识点：ifnull、分组函数group by特殊用法、where on条件表达式）
问题6 查询没有学全所有课程的同学的信息
2021-02-20 23:47:52
199
原创 《SQL面试50题》刷题笔记 day2（知识点：左联结、分组函数group by）
问题1.1、1.2和1.3来源于一个网页，应该不是50题中的，是第一题的拆解问题。问题2.查询平均成绩大于等于 60 分的同学的学生编号和学生姓名和平均成绩
2021-02-18 16:10:18
190
原创 《SQL面试50题》刷题笔记 day1（ 知识点：联结 开窗函数lead）
SQL面试50题刷题笔记 day1代码采用MySQL 8.0 命令行程序运行。在命令行中先创建了test_db的数据库，数据库内表的建立是采用了下面这个链接中的数据。问题1：查询"01"课程比"02"课程成绩高的学生的信息及课程分数首先想到用子查询或者联结。#这是第一种解法，用join，有比我写的更美观的。#我这里存有一个疑问，就是两个分数比较的这个条件别人案例中大多放在联结表建立之后，不知道我这样放进联结表建立前是否影响效率，有待后续验证。 select c.sid, s.*, c.scor
2021-02-17 23:52:18
371
1
原创 Python Matplotlib作图学习
Python Matplotlib三维散点图学习记录三维散点图作图及设置ndarray取数（涉及维度）三维散点图作图及设置作图https://www.jianshu.com/p/ba9555294a04color marker linstyle设置及种类展示https://www.cnblogs.com/onemorepoint/p/7481643.html坐标轴范围设置https:...
2019-07-11 16:25:45
222
原创 Origin2017图片去除
Origin2017图片水印问题导出图片时候突然出现demo水印导出图片时候突然出现demo水印查找资料后知道可以这样解决，留作记录。链接：链接：https://pan.baidu.com/s/15FoURAy3J19ybgHXWLdAsg 提取码：0IDr第一步：关掉已经打开的Origin软件；第二步：把这个exe文件复制到Origin的安装目录下，如果已经存在就替换原有的；第三步：...
2019-06-28 15:23:30
48095
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人