- 博客(69)
- 收藏
- 关注
RSS订阅
原创 python批量发送邮件--包括批量不同附件
1 设计要点小猪在公司做出纳，干的活却包括了出纳、会计、结算专员等工作，周末都要被无奈在家加班，主要还没有加班费，简直是被公司严重压榨。每个月初都要给每个工长发预付款账单邮件，月中发结算款账单。重复性机械工作。 一个及格线上的程序员，最起码的觉悟就是将重复性的机械工作自动化，于是，在我花了一个多小时，帮她给一部分工长发了一次邮箱后，默默的回来写了这个脚本。 所以，设计要点就是一个字——...
2018-08-30 14:42:00
16021
16
原创 Hive数据倾斜原因及解决方案
0. 前言参考：hive数据倾斜原理与解决方案https://blog.csdn.net/s646575997/article/details/515106611. 场景2. 原因3. 解决方案
2021-07-19 23:54:21
221
原创 Hadoop2.7.6源码学习（1）——前期准备
在hadoop官网下载Source download版本的文件，然后解压到 ~/hadoop-src/文件夹下，会看到一个BUILDING.txt文件，按照里面的要求，下载一些编译源码所需的包，* JDK 1.7 (我用的是1.8，早就配置好了，跳过)* Maven $ sudo apt-get -y install maven* Native libraries $ sudo...
2021-07-19 23:53:37
243
原创 Python循环遍历的优化
年前在SRCC进行数据处理，碰到了瓶颈，就是python循环遍历处理大量数据，这时的效率低的可怜，也没找到啥好的办法，年后现在接着找，非要搞出个名堂来…现在将找到的一些资料都记录在这，备用。1. Pandas 内存优化Pandas处理大数据集的方法（内存优化，减少内存使用量90%）x. 小技巧实测表明，for语句一般比while语句效率更高，xrange一般比range要高效；...
2021-07-19 23:52:52
958
原创 一些有意思的金融科普知识
0 前言最近进了一家金服公司 BI 部门实习，做了快两个星期，才发现有困难的不一定是技术部分，反而是业务。。。。以前对金融行业的认识还停留在银行贷款，然后还贷的层面，最近明显感觉很多东西不懂，就去了解了一下金融业的水，这一探呐，哇，可以淹死无数个串行的我。。。有些有意思的贴，在此转载过来。主要参考帖子：各网站搜集来的一些对金融术语的通俗解释1....
2021-07-19 23:52:11
430
原创 《MySQL是怎样运行的》学习笔记（4）——访问方法和连接原理
文章目录1. 单表访问方法1.1 const1.2 ref1.3 ref_or_null1.4 range1.5 index1.6 all2.连接原理2.1 嵌套循环连接（Nested-Loop Join）2.2 基于块的嵌套循环连接（Blocked Nested-Loop Join）学习资料：MySQL是怎样运行的：从根儿上理解MySQL访问方法是什么概念呢？就是方法嘛（废话）。my...
2019-11-05 23:38:11
262
原创 《MySQL是怎样运行的》学习笔记（3）——B+树索引
文章目录0. 前言：从二叉树到B+树的查找1. Innodb的索引方案1.1 重新捋一下存储结构1.2 所以这和B+树有啥联系呢？1.3 两种索引2. MyISAM的索引3. B+树索引的使用学习资料：MySQL是怎样运行的：从根儿上理解MySQL0. 前言：从二叉树到B+树的查找在数据结构【大话数据结构】里，二叉树是一种基本数据结构，相关的基本概念这里就不多说了，我就从应用需求的角度...
2019-11-04 12:34:09
343
原创 《MySQL是怎样运行的》学习笔记（2）——Innodb存储结构
文章目录0. 前言1. Innodb是如何将表中数据存储到磁盘中的引擎2. 行格式2.1 Compact格式2.2 Redundant格式2.3 行溢出3. 数据页（索引页）结构0. 前言先说一下常见的字符集：ascii码，范围就是0-127，用一个字节表示gbk编码，中文，1-2个字节utf-8，1-3个字节不同的字符集，其比较规则也不一样。1. Innodb是如何将表中数据存...
2019-10-31 20:42:36
1068
原创 《MySQL是怎样运行的》学习笔记（1）——结构和配置
学习资料：MySQL是怎样运行的：从根儿上理解MySQL1. 服务端和客户端使用数据库也是用客户端去和服务端通信，在安装时，mysqld命令就是服务器端的执行命令，mysql就是客户端的执行命令。其实过程就是：启动服务端和客户端的进程；客户端和服务端进来通信；客户端将一段文本（sql语句）发送给服务端；服务端接收该文本，进行处理，然后返回结果；客户端收到结果，展示。客户...
2019-10-31 20:37:04
346
原创 SQL性能区别（2）——join on/and顺序
1. hive中使用join时，and 和 on条件等的先后顺序影响2019-08-28记录在sql中，往往会使用上一篇博文【性能区别（1）】中分析的那样，在join时，就采用and条件提前过滤不需要的数据，但是有一个地方注意到没有：-- 1. 先on 连接条件，后 and 筛选条件explainselect o.orderid,s.sequencefrom flt_bidb.v_ff...
2019-09-19 11:36:36
1982
翻译 Flink学习入门（5）——状态管理与容错
参考：Flink v1.8-State & Fault Toleranceflink-china/flink-training-course0. 前言
2019-08-18 10:56:52
540
原创 周报 2019-08-11 @W32（此后私密周报不公开）
1. 本周事项序号事项内容2. 下周计划序号事项内容3. 工作总结4. 其他《腾讯传》–吴晓波5. 每日记录2019-08-05依然是头痛的一天，出了趟门，帮姐姐关于驾照的一个忙，然后，一天基本就没了2019-08-06报表迁移，基本就是...
2019-08-11 10:47:58
157
原创 《Hive编程指南》学习随笔（1）——基础补充
0. 前言其实还没有很系统的学过Hive，是时候要系统的研究一下了。该系列文章针对的是用过Hive基础的人，不会说太常见的知识，目的在于记录一些平时没有注意到的地方，或者需要深入学习的地方。1. Hive在HDFS上的数据存储参考来源：Hive的数据存储大家都知道Hive是基于Hadoop上的数据仓库，也知道Hive的数据是存储在HDFS上的，可是，到底是怎么个存储形式呢？今天探究...
2019-06-30 22:29:28
261
原创 Go语言实现HTTP压测工具（0）——问题汇总
1. 环境问题1.1 LiteIDE 错误: 进程无法启动参考来源：LiteIDE 错误: 进程无法启动LiteIDE 错误: 进程无法启动两个原因：运行环境选的不对路径带有中文1.2 安装MinGW时，提示mingw-get: * ERROR * Get package xxx:download failed参考来源：Windows 平台下 LiteIDE ...
2019-06-14 14:30:42
463
原创 Go语言实现HTTP压测工具（4）——Demo开发与初期调试
0. goablite是我自己取的名字很简单，go语言实现的ab的lite版~~~参考程序练习Go语言-HTTP压力测试.mdgo web压测工具实现HTTP load generator, ApacheBench (ab) replacement, formerly known as rakyll/boom...
2019-06-14 00:12:05
1059
原创 Go语言实现HTTP压测工具（3）——巨人的肩膀（样例）
参考来源windows Apache ab安装及压力测试[原创]Apache的测试工具ab（ApacheBench）源码分析烂泥：apache性能测试工具ab的应用首先，ab是单线程程序，只能利用单一CPU，在给性能好的服务器端应用做压测时，往往跑ab的测试机负荷满了；而服务器应用的性能还绰绰有余。这在测试默认启用多核的go程序是非常常见的。其次，ab仅能是对单一url进行压测，而...
2019-06-13 23:03:22
373
原创 Go语言实现HTTP压测工具（2）——Golang语言基础学习和使用
0 前言一周之内要完成的任务。本文目前不做过多的知识介绍，一是因为赶时间完成任务，二是对于有编程基础的人来说，不用事无巨细的都记下来，只要学学该语言的设计思想，总结一下其特别的地方和用法，差不多就入门了。但是这篇文章开在这里，留给以后在学习使用Go语言时，记录一些不会的基础的知识。参考资料：《Go入门经典》，【英】乔治·奥尔波Go 入门指南 - GitHub1. 数据类型2...
2019-06-09 19:39:56
1412
原创 Go语言实现HTTP压测工具（1）——前期准备
0 前言一周之内要完成的任务。1. 思路1.1 理解需求：什么是HTTP压测工具；性能指标有哪些，要完成到哪个程度1.2 基础知识golang语言的基础语法和使用；nginx的基础性能指标；1.3 样例参考C语言开发的ApacheBench工具1.4 开发1.5 调试2. 前期准备2.1 HTTP压力测试是什么，ApacehBench又是什么参考来源...
2019-06-09 10:43:47
1226
原创 Office操作备忘，持续记录......
0. 前言本来觉得经过本科毕业论文和华院分析的洗礼，自己的Word和Excel也有个差不多了，但是现在越来越发现，自己不会的还是太多啦（好像学习SQL也是这样感觉），有些地方每次查完，下次又有点模糊，在此记录一下。本文只针对于Microsoft Office 2013 Professional Plus 2013版本，我待会把该版本资源也放在本文里吧（如果我在吃饭前弄完了的话）。1. Wor...
2019-05-18 17:17:59
320
原创 Django开发管理系统代码详解（1）——简单数据脱敏功能实现
0. 前言需求来源开发适合公司的CRM系统，供客服和营销人员使用开发工具Django框架本文内容在Web页面点击呼叫按钮时，向数据库中插入一条通话记录关于Django和MVC的概念和一些基础知识我就不讲了，在这放几个参考文章吧。Django框架基础全面讲解参考来源：Django框架全面讲解Django框架的理解与Django开发过程的总结Django官方文档Djang...
2019-05-14 00:07:31
1479
2
原创 周报 2019-05-05 @W18
1. 本周完成事项序号事项内容时间1Saiku配置风控贷后指标Cube在Kylin进行修复后，重新进行Saiku的Schema配置2019-04-282Django框架学习CRM系统中，前后端的交互流程以及api和asView的使用3SQL语法学习牛客网SQL实战（约8题）2019-05-054论文资料阅读粗略看了硕士论文《风电监控...
2019-05-05 23:35:10
150
转载 SQL中where 1 = 1的用处
0. 前言在刚进公司实习时，看见数据分析的小姐姐写sql时加了一句where 1 = 1，我就很好奇这是啥操作，不是多此一举么，后面自己写的时候，就没加这一句，结果毫无疑问的错了哈哈哈。当时小姐姐给我讲了一下，没太懂，今天又碰到了，详细学习记录一下。参考来源：sql语句中where 1=1的作用sql where 1=1和 0=1 的作用where 1 = 1，--永远为真whe...
2019-04-13 14:40:38
11627
5
转载 （转）SQL中group by详解
参考来源：关于group by的用法 原理我和原博文作者一样，突然间不会用group by了（可能是一直都不会用），就找了一下详解，这篇文章讲的很形象，学习一波看一下测试表test对这个表写group by时，可能就会发生下面这样的怪事：select name from test group by name -- okselect * from test group by na...
2019-04-13 13:38:34
65973
20
原创 SQL性能区别（1）——union(all)、in/exists、join on/where、row_number/rank、group by/distinct
1. union 和 union all的区别参考来源：SQL语句中：UNION与UNION ALL的区别数据库中UNION和UNION ALL的区别以及并集怎么取得关于Union和Union All的区别以及用法先说说这两个用法的要求：必须选择相同数量的列，每条select语句中的列的顺序也必须相同，这些列也必须拥有相似的数据类型。也就是说，要达到六耳猕猴和通背猿猴的那种匹配度...
2019-04-10 21:49:01
1793
原创 Django开发管理系统使用问题汇总
1. mysqlclient 1.3.13 or newer is required; you have 0.9.3.使用pip install pymysql后，一运行就提示该错误，但是明明已经是最新的了，这就让人很迷了。后来去找了一下，发现原来是python 3.6版本的pymysql就没有更新的版本，解决办法就把该异常判断给去掉。找到Python安装路劲下的Python36-32\L...
2019-04-04 14:37:59
421
原创 SQL逻辑语句(持续更新example)
0 前言在刚开始接触SQL的时候，觉得不就是几个命令嘛select t1.xxfrom xxxx t1join xxx t2 on t1.a = t2.awhere t1.b = "xxx"group by t1.chaving t1.d < xxxorder by t1.e对的，一般学MySQL这种数据库入门时，在书上和教程上可以学到的就这些，实际常用的应该也是这些...
2019-03-27 11:20:12
1220
原创 数据挖掘之——一些概念/原理区分
1. 分类和回归的区别在本质上是一样的，都是针对一个输入，做出一个输出预测，区别在于输出变量的类型。定性输出称为分类，或者说是离散变量预测，给定一个新的模式，推断它所对应的类别，如A，B类；定量输出称为回归，或者说是连续变量预测，给定一个新的模式，推断它所输出的值（实数）。煮个栗子：预测明天的气温是多少度，可能是有一个y = ax+b 的函数，这是一个回归任务；预测明天是阴、晴、雨、雪...
2019-03-27 11:15:23
652
原创 Java基础知识补充，不定时更新
0. 前言以前学java是因为Hadoop是用java写的，对Hadoop生态感兴趣，就学了一点java，能看懂java程序就去看Hadoop了，但是吧，有时候又会碰到一些java不会的地方，不想去系统刻板的从头到尾学java，更愿意根据碰到的问题来有目的性的去学。所以在此，零碎的记录一些java知识。1. 值传递还是引用传递？参考：深入理解–Java按值传递和按引用传递作者：Han...
2019-03-20 17:00:42
173
原创 Python零碎知识补充
1.元祖相比列表的优势元祖的运算速度比列表快，如果经常需要遍历一个序列，且内容不做修改，则用元祖；元祖内容不可修改，对数据进行了保护，功能大概类似于word转成pdf，只读，不可修改...
2019-03-19 14:40:10
200
原创 PyInstaller使用记录
0 前言对于程序员来说用IDE写程序，调程序，但是，如果将自己的写好的工具给别人使用的时候，总不能也要别人先装个python环境吧。去年写了一个批量发送邮件的小工具，就是pyinstaller打包成exe文件给别人使用的，现在因为需要再用，又碰到了一些问题，在此一并记录。本文环境：奉上PyInstaller官网传送门：http://www.pyinstaller.org/1. 版本问...
2019-03-19 11:36:45
2795
3
原创 Spark学习中的问题汇总......
第一次运行 run-example SparkPi时，Error spark.SparkContext:Error initializing SparkContext…错误描述：在安装好Spark后，就尝试跑一下自带的示例程序：$ ./bin/run-example SparkPi 2&amp;amp;gt;&amp;amp;amp;1 | grep &amp;quot;Pi is roughly&amp;quot;
2019-01-01 15:36:06
1612
1
原创 Python数据处理中的问题汇总.....
1、The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().所选的真值不明确。可能是将一个值与多个值或一个列表中的值相比较、匹配，导致的问题**不能使用or and ，需要用|和&来代替2、KeyError: ‘labels [1 2] not cont...
2019-01-01 15:21:29
886
原创 Taskplatform第一次运行错误记录
1.第一次运行，错误java.lang.IllegalStateException: Failed to load ApplicationContextCaused by: java.lang.RuntimeException: 配置文件中的密码需要使用AES加密，请使用com.magicube.framework.common.utils.AESUtil工具类修改这些值！总结:当发现 ja...
2019-01-01 13:31:51
360
原创 关于Vim的一些小备忘
1. vim怎么和系统剪切板进行复制粘贴参考来源：vim 如何与外界粘贴复制vim 里面粘贴复制实际上是在vim 缓冲区 存取数据而系统的ctry+c ctry+v 是与系统剪贴板之间的交互我也不知道我这样描述准不准确，反正大概就是这个意思：vim 粘贴复制和系统粘贴复制操作的不是同一个东西，所以系统和vim 之间不是那么容易直接使用的但是，这个问题还是可以解决的用vim 打开...
2018-12-22 15:14:31
153
原创 可以用到的网址记录......
1. Apache Software，apache软件大全http://archive.apache.org/dist/2. Maven Central Repositories，maven中央仓库https://search.maven.org/3. 厦门大学数据库实验室http://dblab.xmu.edu.cn/post/5663/4. 几个博客教程Python/Linu...
2018-12-22 13:38:22
310
转载 Maven初步学习之 Why & What
参考教程 ：跟着刚哥深入学maven（通俗易懂）Maven学习总结Maven通俗讲解1.1 why we need this？第一次听到Maven的时候，自然就去查了下，结果大都就是说管理依赖blahblah的，其实作为学生，所接触过的项目也就仅限于几百行代码的小工具啊，我又不是大公司，自己怎么写出来一个还需要外部jar包依赖之类的大项目，所以也就一直对这个项目依赖管理这方面不是很c...
2018-12-11 15:21:30
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人