- 博客(38)
- 收藏
- 关注
RSS订阅原创 GreenPlum快速入门实践
文章目录1. 表创建1.1 获取帮助1.2 指定分布键1.3 其它创建方式1.4 SELECT 查询结果展现顺序2. 分区表2.1 range分区2.2 list分区2.3 分区管理3. 数据加载3.1 Insert3.2 Copy3.3 外部表3.3.1 介绍3.3.2 实践示例3.3.3 可执行外部表3.3.4 可写外部表 数据导出3.4 gpload4. 拉链表实现5. 数据字典OID6. 集群维护1. 表创建1.1 获取帮助-- 获取帮助\h create table1.2 指定分布键
2020-11-24 16:48:05
1700
原创 Greenplum6安装部署实战
文章目录1.系统参数配置1.1 关闭防火墙1.2 配置hosts文件1.3 配置参数1.3.1 sysctl.conf1.3.2 20-nproc.conf2.账号免密配置2.1 添加gpadmin账号2.2 生成sshkey2.3 设置sudo权限3. 开始安装3.1 分发安装文件3.2 yum安装3.3 设置文件权限3.4 设置免密3.5 确认安装完成4.设置数据存储区域4.1 创建目录4.2 副主节点下4.3 Segment设置5. 数据库初始化5.1 配置hostfile_gpinitsyste
2020-11-17 17:26:23
1820
原创 SQLServer中如何高效解析JSON格式数据
文章目录1. 背景2. 拆串-拆分JSON串至key-value子串3. 取值-创建函数截取key-value串的值4. 完整样例5. 问题1. 背景最近碰到个需求，源数据存在posgtreSQL中，且为JSON格式，但在SQLServer中无法直接使用，需要先解析，再利用。样例数据如下‘[{“key”:“2019-01-01”,“value”:“4500.0”},{“key”:“2019-01-02”,“value”:“4500.0”},{“key”:“2019-01-03”,“value”:“
2020-07-02 16:00:35
3837
原创 L19-将多表分批次从数据库导出到Excel
从SQLServer中导出多数据源表、分批次写入到Excel文件本文目录文章目录从SQLServer中导出多数据源表、分批次写入到Excel文件本文目录1. 应用场景2. 功能事项3. 主要实现概览主要方法4. 使用示例5. 总结1. 应用场景最近经常需要手工从后台数据库导出某些数据表到Excel文件，而且源数据表的数据量大小不一，导致在导出到本地文件这个过程中需要根据情况来调整每个批次的...
2019-12-05 09:22:58
264
转载 T-SQL查询：CTE - with as 子句的特殊应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声...
2019-12-05 09:05:49
107
转载 SQL Server 缓存清除与内存释放
Sql Server系统内存管理在没有配置内存最大值，很多时候我们会发现运行SqlServer的系统内存往往居高不下。这是由于他对于内存使用的策略是有多少闲置的内存就占用多少，直到内存使用...
2019-12-05 09:01:51
342
原创 L18-利用Pandas清洗与可视化时序数据
获取时序数据并进行数据清洗与可视化分析本文目录文章目录获取时序数据并进行数据清洗与可视化分析本文目录1. 准备工作2. 加载数据3. 数据处理-转化与合并4. 可视化展现5 小结1. 准备工作tushare是一个第三方财经数据接口包，需要安装包并完成注册。安装tushare包pip install tushare 为防恶意调用接口数据，官方()需要新用户完成注册、提高积分(例...
2019-11-30 20:11:01
408
原创 L27-计算连续N天的人流量
–id | visit_date | people |–±-----±-----------±----------+–| 1 | 2017-01-01 | 10 |–| 2 | 2017-01-02 | 109 |–| 3 | 2017-01-03 | 150 |–| 4 | 2017-01-04 | 99 ...
2019-11-28 10:07:10
115
原创 L17-利用Pandas解析日志数据
利用Pandas 分析日志数据文章目录利用Pandas 分析日志数据1、简介2、获取数据3、数据解析4、简单可视化5、小结1、简介app程序在日常运行中会生成多种非结构化的日志数据，由于可读性差通常仅仅用于排错。若能将数据处理成结构化表格信息，则可便于分析各步骤的执行状况例如起止时间、耗时，进而辅助性能与维稳性的优化。此文主要通过非结构化数据日志文件样例，来介绍如何利用Pandas中的技巧，...
2019-11-28 08:58:10
1268
原创 L16-分析数据库中的左连接
许久以来，在写表的左联接条件的时候，似乎已彻底习惯了在右表上设置联接条件。今天意外发现居然也可以在左表上设置，而且顺势借用到了需求实践中。重新翻看下官方文档的说明，暂且也算温故而知新了。联接类型INNER指定返回所有匹配的行对。 放弃两个表中不匹配的行。 如果未指定任何联接类型，此设置为默认设置。FULL [ OUTER ]指定在结果集中包括左表或右表中不满足联接条件的行，并将对应于...
2019-11-24 16:39:52
90
原创 L15-Python cookbook 数据结构与算法练习题
1、解压序列赋值给多个变量# 解压赋值可用在任何可迭代的对象上，包括列表、元组、字符串、文件对象、迭代器和生成器p = (4, 5)x, y = pprint(x, y)data = ['ACMDE', 50, 9.11, (2012, 8, 3)]name, shares, price, date = dataprint(name, shares, price, date)n...
2019-11-22 14:31:44
120
原创 L14-Python为什么要用左闭右开
高阶函数Python中的高阶函数既可以将函数作为参数值传入，同时也可将函数作为结果值返回如 map(), reduce(), filter(), sorted()传入一个匿名函数为参数，作用于每一个列表元素items = [1, 2, 3, 4, 5]list(map(lambda x:x+1, items))# [2, 3, 4, 5, 6]def plus1(x): ...
2019-11-21 10:49:56
1497
3
转载 “老赖”罗永浩被群嘲：莫欺少年穷，莫笑中年败，莫嘲梦想狂
原文链接：https://mp.weixin.qq.com/s/x0fIynaA2hPi7blUoeYGxA ...
2019-11-21 10:37:00
546
转载 靠写作能挣100万吗
不要被标题吓到，今天说的就是关于写作Fenng大说，同等能力的人绝对要文字写得好的。帅张说编程、英语、写作是程序员的3大底层能力。写作能给我带来什么？王朔曾说，写作是一条狗，只要你愿意，它就会永远陪着你。Spenser 说写作是这个时代最好的投资。难道靠写作能挣到100万吗？其实，程序员圈子里面，光是靠副业写作挣百万的不少，stormzhang、一个程序员的日常、码农翻身、程序员小灰等等，...
2019-11-21 08:56:47
176
原创 L13-理解Python中的特殊的返回值-函数
高阶函数Python中的高阶函数既可以将函数作为参数值传入，如 map(), reduce(), filter(), sorted()同时也可将函数作为结果值返回def calc_sum(*args): ax = 0 for n in args: ax = ax + n return ax# 场景1：执行函数，会立即执行，并得到结果集calc...
2019-11-20 16:55:36
153
原创 L11-Python中的高阶函数的使用
特性：1、高阶函数可以将函数作为参数值传入，如 map(), reduce(), filter(), sorted()2、也可将函数作为结果值返回Map(function,list) 映射函数Filter(function,list) 过滤函数Reduce(function,list) 规约函数sorted()Lambda函数1、map()list(map(lambda...
2019-11-19 15:17:46
84
原创 L12-聊聊Python的装饰器
1、基本介绍定义：在函数调用前后自动打印日志，称之为“装饰器”（Decorator）本质：decorator就是一个 返回函数的高阶函数，是返回函数的一种用途使用方式：利用python语法糖 @语法Python中，一切皆为对象，函数也不例外函数嵌套-函数内部再定义函数，且在内部调用执行，返回值不为函数。内部函数可以访问外部函数的变量闭包-嵌套函数不直接在函数里调用，而是作为一个返...
2019-11-18 12:38:04
82
原创 L9-Python内部变量的作用域问题
文章目录写在开头一、连续等式判断二、函数内部变量作用域默默变更1、 对外部变量不进行运算，直接访问2、 直接对外部变量进行操作运算3、新增global声明，再操作写在开头分享、记录两个有意思的案例，平时碰到时总容易误理解。一、连续等式判断猜猜这个表达式，它的返回值是True 还是False？print(True == False == False)# ?二、函数内部变量作用域默默变...
2019-11-13 17:13:25
82
原创 L10-简谈正则表达式中几个函数的使用
正则表达式本身是一种小型的、高度专业化的编程语言。汇总、分享几个正则函数的实践案例，仅供参考。最后聊下贪婪匹配与非贪婪匹配的区别。match()search()sub()compile()findall()finditer()split()subn()groups()匹配成功后的对象有如下方法group()返回被 RE...
2019-11-12 21:34:26
192
原创 L7-Python字符串格式化小结
%占位操作符{}操作符print("I'm %s. I'm %d year old" % ('Vamei', 99))实际上构成一个字符串表达式。我们可以像一个正常的字符串那样，将它赋值给某个变量。比如:a = "I'm %s. I'm %d year old" % ('Vamei', 99)print(a)我们还可以用词典来传递真实值。如下：print("I'm %(name)...
2019-11-11 11:10:20
110
原创 L8-Flatten拍平多维数组的元素
文章目录案例说明1、最平凡：数组索引访问2、最伤脑：二次遍历-列表生成器3、最灵巧：活用函数sum()为什么sum()还可以这样玩？4、最省心：一步到位，Numpy.flatmap()注意, flatten()与 ravel()的区别案例说明分享一个拍平二维数组的案例。有如下二维数组，包含两个元素。现在需要输出为一维数组，能想到哪些方法呢？# 二维数组ar1 = [[1, 2, 3], ...
2019-11-10 10:32:29
178
原创 L6-Numpy中的随机函数
1、rand()根据指定的型，生成[0,1)之间的数据import numpy as npprint(np.random.rand(4,2))'''[[0.07103606 0.0871293 ] [0.0202184 0.83261985] [0.77815675 0.87001215] [0.97861834 0.79915856]] '''print(np.rando...
2019-11-09 11:06:20
113
原创 L5-利用Python生成器巧解算法小题
介绍两个利用Python生成器替代传统的循环遍历操作来解决问题的例子。经过思考与实践，充分利用这种自有特征，理解实现的细节，感受这种编程方式的优雅。1、字符替换将’aeiou’进行替换，规则如下：如果一个字母是大写辅音，请将该字符替换为“Iron”。如果字母是小写辅音或非字母字符，则对该字符不执行任何操作如果一个字母是大写元音，请将该字符替换为“Iron Yard”。如果一个字母是小...
2019-11-08 11:25:45
181
原创 L4-深度分析Python数据库(SQLServer)访问中的连接
1.环境准备首先就是要安装包，直接使用pip命令安装即可pip install pymssql2.pymssql访问数据库的生命周期1、使用connect()创建连接对象conn2、使用conn.cursor()创建游标对象cur3、cur.execute()执行SQL脚本4、如果是SELECT查询脚本-cur.fetchall()获取查询结果如果是增、删、改 - cur.co...
2019-11-01 15:26:56
342
原创 L3-python语言中的几种特征操作
汇总了目前碰到的几个Python有别于其它程序语言特征，体现了Python语言自有的简洁与优雅，可参考如下使用与注意事项。列表推导式一行代码直接对列表元素进行翻倍操作，比for的遍历，简洁。lst = [1, 2, 3, 4]print('列表推导式:',[i*2 for i in lst])#遍历操作for i in range(len(lst)): lst[i] = l...
2019-10-29 17:12:27
218
原创 L2-pandas中的replace、rename和map函数
发现几个小函数，在pandas中用来对dataframe对象进行更新与映射操作，试用并分享如下。准备数据样例：frame1 = pd.DataFrame({'item':['ball','mug','pen','pencil','ashtray'], 'color':['white','rosso','verde','black','yellow']...
2019-10-25 14:41:52
1060
原创 L1-python中的特殊方法__str__
1、使用场景在Python的类的定义中，init()方法用来初始化实例属性。当创建类对象并打印输出时，默认输出结果会是一串地址符，如：*<main.Student object at 0x00000175E6E8F3C8> *。若要改变输出形式，查看属性值，则可使用__str__()方法，用来将对象的属性值以自定义字符串形式返回。2、不使用__str__时，输出的对象信息clas...
2019-10-23 23:18:06
154
转载 通俗理解 - 梯度下降
本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的...
2019-08-13 17:22:42
650
原创 搞懂ASCII,Unicode字符集和UTF-8编码
熟悉html等知识的都知道，html中有一个重要的字段叫“content-type”，一般中文网站都是设置为“utf-8”编码，可能你还知道之所以设置为utf-8是为了正常的显示中文，但为什么utf-8就可以作为中文的编码呢？我们常常见到的ASCII码又是什么？Unicode字符集又是什么？它们之间有着什么样的关系呢？要搞清楚这些问题就得弄清楚字符的编码方式和各种常用的字符集。我查阅了一堆...
2019-08-13 17:20:03
158
转载 程序员是不是青春饭
本文转载。原创作者:志军100(Python之禅)有人问到程序员是不是吃"青春饭"，回答是肯定的，没有哪个行业可以像互联网一样，不需要背景、不需要关系，只需要才华就有舞台。看看国内国外那些知名大佬如李彦宏、马化腾、张小龙、雷军、张一鸣、小扎基本都是30岁前后完成了人生的小巅峰。但是他们都没有因为年龄退出舞台反而都成某个领域的头部大佬，如果你30出头还要和毕业不久的人抢饭碗，不仅没优...
2019-08-11 00:21:28
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人