- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据迁移——Python+MySQL
大数据迁移——Python+MySQL引言方法一：数据库复制 ——最糟糕方法二：数据库转存——最蜗牛方法三：数据库备份——最尬速方法四：内存操作Python+MySQL——最火箭引言最近，因为课题组更换服务器，有一批数据需要做数据迁移，数据量大约150G-200G，一部分数据存储在原来服务器的MySQL上，另外一部分数据以txt文件存储在硬盘上。现在，我需要将这些数据全部迁移存储在新服务器的MySQL上，方便后期课题的分析处理以及大量的查询需求。这个看似简单的任务，却给我带来了很多困扰，转存效率极其低
2020-11-30 23:26:07
1227
原创 Python rasterio and GDAL安装error
环境：Win10 64+ python3.7+Anaconda3最近在利用python处理空间数据，需要安装rasterio包，结果如下：pip install rasterio经过查资料，发现是缺少GDAL依赖包，所以再来pip install DDAL发现还是有问题，结果如下：查了多个资料，发现这两个包不能直接pip安装，比较麻烦。解决方法如下：方法一：直接去网上直接...
2019-05-31 16:13:56
2931
原创 mysql按天，小时，半小时，N分钟，分钟进行数据分组统计
mysql按天，小时，半小时，N分钟，分钟进行数据分组统计mysql不同时间粒度下的分组统计按天统计按小时统计按半小时统计按N分钟统计按分钟统计mysql不同时间粒度下的分组统计我们在做项目或者数据分析时，经常遇到这样的需求：统计不同时间粒度下的数据分布情况，例如，每一天中每个小时网站的访问量，某路口每半个小时通过的车辆数量等。对于此类的问题，一个sql简单的查询就能实现，故特此记录下，方便以...
2018-11-05 17:18:45
62191
20
原创 Python 正则表达式——快速入门
Python 正则表达式——快速入门Python 正则表达式快速入门简介正则表达式语法常用操作符正则表达式语法实例经典正则表达式实例re库的基本使用re库主要功能函数常用的控制标记re库的等价用法re库的match对象re库的贪婪匹配和最小匹配总结简介正则表达式，又称正规表示式、规则表达式等（英语：Regular Expression，常简写为regex、regexp或RE）
2017-04-27 00:12:24
795
原创 python从文件读数据
最近在做一个课题，需要将拿到的数据先存入数据库，刚好自己在学习python，就想拿python解决这个问题。拿到数据解压后发现是一个近6G的txt文件，文件太大，无法打开，尝试用python读取几行数据，看看数据的结构。1、python读文件python使用open()函数来打开文件，语法如下：open(name[, mode[, buffering]])open函数使用一
2016-04-14 16:07:09
1509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人