- 博客(3)
- 收藏
- 关注
RSS订阅原创 Python 遍历 Mysql 表中数据
需求Mysql 表中存在几千万到几亿的数据（不存在自增主键），需要对表中数据进行遍历。使用的是 pymysql 模块。方案 1使用 limit 来分块返回数据。 劣势：使用 limit 每次都需要从头扫描数据表，在数据量超过 1000w 时，性能较低。LIMIT = 5000def get_name(sql_client, table_name): i = 0
2018-01-10 19:33:50
11078
原创 Python3 操作 MongoDB 集合分片
因业务需要，使用 Python3 批量生成 MongoDB 集合、并对其做分片操作。 做分片之前需要登陆 Mongo 为要分片的集合所在的库授权。# 在 use 库下对 test 库进行 sharding 授权use adminsh.enableSharding('test')Python 操作代码import pymongoimport urllib.parsemongo_client
2018-01-03 10:46:04
1756
原创 flume 学习总结
flume 总结flume 总结下载配置安装1 下载2 配置安装flume 架构agent 配置1 source 配置11 监听网络端口12 监控文件2 channel 配置3 sink 配置failover 和 load balancingfailoverload balancing扇出二次开发启动 flume总结1 下载、配置、安装1.1 下载在官网 http:
2017-04-22 21:45:19
1225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人