- 博客(6)
- 收藏
- 关注
RSS订阅原创 python xlrd和pandas 操作Excel文件的速度对比
# -*- coding: utf-8 -*-import datetimeimport jsonimport osimport pandas as pdimport xlrd# 打开文件def xlrdProcess(fileName,sheetName): t1 = datetime.datetime.now() data = xlrd.open_workbook(fileName) size = os.path.getsize(fileName) pr
2020-09-01 17:02:12
1490
原创 # ElasticSearch关于对数组聚合的问题(**[nested] nested path is not nested**)
ElasticSearch关于对数组聚合([nested] nested path is not nested)的问题记录一下使用ES时对数组类型数据进行聚合处理时的坑：由于ES官方自己说的对于所有类型的数据都默认支持数组形式，所以我在创建索引时没有指定nested类型，首先创建如下索引（并没有指定user的类型）：索引结构如下：这个时候user存的是一个数组，数组中有两个object类型数据，现在假设需求是要按分数分组，然后统计每个分数下各个人的名字和数量。通常就是两个terms聚合搞定：
2020-05-15 14:50:47
6506
8
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第一部分...
2019-11-29 17:04:52
145
原创 MySQL日志信息详解
参考文章：https://www.cnblogs.com/f-ck-need-u/p/9001061.html#auto_id_4MySQL日志信息详解在MySQL中，主要有5种日志文件：1.错误日志(error log)：记录mysql服务的启停时正确和错误的信息，还记录启动、停止、运行过程中的错误信息。2.查询日志(general log)：记录建立的客户端连接和执行的语句。3.二进...
2019-11-10 17:00:11
447
原创 数据挖掘--数据预处理
数据预处理方法小结根据自己的经验，总结了一下使用过的数据预处理的方法和小技巧。在进行数据分析的时候，工作量最大也最复杂的地方就是对数据进行预处理，一般分为四个步骤：数据清理、数据集成、数据变换、数据归约。一、数据清理（缺失值、异常值、无关值、噪音、重复值）缺失值：1、删除：数量较少，对整体数据没什么影响的直接删除该条数据。2、对缺失数据插补：方法较多，例如用该属性的均值、众数、中位数插补，这...
2019-11-03 15:42:03
863
原创 anaconda和python3共存问题，解决pip install安装时的冲突问题
如果电脑中同时安装了anaconda和python3，在安装包时有时会莫名其妙的出错，或者是找不到安装的包。解决方法如下：1、首先设置电脑属性中的环境变量2、保险起见在用户变量和系统变量中都添加anaconda和python的安装路径和Scripts路径3、冲突的原因还和anaconda与python的启动文件名相同导致冲突问题，因此修改其中任意一个的启动文件名。修改后以后安装包或者启...
2019-08-19 17:44:30
11620
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人