wuqinlong的博客

在一般的数学统计过程中，为了求得方差，需要预先知道所有的数据项，然后通过求均值，再通过遍历所有数据项计算平方和的方式求得方差。 但是在大数据、流式处理的场景，是无法预先知道所有数据项的，经常需要在任意时候动态的知道当前所有存量数据的方差，此时如果使用遍历的方式，将耗费大量的计算量，同时，缓存所有的数据也占用大量存储空间。 所以需要通过递推的方式，通过之前状态的均值、方差、计数、以及当前数据项来计算出当前状态的方差。 方差递推公式的计算过程如下：

MongoDB性能测试，在服务器上进行了5亿数据级别的插入和查询测试，考虑了GridFS和组合索引的性能。