数据聚合mongodb vs mysql

目前,我正在研究一个用于具有苛刻数据汇总要求的项目的后端.主要工程要求如下.

>为每个用户存储数百万条记录.用户每年可能会有超过100万个条目,所以即使有100个用户,我们每年谈论大约1亿个条目.
>这些条目上的数据聚合必须即时执行.用户需要能够通过大量可用过滤器对条目进行过滤,然后在结果上显示摘要(总计,平均值e.t.c)和图表.显然,由于过滤器组合(因此结果集)是巨大的,我无法预先计算任何聚合结果.
>用户只能访问自己的数据,但如果可以为所有数据计算匿名统计信息,这将是很好的.
>数据大部分时间是批量的.例如用户每天会上传数据,可能会有3000条记录.在某些后期版本中,可能会出现自动化程序,每隔几分钟就会以较小批量的100个项目上传.

我做了一个简单的测试,创建一个具有100万行的表,并在mongodb和mysql中执行一列简单的1列,性能差异很大.我不记得确切的数字,但它是像mysql = 200ms,mongodb = 20秒.

我也用couchdb进行了测试,结果更糟.

似乎有希望的速度明智的是Cassandra,当我第一次发现它时,我非常热情.然而,文档很少,我还没有找到任何关于如何对数据执行总和和其他聚合函数的实例.那可能吗 ？

从我的测试看来(也许我做错了),目前的表现是不可能使用mongodb这样的一个项目,尽管自动分片功能似乎是一个完美的适合它.

有没有人在mongodb中有数据聚合的经验,或者有什么见解可能有助于实施项目？

谢谢,
季米特里斯

您还可以尝试免费的单节点版本Greenplum：http://www.greenplum.com/products/single-node/和http://www.dbms2.com/2009/10/19/greenplum-free-single-node-edition/

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!