用什么数据库存储访问日志做分析比较好？

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

This topic created in 5146 days ago, the information mentioned may be changed or developed.

不是web server的日志是经过加工后的业务日志数据量一天在几百万需要做统计分析

目前用的是mysql 不知道数据量大了之后性能如何？

大家都用的是什么？求方案求推荐

日志

数据量

Web

14 replies • 1970-01-01 08:00:00 +08:00

feiandxs

Oct 12, 2012

问到我心坎儿里去了= =
目前是原始文件打包，近几日的进memcach...
没楼主那么大，所以memcache还足够用。但也怕断电，就要重新抓，很麻烦。
用mysql塞过web日志，其实还行，但目前我更倾向于用mongodb了。
mark一下，坐等看各路高手经验。

ritksm

Oct 12, 2012

mongodb+redis...

phuslu

Oct 12, 2012

之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB.
感想就是 mongodb cluster 部署和维护成本很高.

richiefans

Oct 12, 2012

@ritksm @phuslu
落伍了，我只是了解了下mongodb，redis，还没实际用过
貌似redis累死K-V存储
mongodb 貌似是可以按行存数据按条件查询的

这样看来 mongodb貌似是可以的

richiefans

Oct 12, 2012

@feiandxs
放到memcache 如何做查询分析啊？

ritksm

Oct 12, 2012

@richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。

haijd

Oct 12, 2012

postgresql

aveline

Oct 12, 2012

我是mongodb...觉得存储成本有点高

twm

Oct 12, 2012

mysql足够

ioiioi

Oct 13, 2012

logstash + elasticsearch, elasticsearch可以做cluster，logstash可以做过滤和规整。
这两天我正在实践，网外有不少成功案例。

zxp

Oct 14, 2012

最近很火的 splunk，不管什么日志数据，只要用各种方式扔给Splunk，剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/

superisaac

Oct 15, 2012

纯文本啊，用一堆脚本去分析。有必要用数据库？

superisaac

Oct 15, 2012

或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。

AntiGameZ

Oct 15, 2012

splunk+1, 但是很贵，如果超过500m/天的quota