Home Sign Up Sign In
› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
Advertisement
sxinsuoyu20
V2EX  ›  MySQL

mysql 一年新增 800 多万条数据，如果是单表的话请问服务器能支撑吗？各位有什么好的办法吗？

  •   
  •   sxinsuoyu20 · Dec 4, 2024 · 17770 views
    This topic created in 703 days ago, the information mentioned may be changed or developed.
    有个室温采集系统，一共 1686 个住户，每小时取一次数，供热季从 10 月份取到明年 4 月份，大约
    1686*24*30*7=8,497,440 条数据，后期涉及到统计，分组排序等。
    目前想到的办法是一年新建一张表，存储历史，然后做个配置表去管理查询哪张表。各位有在实际中遇到过相似问题的吗？有更好的办法吗？
    Supplement 1  ·  Dec 6, 2024
    首先感谢各位 v 友给出的建议，我总结了下
    1 、mysql 单表几千万上亿都没啥问题，不用考虑那么多（也可以索引、分区、分表）
    2 、使用数据库 pgsql
    3 、使用时序数据库
    服务器没真实跑过这么大的数据，我云服务器跑几百万条数据就很慢了（当然配置也比较低），既然大家都说 mysql 没问题的话，那我就先实际运行试试，有问题再说，再次感谢各位 V 友们！
  • MySQL
  • 数据量
  • 性能
    119 replies  •  2024-12-06 09:44:59 +08:00
    1  2  
    ❮ ❯
    lancelock
    lancelock
    Dec 5, 2024
    101
    你这种数据只有插入和查询，没有删改，本来就用时序数据库更合适。当然一年 800 万这个数据量，mysql 也绰绰有余了
    me1onsoda
    me1onsoda
    Dec 5, 2024❤️1
    102
    我很好奇。OP 好像没说配置啊，各位为什么能那么笃定？还是说与硬件配置无关？
    xiaoguaishou92
    xiaoguaishou92
    Dec 5, 2024
    103
    PG 数据库，单表 1 亿查询很快。 机器模型 32C64G
    whaixrst
    whaixrst
    Dec 5, 2024
    104
    关于 mysql 的刻板印象需要更新了。我司生产环境一张单表 10 亿行数据，1.6TB ，毫无压力
    encro
    encro
    Dec 5, 2024
    105
    @me1onsoda

    因为基本最基础的 2h4g 配置都能扛起几亿的数据，复杂查询和高并发才需要配置好。
    RandomJoke
    RandomJoke
    Dec 5, 2024
    106
    你这个数据基本都是不可变的，统计部分不要从这个表出，不是随便存
    me1onsoda
    me1onsoda
    Dec 5, 2024
    107
    @encro #105 说了啊，要分组排序统计，我给你配置翻两倍吧，count sum 一下，宽容一点 5s 内能返回吗
    ala2008
    ala2008
    Dec 5, 2024
    108
    现在表按亿算都没啥问题，不放心可以换成 postgrepsql
    ythunder
    ythunder
    Dec 5, 2024
    109
    asdasd
    lmshl
    lmshl
    Dec 5, 2024
    110
    4C8G 的生产 PG 数据库表示单表两亿行不痛不痒, 你还可以再用点力.
    支撑 100+TPS 的时候瞄了一眼 CPU 占用率还不到 1 核
    zhangqian99
    zhangqian99
    Dec 5, 2024
    111
    @Xhack 用的 id, 加了 3 个索引字段
    encro
    encro
    Dec 5, 2024
    112
    @me1onsoda

    既然要 count ，索引建立好 5s 是没问题的，你加配置也没有什么用。
    如果是统计项目比较多，那么需要统计表，是数据库设计问题，对资源要求不大，你加资源也不太影响性能。

    需要 olap 或者自己搞统计表，不是加机器。
    encro
    encro
    Dec 5, 2024
    113
    我一个阿里云最便宜的几百一年的 mysql rds ，有一个表里存了 2 亿数据。
    还是个主表。用户需要经常查询和修改的。
    SuperNPC
    SuperNPC
    Dec 5, 2024
    114
    题主真就一条不回
    meinjoy
    meinjoy
    Dec 5, 2024
    115
    @wbrobot 5 刀 vps 配置不高吧，能撑到 5 亿数据？！
    zhhmax
    zhhmax
    Dec 5, 2024
    116
    才这点数据，你是瞧不起谁呢
    cz5424
    cz5424
    Dec 5, 2024
    117
    @dynastysea 就是很贵，存储有点费钱
    sxinsuoyu20
    sxinsuoyu20
    OP
    Dec 6, 2024
    118
    首先感谢各位 v 友给出的建议，我总结了下
    1 、mysql 单表几千万上亿都没啥问题，不用考虑那么多（也可以索引、分区、分表）
    2 、使用数据库 pgsql
    3 、使用时序数据库
    服务器没真实跑过这么大的数据，我云服务器跑几百万条数据就很慢了（当然配置也比较低），既然大家都说 mysql 没问题的话，那我就先实际运行试试，有问题再说，感谢各位 V 友们！
    t2musiccn
    t2musiccn
    Dec 6, 2024
    119
    着啥急 ，单表过亿后我才考虑分表的
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1857 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 06:51 · PVG 14:51 · LAX 22:51 · JFK 01:51
    ♥ Do have faith in what you're doing.