mysql 一年新增 800 多万条数据，如果是单表的话请问服务器能支撑吗？各位有什么好的办法吗？

有个室温采集系统，一共 1686 个住户，每小时取一次数，供热季从 10 月份取到明年 4 月份，大约
1686*24*30*7=8,497,440 条数据，后期涉及到统计，分组排序等。
目前想到的办法是一年新建一张表，存储历史，然后做个配置表去管理查询哪张表。各位有在实际中遇到过相似问题的吗？有更好的办法吗？

THESDZ

2024-12-04 13:37:35 +08:00

与其担心这个，不如担心备份问题。

julyclyde

2024-12-04 13:48:27 +08:00

1 不需要解决
2 用 tsdb 更合适
3 时间长了就可以删了。你又不是气象局，留那么远期的数据干啥？

johnlin

2024-12-04 14:48:05 +08:00

我们 2000w 条数据都存一张表的，800w 可以的。不跨年查询的话，你一下子建 20 张表 [20 年] ，然后建立一个字典，每个年度一张表，后期都不用你维护的

cccvno1

2024-12-04 14:57:14 +08:00

单表直接存，室温数据分布应该挺密集的，只要索引加好，普通机械硬盘都没有问题。

0x663

2024-12-04 15:40:38 +08:00

而且一看你这个系统名称我就明白了是绩效项目，《室温采集系统》
估计热不过两年领导升上去了就不会管了。

JZen

2024-12-04 15:42:36 +08:00

800w 应该可以随便跑，以前我的双核垃圾服务器存 2000w 行的表都不慌，要做复杂统计可以把数据 dump 出来，在其他性能更高的机器上做。

luciankaltz

2024-12-04 17:29:03 +08:00

看起来还是一个时序指标的场景
不知道历史的统计要不要频繁查询，不过愿意等的话查询语句写的好应该问题也不大
数据直接存对象存储上，800w/年的数据放个几年问题都不大（甚至再来几倍都

懒得写重复的回答了，ref https://ex.noerr.eu.org/t/1093560#r_15605476

encro

2024-12-04 17:32:50 +08:00

一年 800 万，啥都不用干分表分区分库都不用管，3 年后再看就是了。。。

统计专门做统计表。

建议采用 postgresql ，哈哈。

wangyzj

2024-12-04 17:59:02 +08:00

你这个类似 iot 场景了，不适合 mysql

gerryzhu0033

2024-12-04 18:00:44 +08:00

不想麻烦的，直接用 mysql + 分区表，统计分组的话后面加个 clickhouse ，妥妥的

go522000

2024-12-04 18:04:35 +08:00

看到大家的数据都到亿了，真强大。
我之前一台轻量服务器，2C4G ，MYSQL 是那种官网直接下载安装的，没有修改配置，单表超过 200M 就会卡，是需要什么优化吗？

chengxiao

2024-12-04 18:27:02 +08:00

是不是看多了那个什么单表 2000w ,思维固化了
要知道技术和硬件这些年都在进步 ,单表 2000w 都快 10 年前的事了

GreenHand

2024-12-04 19:25:59 +08:00

我记得十年前我们单表就存了 10 亿级别的数据了

FightPig

2024-12-04 19:41:21 +08:00

800w 没问题吧，我没怎么用 mysql,我们的 pg 现在单表上亿，没发现什么毛病

RangerWolf

2024-12-04 21:02:39 +08:00

我们单点 mysql 存储了 1T+的数据（没有分布式、也没有主从，只要每天备份）
只要不是频繁用来做数据分析，加上索引设计合理，800W 一年应该毫无压力

realpg

2024-12-04 21:07:16 +08:00

我的单表一天就八百万数据
不过会把 30 天后的转到归档表

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1094825

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.