一个程序开发问题请教各位 V 友大佬，每秒 10 万条数据需要存储，怎样选择技术方案

简单啊，你搞 10w 个服务器负载均衡，每个服务器就只需要 1qps 的存储了，随便搞

看似很多，也就每秒 2mb 左右的数据量，内存能有什么压力，都先丢内存里，把数据整合一下，再慢慢插入数据库或者写入文件都可以吧。

先用日志方式收数据，多台服务器的磁盘写入肯定能保证，放入数据库你要考虑好，单节点吞吐量肯定不够，需要一个群集才能吃下这些数据，还需要分片存储。每个设备你要知道存在那个库，哪个表里，还需要一套元数据管理服务。

假设一条消息 1KB. 10W 条 约 100MB 数据.
在这个基础上留出一定的余量, 比如 就按 200MB 算. 关键是 2 处 IO 瓶颈.
1. 你的服务器 SSD 硬盘每秒写入速度是多少?
2. 带宽是多少?

剩下的,写个简单的测试程序,先直接内存生成 200MB 假数据, 循环往测试服务器写. 你会发现,貌似一台单机基本就没压力.
剩下的就是看你们团队技术偏好,数据增长规模多少,来选合适的数据库就行了. 一台不行 2 台.

@a67793581 看你具体需求，一般都是先丢进消息队列，然后时序数据库去消费， 在消费的时候，根据具体的业务逻辑来格式化数据。消息队列只管生产和消费，时序数据库要管查询、计算，统计。

真实需求真的是这样么……相当于 10w 人在线的实时联网游戏了

首先每秒 10w 条，是不是一定分开 10w 条请求，不是的话考虑合并上报，楼上也说了每几分钟合并成文件上传，即合并数据的空间或时间

然后这个高频插入，是插入之后需要实时查询么，不实时那慢慢屯到 MQ 慢慢消化也行？数据插入后如何使用会影响你的设计

@morota #10 你这个带宽估计太粗糙了，如果是 4G 的话，稍微留一点余量。

@songyoucai 嗯 目前公司用的是 kafka + flink + hive

楼上都在说啥啊，物联网数据，5 个 int ，这不就是标准时序数据库么？ 10W 在时序数据库里算个锤子多
市面上流行的时序数据库都支持百万级写入

就一句，和技术无关。无论如何先落盘。再消费到系统里面做业务存储。不然有锅都没地儿甩。存储随便，这点 metric 数据你是看不起谁呢…

kafka+ InfluxDB

@Plutooo 消息队列的吞吐能力影响因素太多了，首先是集群数量和机器配置。
然后各种队列配置也影响很大，Retention 策略，Hash 策略，是否压缩等等等等

付费数据库适合你

@pkoukk 直接往里面插入吗？每秒都插入？

@pkoukk #52 我记得这个吞吐量说的都是单机情况

有个疑问，这些数据是直接落库使用的吗？我也是做物联网的，我们设备的数据都是转到 rocketmq 供下游服务消费后了处理了之后才存表的。举例：计算设备每天的运行时间，那肯定得是第二天统计了头天的数据然后存表。就算是大量的数据要落库，你也可以考虑下他们是否要求实时性，如果不是，那就丢队列慢慢消费。

@rockxsj #4 请教下，为什么不能直接入 kafka ，需要先落到本地文件的原因是什么？

直接三板斧搞定：Kafka ，Redis ，MySQL 。数据来了之后先存到 mq 里慢慢消费

可不可以在开头过滤一些无所谓的数据，手工降频

@bthulu #21 请问写文件的话，怎么做逻辑查询呢？