网络流量数据的存储有什么好的方案或者存储选型吗？

太大了，存储能力跟不上网络能力，你这不是向数据库应用发起挑战，你这是向存储速度发起挑战了

@opengps 网络流量不是全量和实时采集的，数据倒是没那么多，目前主要问题是存储不知道怎么存，因为需求要从所有流量中进行筛选

pps 有多少? 机房最近也打算做流量记录和审计.
计划用 kafka+clickohuse

@proxychains 还没有 pps 的概念，我们是通过下发任务，采集回传 pcap 包，解析入库这个流程。你用 clickhouse 的话是打算一个协议一个表吗

@sniperking1234 打算直接存对象, 一个表吧.
clickhouse 做完分片副本和索引查起来还可以

layer:L2, SrcMAC: xxxxx, DstMAC:xxx
layer:L3, SrcIp: xxx, DstIp:xxx, SrcPort:xxx, DstIp:xx, protocol: tcp
...
只是这样规划, 还没在测试环境做.

单机的话 clickhouse 是个不错的选择，如果分布式的话 可以考虑一下 百度的 Apache Doris ，ClickHouse 分布式不太友好 但单机 ClickHouse 更好一些

@proxychains 这是把所有的协议中出现的字段都列出来做成个大宽表吗

@815979670 多谢建议，我去调研看看

@sniperking1234 对