单机器（4C 或 2C）OLAP 数据库选型

173 天前
 annoygaga

目前每天的数据量其实不大，但是有比较复杂的 SQL 分析需求，希望走一个 OLAP 数据，目前用的 clickhouse （ 2C ，4GB ），但每时每刻都会有不少 mem 和 cpu 消耗，想问问类似情况下哪些数据库在这个场景比较好呢？

1749 次点击
所在节点    数据库
16 条回复
lyt001
173 天前
单机的情况下 ck 算是最好的选择之一了吧，目前用 ck 有什么问题？
annoygaga
173 天前
@lyt001 其实就是每时每刻都会有不少 mem 和 cpu 消耗，以及维护成本，希望尽可能省事。毕竟不是大场景，吃了太多人力也不好
lyt001
173 天前
追求更加轻量化的话据我所知 duckdb 可能可以满足你的要求
annoygaga
173 天前
@lyt001 duckdb 是进程内的，我希望可以单独一个服务，而且可以维护磁盘数据
opengps
173 天前
这种需要动态扫描的计算类脚本，cpu 和内存消耗免不了，通过选型能解决的问题并不多
F281M6Dh8DXpD1g2
173 天前
复杂的 sql 你用 clickhouse ?
用 pg 完事
spritecn
173 天前
ck 一个查询 CPU 跑满重启都不行,日志场景可以考虑 openobserve
8355
173 天前
个人理解 clickhouse 应该单机最好
云厂商一般是 1:4 你升成 4c 16G 试下看看

我们目前买阿里云 8c 32g 也是单机最低配 单表在算超过 110 亿聚合
annoygaga
173 天前
@opengps 是的，所以希望看看方案
annoygaga
173 天前
@liprais 分析的需求，pg 这种点查比较擅长把
annoygaga
173 天前
@8355 2c 8G 可以考虑，4C 太贵了，这需求也不是很值钱
jimyag
173 天前
duckdb 可以通过 EXPORT DATABASE 把数据导出，也可以通过 import 导入。

duckdb 也有很多语言的驱动，用代码也能管理

https://duckdb.org/docs/sql/statements/export
https://duckdb.org/docs/clients/overview
annoygaga
173 天前
@jimyag 还是希望一个类似 clickhouse 的单独服务的东西
zzmark06
170 天前
那你就 clickhouse 呗，4c32g 能跑很多东西了。
小内存建议缩缩参数，参考 altinty 的手册

https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/
linhrdom
146 天前
ETL 的过程用的什么？ Spark ？想再组合一个 clickhouse
linhrdom
146 天前
https://www.yunqi.tech/resource/whitepaper
这种可以么？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1111221

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX