新系统做大数据解析是否需要上 hadoop

21 小时 37 分钟前

dimingxuan

求助，公司新建一个系统，几十亿条数据，需要业务人员能写一些简单的规则做一些数据离线筛查和判断，每天新增数据几万条。数据现在都在 MySQL 做的数仓。

规则编写想用 drools ，现在遇到了数据读取大的问题，需不需要上 hadoop 全家桶？还是简单一点，spark➕HDFS 、Hive➕drools 。对大数据了解不多，请大大们提提建议

2068 次点击

所在节点

29 条回复

Richared

17 小时 38 分钟前

你这体量上啥 hadoop 。

godguoht1573

17 小时 35 分钟前

StarRocks+1

zsk425

17 小时 30 分钟前

可以考虑直接以表的形式存储在 S3 上，用 Athena 查就行，毕竟只要离线，这应该是最省钱方案之一了

springz

17 小时 8 分钟前

#9 说的才是真理，其实要看是要解决问题还是切一块资源。

assiadamo

16 小时 52 分钟前

之前看 duckdb 的文章在 2012 年的 4 核 i7/16G 内存的 macbook 上跑数十亿查询行数据的查询没问题

OliverDD

13 小时 38 分钟前

单机 duckdb

samwellwang0

12 小时 41 分钟前

pg 或者 es 就行

xuelang

12 小时 37 分钟前