有人试过 AWS s3 + Athena 做数仓么

3 天前
 nodesolar

话说 V 友们中有人试过 AWS s3 + Athena 做数仓么？

737 次点击
所在节点    程序员
5 条回复
defunct9
3 天前
干嘛不用，AWS Redshift ，或者 flink 、spark 之流
skallz
3 天前
我之前写过一个数据采集加数据分析，就靠它，当时预设的数据量太大了，如果直接走服务器并发量会把服务器打爆，然后发现了这么个东西，只需要前端上传数据文件到 s3 ，然后 athena 对接 s3 就够了，不过 athena 速度有点慢，得看业务场景
rockxsj
3 天前
athena 我记得就是 presto(trino)。 我们之前的方案的确长期就是对象存储+trino ，不过现在换成了对象存储+starrocks ，性能比 trino 要高不少。
lxdlam
3 天前
我们是 Iceberg on S3 + Athena/Glue(Serverless Spark) 的架构，中间用 dbt 做数据建模 + dagster 做 ETL flow 的管理，整体体验不错，下游支撑了大部分离线应用，比如 Superset 看板 etc 。
nodesolar
3 天前
@lxdlam

学习了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1173770

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX