因为公司业务的原因，要处理比较多的物联数据。业主要求物联数据要能实时展示，并进行一定的复杂计算。 不想上 Flink 的原因： 1.Flink 太重了，一次就要上好多个节点，且业务是要交付到业主现场的，不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用，所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的
 |
1
zhenjiachen 18 天前
直接把所有的 flink 依赖打包到 jar 里面，然后 java -jar 运行？
|
 |
2
bronyakaka 18 天前
感觉基本都是与 kafka 配套的
|
|
3
bronyakaka 18 天前
Redis Streams 比较轻量
|
 |
4
chenquan 18 天前
|
|
5
chenquan 18 天前
毕竟轻量 -> 比较轻量
|
 |
6
yb2313 18 天前
用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序，ClickHouse 是非常合适的，并且部署也比 Flink 轻。
|
 |
7
lianhuayu420 18 天前
rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ ， 还有很多基于类 sql 的 ，https://siddhi.io/
|
|
8
lianhuayu420 18 天前
刚找了下 还有这个 https://www.fluvio.io/
|
 |
9
brant2ai OP @yb2313 我的场景确实是需要窗口内聚合，但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ，结束也是这个测点发出 0 ，而实际指标是另外的测点来计算。这样就要求能动态获取，且能实时实现的
|
 |
10
lezw 18 天前
Apache NiFi
|
 |
11
Meld 18 天前
数据量要说下
|
 |
12
icchux 18 天前
看你们的复杂计算多复杂了，如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出，但要涉及到状态计算，窗口很大的，一般都是上 flink
|
 |
13
cosen 18 天前
可以考虑买云服务，不用自己维护集群
|
|
14
brant2ai OP 日两千万这样
|
 |
17
vvtf 17 天前
我们日~1 亿的数据,
67 种规则,状态大小 500m, 1 个 taskmanager, 2c4g,稳定运行. |
 |
18
yuluoxinsheng 17 天前
物联网可以考虑边缘计算。看看我这篇.
https://juejin.cn/post/7508998028742737958 |
 |
19
runningman 16 天前
flink 很重吗，还没研究很深
|
Select Language