prometheus 一个 alert 处于 active 后,如果规则中的指标出现了数据缺失,会直接把这个 alert inactive,有办法避免这个现象吗?数据缺失的时候还保持 alert 处于 active 状态。
因为被监控端的问题,偶尔会出现数据缺失,比如本来应该 1 分钟 1 个数据点,突然某分钟没有数据点了,这种现象一天会发生若干次,导致告警频繁的被关闭,不胜其烦。
有一个临时的解决方案,就是把 rule 里的指标查询周期设置的长一点,比如设为 5 分钟,5 分钟都没有数据的概率很低,但这样会影响一般运维人员的理解,他们很难理解这个逻辑。