先来看下，近几年大厂发生的几个影响较大的运营事故：
这几起事件的共同点：影响范围广、故障时间长、造成非常负面的舆论影响；
这次快手的事情，还是远远超出了我的想象，服务故障只会影响正常使用，但是被攻击进而导致了大面积非法活动；对于监管来说，没有比这更严重的事情，属于妥妥的红线。
黑客、灰产，从互联网诞生之初，就一直存在，今天我们不去讨论黑客如何操作大规模账号、如何进行的实名认证，我们从开发这个角度去考虑，怎样去避免事件的发生？
直播和视频播放不一样，它的内容属于实时产生，平台没有办法提前审核；因此直播平台建设怎样的审核机制，就关系平台能否控制用户的直播内容。
大部分直播审核机制我们可以简化为上图：截取画面、音频等，通过模型自动化判定，然后再人工复审，最后处罚封禁。
在开发中，我们经常会提一个瓶颈节点的概念，意味着它决定着整个链路的承载量，如果它停止工作，则整个链路瘫痪。
而在上面的审核链路中，可以认为人工复审是一个瓶颈节点，因为人力是有限的；也许平时只需要 1000 个审核员既可以应对，但是当极端情况出现，同时涌现出上万个甚至更多非法直播时，这套机制自然就被攻破了。
我们可以猜测，黑客操作大量账号，同时开启非法直播，当部分账号被封禁后，又不停的新增非法账号直播，人工复审节点一直处于过载状态，没办法处理全部的审核。
假设我们按照上图的审核机制，怎样优化可以解决同时出现大量非法直播的问题呢？
根据模型分析结果，辅助额外账号信息，自动判定是否需要“二次人工复审”，对于不需要的案例，直接处罚。当然自动判定存在误判的风险，而快手这次事件，可以看到大部分直播是常规的淫秽视频，通过模型辅助账号信息是可以精确判定的。
为了让自动判定足够精确，我们需要做些什么？
减轻“人工复审”节点的压力，使它不再是瓶颈节点，是我们的最终目的，毕竟其他节点都可以通过扩容的方式解决。也许自动判定可能会存在误判的情形，但是我们可以不断优化，不断减少误判的概率。
对快手而言，“同时出现大规模非法直播”是一个小概率事件，在它们设计审核机制时，可能也有考虑到过？但是可能认为“几万人同时直播黄片”是几乎不可能出现的事情，因此并没有做预案。
在互联网领域，尤其是后端模块，海量用户+长时间运行，任何小概率 bug 都演变成必然触发；如果没有完美解决方案，则往往可以采取有损的妥协折中方案。
欢迎快手同学现身说法！
最后宣传下自己的技术公众号：欢迎关注，讨论交流
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.