kuanat
1 天前
这个话题属于懂行的不愿意讲（毕竟多数都会涉及黑灰产），而不懂的基本说不到重点的那种。我就简单总结下算是抛砖引玉了。
浏览器从来都不是可信环境，理论上没有任何办法可以稳定 100% 准确区分真人和机器。
对抗爬虫或者 bot 的基本思路就是提高攻击成本。比如登录之后才能看的，就有帐号成本，限制访问频率的，就有 ip 成本，甚至 cf 五秒盾也可以理解为采集时间成本。
想要提高攻击者的成本，那防御方也要付出代价，比如设想个极端场景，防御方要求所有请求都过一遍 recaptcha ，那防御方确实提高了攻击方的打码成本，但自己也付出了带宽成本，以及造成不便损失正常客户的成本。所以防御方更希望的是，有纯软件的方案，只付出开发成本和少量的运营成本，就能大幅提高攻击者成本的方法。于是就有了各种检测技术。
我这里随便列举一些常见的技术，以及攻击方的应对策略：
1. tls 指纹检测
因为浏览器和常见 python/go 等编程语言的底层 tls 库是不一样的，通过在流量入口做 ssl offloading 的时候，顺便检测一下请求中的 kex （密钥交互）配置，就能起到很好的筛选作用。
应对方式也比较简单，替换 tls 库或者伪装成特定的指纹配置即可。
2. 额外校验字段
同样是针对看请求直接构造接口数据的。在常规业务字段之外增加校验字段，一般由 js 代码执行后产生。
这种可以通过 cdp 控制浏览器或者跑无头等方式绕过。
3. 浏览器环境检测
基本上是前一种方法的增强版。既然攻击者能用真浏览器来伪装，那就检测那些不合理的参数，比如窗口 viewport 大小，一些特定的全局对象等等。到了这一步，基本上标配都是 js 混淆了。
对于水平不高的检测，有经验的攻击者大部分能根据调用栈定位到关键函数方法，绕开检测逻辑直接生成校验字段。
4. js vmp 混淆
基本上这就是最后的防线。把前面各种检测技术打包起来放到 js 中，然后用 js 代码写个虚拟机，再把原始的代码编译成虚拟机指令。这个对抗手段是针对人的，就是拉高对攻击者的技术门槛要求，逆向 vmp 类混淆是要比前面都难的。
从攻击者的角度来看，硬怼 vmp 还原 ast 指令也不是不行，就是累，而且没办法保证这次逆向出来了能用多久。毕竟防守方的策略是，换个混淆参数就是新虚拟机了。
所以多数情况下都是把 js 代码完整扒出来，把它当黑盒来调用。因为外部 js 环境和浏览器不一样，缺少浏览器的很多对象，所以有个专门的说法叫“补环境”，让 js 代码能正常运行。想要知道 js 代码都检测了哪些环境信息，又有一些插桩、自吐的应对策略。
就算实在搞不定，专门搞一个浏览器，就真实地跑校验字段生成，然后把结果给其他自动化的部分用也可以。
大致上就是这样了。对抗的路线最终都会转换成为“对抗成本”的问题。而且从技术原理上说，攻击方是永远可以看到代码的（尽管可能是混淆版本），所以根本藏不住。