如何知道网络请求是从浏览器发出的

以前还有 tls 指纹的 现在 也是轻松过了 放弃吧

@MHPSY 不会是广告吧

我就是做爬虫的,无解

查看 UA ，操作系统，HTTP 请求头

统统随机人机验证验证码

https://www.cloudflare.com/zh-cn/the-net/building-cyber-resilience/regain-control-ai-crawlers/
可以看看这个

你防住我的同时也会防住某些客户，然后客户：你的产品真难用

TLS 握手指纹，不过可以模拟

为什么要模拟 js

现在都是直接程序控制浏览器阿, 确实都是浏览器的访问

浏览器是啥

这个不能完全实现，但如果你希望是从自己的产品网页发出则是可以实现的，可以通过 js 代码记录全面的用户行为记录，然后发送行为记录数据，比如鼠标的移动、颤动、停顿、页面的切换等等，模拟成本无限拔高。

埋暗点，比如某几个.js/jpg 返回是 js/jpg 内容，但是实际是后端用来检测是不是爬虫的一个暗点

需要配合：别直接 ban 对方指纹，而是随机延迟返回，接口随机 50x 报错，假数据

只针对那种纯发包的爬虫场景，模拟浏览器的还要结合浏览器指纹/ip/一些 hack api ，随机的高级别验证码等

https://github.com/TecharoHQ/anubis 上阿努比斯，每个请求都要计算，正常用户在一个设备上不会有很高频率的请求，爬虫才会

@Ketteiron #29 随便一个网站 你 50 分钟也不一定能搞定

@liudewa #54 网站发来

要求客户客户端挖个矿

@Ketteiron 你好，请教一下，假如需要长时间（例如 24 小时不间断地）爬取一个电商的页面，而它有 CF 盾，同时要和其他人抢购不定时刷新出来的秒杀商品，请问有办法确保不会被屏蔽并尽量抢购到商品吗？

无解，反正什么样的数据都可以伪装

好事，攻防对抗 无休无止 又可以让老板多投点资源进来了

@kxg3030 #42 毫无利益关系，我自用，不认识他们