V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
netnr
V2EX  ›  全球工单系统

吐槽爬虫(来自火山引擎 IP)伪装 UserAgent

  •  
  •   netnr · 13 天前 · 2128 次点击
    IP Count
    180.184.145.7 11353
    180.184.147.195 5781
    106.92.145.252 234

    China Beijing
    Beijing Volcano Engine Technology Co. Ltd.

    前三名的 IP 请求统计,前面两个都是火山引擎的 IP ,不清楚这个是火山引擎自己的爬虫还是卖给用户的云服务器,UserAgent 不带 Bot 而是伪装正常的用户访问,非常鄙视这种行为,网站本身对爬虫无限制,但是将爬虫进行了分类,方便统计有效的用户数据,而这种行为有被恶心到。

    图片说明

    12 条回复    2025-07-19 14:14:54 +08:00
    nomagick
        1
    nomagick  
       13 天前
    什么叫伪装

    用 LLM 操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用程序操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用浏览器插件访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用户用 Curl 访问你的网站,UA 是 Curl ,算 bot 还是算正常用户

    世界是在不断发展的,现实和你的假设不一致,你吐槽现实说真恶心,有意义么
    netnr
        2
    netnr  
    OP
       13 天前
    附一张同一时段的爬虫统计 @nomagick

    abcopp
        3
    abcopp  
       13 天前
    这个是什么统计
    netnr
        4
    netnr  
    OP
       13 天前
    UserAgent 识别使用的是 https://github.com/matomo-org/device-detector 数据

    从日志记录看 还特意改了版本号

    H97794
        5
    H97794  
       13 天前
    @nomagick 的确应该与时俱进...







    netnr
        6
    netnr  
    OP
       13 天前
    @abcopp ,这是自己站点开发的,UserAgent 识别 + 纯真 IP 解析 + DuckDB + ECharts
    Seanfuck
        7
    Seanfuck  
       13 天前
    火山有搜索 api 业务的
    ClericPy
        8
    ClericPy  
       13 天前
    借路问一句

    现在大模型调用浏览器访问网页,遵循 robots 吗
    nomagick
        9
    nomagick  
       13 天前   ❤️ 1
    @netnr 现在无头浏览器,SSL 指纹伪装都是基操,还有大量基于 Chrome 或者 Electron 的各类应用和浏览器, 早就没办法只通过 UA 就精准分类用户了。
    jimages123
        10
    jimages123  
       13 天前
    现在的基操,都是访问直接先做一段计算工作,要求使用 js 进行计算出结果才能继续访问了
    netnr
        11
    netnr  
    OP
       13 天前
    @nomagick @jimages123 正规军还是遵循的,至少不会像现在这样故意伪装随机版本号
    abcopp
        12
    abcopp  
       13 天前
    直接限流吧,根据 ip 。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5031 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 09:32 · PVG 17:32 · LAX 02:32 · JFK 05:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.