V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
fanweiguo
V2EX  ›  酷工作

急需会爬虫的老哥们,兼职。。。。。

  •  
  •   fanweiguo · 25 天前 · 1562 次点击
    一、岗位职责( Responsibilities )
    需求调研与方案设计

    分析目标网站/APP 的业务场景、数据结构和接口特征

    制定高效、可扩展的爬虫架构和反爬策略

    示例:针对需短信验证码的电商/物流 APP ,先模拟注册/登录(含验证码自动获取和校验),再抓取商品、订单等核心数据

    爬虫开发与维护

    使用 Python 、Scrapy 、Selenium 、Requests 等技术栈,开发并行/分布式爬虫

    实现验证码处理模块(对接 SMS 接口或虚拟号码平台),保障登录环节全自动化

    针对 AJAX 、WebSocket 、APP 原生接口等多种场景,灵活切换抓取方案

    反爬虫对策与性能优化

    部署 IP 池、User-Agent 轮换、代理池等反爬策略

    监控爬取流程,优化并发量、重试机制和资源消耗

    数据清洗、存储与质量管控

    对原始数据进行去重、字段抽取与格式化

    存储至 MySQL 、MongoDB 、Elasticsearch 等数据库/数据仓库

    制定并执行数据校验规则,定期审核完整性与准确性

    文档编写与团队协作

    撰写技术文档、项目说明、使用指南

    定期汇报开发进度、问题与优化方案,与产品、运维、测试等团队紧密配合

    项目交付与持续迭代

    按里程碑提交可运行爬虫模块,确保数据按期到位

    根据业务需求和质量反馈,持续迭代升级

    二、任职要求( Requirements )
    经验:1 年以上 Web Scraping 项目经验

    技能:

    精通 Python ,熟练使用 Scrapy 、Selenium 、Requests

    掌握 HTML/CSS/JavaScript ,了解常见加密与反爬技术

    能使用 pandas 、NumPy 进行基础数据清洗

    工具:

    熟悉 Git/GitHub 或 GitLab

    熟练 Linux Shell 操作者优先

    素质:

    责任心强,细心,能按时交付

    良好沟通和文档编写能力

    具备团队协作精神

    三、参考薪酬( Compensation )
    按小时:¥ 50–¥ 120 /小时(可面议)

    按项目:根据需求复杂度另行报价

    四、联系方式( Contact )
    电话:133 4571 0901
    mywei1989
        1
    mywei1989  
       25 天前   ❤️ 5
    本人懂一点 python
    我就算饿死在这个行业中,我也不接这活.
    因为这活:可以用以下几个角度来概括:

    "星际农民工"

    用太空探索的崇高愿景包装,却开出农业时代的薪酬标准——仿佛在问候选人能否用锄头种出太空蔬菜,同时免费维修空间站。

    "曲速引擎预算,牛车级待遇"

    要求掌握光年级技术(如航天器设计/月壤种植),工资却停在上世纪生产队工分制,暗示企业企图用稻草预算兑换反物质能量。

    "黑洞招聘法则"

    所有高技术要求都会被薪酬黑洞吞噬,最终呈现"月薪 3000 ,负责保障人类第二家园建设"的奇幻条款。

    "人形跨维度廉价终端"

    需要同时具备宇航员身体素质、科学家大脑、工程师手艺,但企业只愿支付基础劳动力价格,如同要求用算盘解码外星文明。
    nuansediao
        2
    nuansediao  
       25 天前
    直接留个电话,这个也不多见吧。
    duanxianze
        3
    duanxianze  
       25 天前
    这个价格看起来也不是很急
    eremit
        4
    eremit  
       25 天前 via Android
    价格太低
    Batututu
        5
    Batututu  
       25 天前
    这个价格和这个需求……很不错
    gimp
        6
    gimp  
       25 天前
    🤔
    icy37785
        7
    icy37785  
       25 天前 via iPhone
    既然示例中的需求是干违法的事情,价格就应该是能覆盖风险的价格呀。
    yagamil
        8
    yagamil  
       25 天前
    洗洗睡了,直接要抓取未公开的数据。直接说要黑客得了,保证好安家费
    echo1937
        9
    echo1937  
       25 天前
    这种数据一般是不允许爬取的,所以有法律风险。

    如果是企业员工,出事了公司担大头,个人担小头。

    兼职的话,反过来。
    5261
        10
    5261  
       25 天前
    针对 AJAX 、WebSocket 、APP 原生接口等多种场景,灵活切换抓取方案
    有这能力的人 按小时:¥ 50–¥ 120 /小时(可面议) 是这么理解吗
    leonidas
        11
    leonidas  
       25 天前
    按 120/小时 120*8*30 接近 30k 还行吧?
    但 50 来说 确实低了
    zzj0311
        12
    zzj0311  
       24 天前
    @leonidas 你一个月上 30 天班么😅
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5867 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 02:13 · PVG 10:13 · LAX 19:13 · JFK 22:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.