急需会爬虫的老哥们，兼职。。。。。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 外包信息请发到 /go/outsourcing 节点。

• 不要把相同的信息发到不同的节点

一、岗位职责（ Responsibilities ）
需求调研与方案设计

分析目标网站/APP 的业务场景、数据结构和接口特征

制定高效、可扩展的爬虫架构和反爬策略

示例：针对需短信验证码的电商/物流 APP ，先模拟注册/登录（含验证码自动获取和校验），再抓取商品、订单等核心数据

爬虫开发与维护

使用 Python 、Scrapy 、Selenium 、Requests 等技术栈，开发并行/分布式爬虫

实现验证码处理模块（对接 SMS 接口或虚拟号码平台），保障登录环节全自动化

针对 AJAX 、WebSocket 、APP 原生接口等多种场景，灵活切换抓取方案

反爬虫对策与性能优化

部署 IP 池、User-Agent 轮换、代理池等反爬策略

监控爬取流程，优化并发量、重试机制和资源消耗

数据清洗、存储与质量管控

对原始数据进行去重、字段抽取与格式化

存储至 MySQL 、MongoDB 、Elasticsearch 等数据库/数据仓库

制定并执行数据校验规则，定期审核完整性与准确性

文档编写与团队协作

撰写技术文档、项目说明、使用指南

定期汇报开发进度、问题与优化方案，与产品、运维、测试等团队紧密配合

项目交付与持续迭代

按里程碑提交可运行爬虫模块，确保数据按期到位

根据业务需求和质量反馈，持续迭代升级

二、任职要求（ Requirements ）
经验：1 年以上 Web Scraping 项目经验

技能：

精通 Python ，熟练使用 Scrapy 、Selenium 、Requests

掌握 HTML/CSS/JavaScript ，了解常见加密与反爬技术

能使用 pandas 、NumPy 进行基础数据清洗

工具：

熟悉 Git/GitHub 或 GitLab

熟练 Linux Shell 操作者优先

素质：

责任心强，细心，能按时交付

良好沟通和文档编写能力

具备团队协作精神

三、参考薪酬（ Compensation ）
按小时：￥ 50–￥ 120 ／小时（可面议）

按项目：根据需求复杂度另行报价

四、联系方式（ Contact ）
电话：133 4571 0901

爬虫

Python

Scrapy

12 条回复

mywei1989

25 天前

本人懂一点 python
我就算饿死在这个行业中,我也不接这活.
因为这活:可以用以下几个角度来概括：

"星际农民工"

用太空探索的崇高愿景包装，却开出农业时代的薪酬标准——仿佛在问候选人能否用锄头种出太空蔬菜，同时免费维修空间站。

"曲速引擎预算，牛车级待遇"

要求掌握光年级技术（如航天器设计/月壤种植），工资却停在上世纪生产队工分制，暗示企业企图用稻草预算兑换反物质能量。

"黑洞招聘法则"

所有高技术要求都会被薪酬黑洞吞噬，最终呈现"月薪 3000 ，负责保障人类第二家园建设"的奇幻条款。

"人形跨维度廉价终端"

需要同时具备宇航员身体素质、科学家大脑、工程师手艺，但企业只愿支付基础劳动力价格，如同要求用算盘解码外星文明。