想做些爬虫任务练练手

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2683 天前的主题，其中的信息可能已经有所发展或是发生改变。

本人使用 python,看了写爬虫 demo,但是没有需求没什么动力，所以在此看看广大朋友有什么具体需要的爬虫需求，可以联系我，你们提需求，我试试看，本着学习态度，不收费，若做得好大爷打赏就最好了，

不过本人也是在业余时间才进行爬取，希望对时间限制没什么太紧迫的要求

QQ:2675218719

8 条回复 • 2018-07-02 09:42:08 +08:00

34C

2018-07-01 13:25:38 +08:00 via iPhone

爬 V2EX 的 api 练手，
单个 IP 地址每小时限 120 次访问，
于是会练动态 IP 切换，
然后觉得爬几十万帖子速度太慢，
于是会练分布式爬虫，
最终 get 了分布式+动态换 IP+IP 池管理的技能

Mitt

2018-07-01 13:49:56 +08:00

@34C 然后 V2EX 被爬挂, 最终楼主被站长封杀

airyland

2018-07-01 14:06:13 +08:00

微信公众号微博今日头条知乎挑一个

34C

2018-07-01 14:20:34 +08:00

@Mitt 爬不挂的，爬过几次，爬完觉得没啥用又把数据库删了

lsyAndroid

2018-07-01 14:35:52 +08:00 via Android

汽车之家

silencefent

2018-07-01 14:42:27 +08:00

爬下高考分数线，院校分数线，各地招生人数，录取概率呗
闲着也是闲着

golmic

2018-07-01 22:06:13 +08:00 via Android

提点有难度的吧：
1.天猫优惠券信息
2.今日头条 web 主站推荐列表
3.微视 app 推荐接口
4.抖音 app 推荐接口

IMuMa3

2018-07-02 09:42:08 +08:00

可以试下大众点评的美食那反扒做的。。。