关于爬虫这块有个比较好奇的问题，想请教

量不是很大..直接用 数据库的 insert ignore into table_name(xxxx) .....前提是,字段需要是第一主键

@llsquaer 至少几千条吧，最多的时候几万条..
感觉好像不大

依据具体业务
分为两种：
是增量数据
1 、需要采集用户信息（昵称、简介等等），需要保留历史数据的，使用增量表，那么就需要判断变动进行处理。可以实时查询变动，有变动再新增，效率相对较低。建议保留所有数据，然后离线再跑一遍分析。数据会滞后一些。

仅去重
2 、只是去重需求，防止插入多个相同行数据，就按照上面的方案，加唯一索引后，insert ignore 插入即可。
代码改动最少，且实现简单，基本不需要考虑效率问题。