什么值得买的 rss 订阅在抓取的时候遇到安全验证了怎么办

1 天前
 freefreesea
最近想把什么值得买的几个榜单加到热榜站里去,然后看到官方提供了 rss 源
https://www.smzdm.com/dingyue/
但是请求过去会遇到验证码验证,这种情况下怎么做。

如果通过个人账号的 cookie 去做的话,这个 cookie 的有效期是多久,会不会对账号有影响。
我看好多热榜站都有什么值得买的榜单,所以就来咨询下朋友们
3472 次点击
所在节点    问与答
15 条回复
queue
1 天前
你猜什么值得买的技术会不会也在这个站里
freefreesea
1 天前
@queue 所以呢,我看全网很多地方都有什么值得买的榜单,说明他是可取的,只是我的方案不对,我来咨询下正确方案有什么问题呢,这位朋友
queue
1 天前
@freefreesea #2 没问题,我的意思是,什么值得买的技术可能也在群里,然后他们可能发现这件事,然后有可能封禁掉。没有不允许你提问的意思
freefreesea
1 天前
@queue 全网几乎 80%的热榜站都有什么值得买的榜单,而且已经很多年。那么这种情况下,你觉得是 [什么值得买] 的技术团队一直发现不了这件事,还是说本身这件事就是允许的
lavvrence
1 天前
更换包括 User-Agent 和 JA3/JA4 指纹这类客户端特征。
NewYear
1 天前
Linuxdo 也这样,开放 RSS ,但服务器通过代码访问不了,然后站长还会很贴心给一个测试截图和你说,RSS 访问没问题啊。

甚至有人发帖问《为什么 RSS 是给非浏览器访问的,却要验证浏览器?》,终于在半年前,彻底锁死非浏览器访问,然后不了了之。

而 smzdm ,我试了下,即便是正常浏览器,也访问不了,无解。

当然啦,你也可以通过他们的联系方式联系一下,能解决的话其实都不是什么大问题。
RangerWolf
1 天前
http://feed.smzdm.com/ 我简单用 curl 尝试了一次 没有触发验证码
是不是你请求频率太高了?
maocat
1 天前
别人都在犯法,为什么我一犯法就被抓,别人是如何避免被抓的
ronyin
1 天前
那你可以反向看看那些热榜的网站,他们用了什么代码
freefreesea
1 天前
@NewYear 是的,咱俩心路历程一样啊,我也是弄 L 站的,过不了验证,然后 smzdm 也是,偶尔可以访问成功,再就是要么出 403 ,要么出腾讯验证码,还会出别的!难啊兄弟
freefreesea
1 天前
@ronyin 他们都是闭源的,收费项目一大堆,咱这做公益站的,人家肯定不会和咱交流
freefreesea
1 天前
@RangerWolf 你再试下其他两个看看
queue
23 小时 59 分钟前
@freefreesea #4 说明别人没有被发现
RangerWolf
3 小时 2 分钟前
@freefreesea #12 确实 第二个就需要验证了
zhengfan2016
2 小时 30 分钟前
可以参考下 rsshub 的实现,基本上大部分热门的网站这里都有


op 这个帖让我想起以前我的帖子
[大神们,爬虫如何绕过不讲武德的阿里云的云盾] - https://ex.noerr.eu.org/t/736334

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1178946

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX