一个特别奇怪的网址,用 chrome 就能直接获取到数据,用 curl 和 golang/ Python 就拿不到

1 天前
 petelin
https://82.push2.eastmoney.com/api/qt/clist/get?pn=31&pz=100&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f12&fs=m%3A0+t%3A6%2Cm%3A0+t%3A80&fields=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6%2Cf7%2Cf8%2Cf9%2Cf10%2Cf12%2Cf13%2Cf14%2Cf15%2Cf16%2Cf17%2Cf18%2Cf20%2Cf21%2Cf23%2Cf24%2Cf25%2Cf22%2Cf11%2Cf62%2Cf128%2Cf136%2Cf115%2Cf152


东方财富的网站,实在想不通是怎么做到的,求大佬解秘。 我现在用 python 的 selenium 就能拿到... 已经搞了 4 个小时了
1101 次点击
所在节点    问与答
23 条回复
Need4more
1 天前
关键词:浏览器指纹
nkidgm
1 天前
限定 UA 了吧
petelin
1 天前
@Need4more 他就一个 get 方法,我从网络监控里没有看到任何特殊 header , 浏览器指纹也得通过什么参数给后端穿过去啊


@nkidgm header 没用,可以自己尝试一下

更新能解释的,个人请喝瑞幸 10 元
petelin
1 天前
还有一种可能,是我们公司网络管制吗???
JoeJoeJoe
1 天前
打开网站 直接 f12 找到请求的链接 右键选择 copy 然后找到 copy as curl

粘贴到命令行里看看呢?
execute
1 天前
应该是 TLS 指纹吧,你可以用不同客户端访问下这个网站看看有什么不同: https://tls.peet.ws/
petelin
1 天前
JoeJoeJoe
1 天前
@petelin 哈哈哈 我刚学会 给你分享分享
JEME
1 天前


好像可以呀
petelin
1 天前
@JEME 那只能是网络公司投毒了,你多调用几次 也没事吗
JEME
1 天前
@petelin #10 现在请求你给的 api 不行了,难道 ip 被封了吗。。。
petelin
1 天前
@JEME 你再试试用 chrome 打开,多刷几次,是不是稳定能打开。。。
slowman
1 天前
瑞幸 10 元恐怕不够吧,库迪倒是随意
JEME
1 天前
@petelin #12 可能我请求太频繁了?隔了一会儿又可以了
petelin
1 天前
@slowman 天天 9.9 ,随便请
crynocry
1 天前
chrome 复制 curl 可以请求到,刚去掉一个 header 测试,然后就被 ban 了。
akira
1 天前
有风控。。
petelin
1 天前
回家用自己网试了,curl postman 没问题了,,公司网有毒,over
cryptovae
23 小时 41 分钟前
和网没有关系,chrome 多刷新几次就被 ban 了,大概率是有 IP 限制
vzyw
22 小时 50 分钟前
你把 header 加上试试

curl 'https://82.push2.eastmoney.com/api/qt/clist/get?pn=31&pz=100&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f12&fs=m%3A0+t%3A6%2Cm%3A0+t%3A80&fields=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6%2Cf7%2Cf8%2Cf9%2Cf10%2Cf12%2Cf13%2Cf14%2Cf15%2Cf16%2Cf17%2Cf18%2Cf20%2Cf21%2Cf23%2Cf24%2Cf25%2Cf22%2Cf11%2Cf62%2Cf128%2Cf136%2Cf115%2Cf152' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7' \
-H 'Accept-Language: en,zh-CN;q=0.9,zh;q=0.8' \
-H 'Cache-Control: max-age=0' \
-H 'Connection: keep-alive' \
-H 'Sec-Fetch-Dest: document' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'Sec-Fetch-Site: cross-site' \
-H 'Sec-Fetch-User: ?1' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36' \
-H 'sec-ch-ua: "Google Chrome";v="141", "Not?A_Brand";v="8", "Chromium";v="141"' \
-H 'sec-ch-ua-mobile: ?0' \
-H 'sec-ch-ua-platform: "macOS"'

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1170285

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX