租的 Linux 云服务器，如何启用图形模式以便模拟浏览器爬虫？

1 天前
 godall
现在网页加密技术越来越发达了，都是基于机器和浏览器行为进行计算 md5 ，普通爬虫已经爬不了了，只有完完全全模拟浏览器打开网页才有可能， 前面租用了一台装 centos 8 的 Linux 云服务器，默认没有图形模式，是否可以启用图形模式？或者有其他方式
比如这个理财网站，可以查全部公开理财数据，原来可以爬虫，现在爬不了。
https://www.chinawealth.com.cn/lcweb/management/proScreen
144 次点击
所在节点    问与答
4 条回复
nicecloudcom
1 天前
xvfb + Playwright/Puppeteer 就能加载完整页面；真要 GUI：dnf groupinstall "Server with GUI" && dnf install xrdp ，重启后用 mstsc 直连。懒得折腾可直接上 NiceCloud 带桌面镜像（ Chrome/Playwright 预装）。如果后续想要“一键图形桌面 + 浏览器/Playwright 已预装”的云主机，或者需要在阿里云、腾讯云、AWS 、GCP 之间快速切换 IP 做测试，可以试试 NiceCloud 喜云，公有云打八折
covering
1 天前
headless
godall
16 小时 31 分钟前
@nicecloudcom #1 谢谢啊，请问 Playwright/Puppeteer 哪个更强一点？
最近发现上海房地网成交统计装了反爬机制，一般浏览器搞不定了。
https://183.194.252.232:2004/new_house/new_house_district_bargain.html
nicecloudcom
16 小时 17 分钟前
Playwright 更合适：多内核、隔离 context 、自带 stealth ，代理最好用住宅/国内段，避开 ASN 识别

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1142486

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX