现在网页加密技术越来越发达了，都是基于机器和浏览器行为进行计算 md5 ，普通爬虫已经爬不了了，只有完完全全模拟浏览器打开网页才有可能， 前面租用了一台装 centos 8 的 Linux 云服务器，默认没有图形模式，是否可以启用图形模式？或者有其他方式
比如这个理财网站，可以查全部公开理财数据，原来可以爬虫，现在爬不了。
https://www.chinawealth.com.cn/lcweb/management/proScreen
比如这个理财网站，可以查全部公开理财数据，原来可以爬虫，现在爬不了。
https://www.chinawealth.com.cn/lcweb/management/proScreen
 |
1
nicecloudcom 1 天前  1
xvfb + Playwright/Puppeteer 就能加载完整页面；真要 GUI：dnf groupinstall "Server with GUI" && dnf install xrdp ，重启后用 mstsc 直连。懒得折腾可直接上 NiceCloud 带桌面镜像（ Chrome/Playwright 预装）。如果后续想要“一键图形桌面 + 浏览器/Playwright 已预装”的云主机，或者需要在阿里云、腾讯云、AWS 、GCP 之间快速切换 IP 做测试，可以试试 NiceCloud 喜云，公有云打八折
|
 |
2
covering 1 天前
headless
|
 |
3
godall OP @nicecloudcom #1 谢谢啊，请问 Playwright/Puppeteer 哪个更强一点？
最近发现上海房地网成交统计装了反爬机制，一般浏览器搞不定了。 https://183.194.252.232:2004/new_house/new_house_district_bargain.html |
|
4
nicecloudcom 9 小时 55 分钟前
Playwright 更合适：多内核、隔离 context 、自带 stealth ，代理最好用住宅/国内段，避开 ASN 识别
|
Select Language