求教，根据现成的 url 清单下载网页的最好方法是？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 572 天前的主题，其中的信息可能已经有所发展或是发生改变。

能够模拟登录状态，尽可能的高效且能避免被 ban

6 条回复 • 2024-04-08 08:51:51 +08:00

cutecore

2024-04-07 15:52:04 +08:00

firefox 有两个插件： "Open Multiple URLs" 和 "SingleFile | 将完整的页面保存到一个 HTML 文件中" 搭配着用可以

dallaslu

2024-04-07 16:02:20 +08:00

wget

tool2d

2024-04-07 16:36:27 +08:00

我以前用浏览器插件做远程调用实现过。

wget/curl 这种 ssl 指纹都不一样。还是 chrome 主流的指纹，比较不容易进黑名单。当然也需要控制访问频率。

gdfsjunjun

2024-04-07 16:44:30 +08:00

不知道你是不是指 Save Page WE 这个 Chrome 扩展。
我觉得很好用，直接将页面保存为单个文件。

werwer

2024-04-07 20:27:27 +08:00

@gdfsjunjun 我是指根据已有的 url 大批量地下载网页。另外，你所说的这个扩展和直接 ctrl+s 然后选择格式为 mhtml ，有什么区别吗？

gdfsjunjun

2024-04-08 08:51:51 +08:00

@werwer 扩展会直接把图片转成 base64 ，你直接保存存的是图片链接，有可能以后会失效。