如何拼凑不同网页的不同部分到一个网页

174 天前
 jerrywaffle
[需求]
经常浏览不同网站的网页,但是只需要其中一小部分内容。如何把不同网站 A 、B 、C 、D 的各自不同部分拼凑到一起到我个人的页面,提高浏览效率。最好能保持原有内容的交互,比如点击什么的。

[困难]
iframe cors 都会有限制的,我只是自己用,不用担心法律问题。

[方案]
1/ python 爬虫,本地 render ,然后提取内容,可以保存为图片,但是最好是文字的,保留 style 。然后拼凑到自己网页

2/ 用 qt webview 什么的,但是我想要一个网页版的,不要本地 app

3/ 好像有 caddy reverse proxy 绕过 iframe cors 限制

万能的 v2exer 请给出你宝贵的可行建议,谢谢!
3387 次点击
所在节点    Web Dev
24 条回复
9ki
174 天前
我最近在开发一个类似的东西,从技术来说是可行的
mumbler
174 天前
准确描述需求,让 cursor+gemini pro 2.5 来处理
jerrywaffle
174 天前
@9ki 要是能弄成 drag and plug 简化操作最好。你是什么思路呢?
jerrywaffle
174 天前
@mumbler 问过大模型了,感觉思路不是很靠谱。
mumbler
174 天前
@jerrywaffle #4 拼凑页面让大模型来生成肯定是可行的,大不了页面复杂一点,但这样做价值到底有多大,看页面为了获取信息,保持页面样式除了感动自己,并不会增加页面的主要作用。让大模型从原页面获取信息,按最适合的方式重新生成页面,无需保持原页面样式,这样更可行
jerrywaffle
174 天前
@mumbler 有图表 数据 啊 不全是文字
mumbler
174 天前
@jerrywaffle #6 让大模型重建图表,数据很简单,但不一定是原来的样式,原来的配色,原来的组件,参考 deep research 的产品逻辑,从几十个数据源获得数据,然后重组写一份详细的研究报告,非常成功
lixikei
174 天前
iframe cors 都会有限制的,我只是自己用,不用担心法律问题。

nginx 反代一下,去掉页面上的限制,就行了。
jerrywaffle
174 天前
@mumbler 谢谢你热心回复。这个办法也是一个办法,具体网页得具体实现。如果能有个通用一点的答案更好了。
jerrywaffle
174 天前
@lixikei 貌似有的网页会检查在不在 iframe 里面,如果在就反抗一下。
还有 iframe 能不能实现自动滚动到某个位置浏览特定区域呢?
inhzus
174 天前
https://resources.arc.net/hc/en-us/articles/19231142050071-Easels-Capture-Create
Arc 浏览器提供了这个功能,不过用起来一般般
jerrywaffle
174 天前
@inhzus 对,就是这个。感觉浏览器自身能支持就好。能动态更新截图,也可以静态。你说的一般般是什么体验?
lixikei
174 天前
@jerrywaffle 用反代就是用来去掉 他那些检测的,iframe 可以设置自动滚动到某个位置的。
mingl0280
174 天前
绕过 iframe 限制就行了:
我之前做过这个,就是给后端塞个反代的事儿。
Archeb
174 天前
让我想起来一个叫 Button Stealer 的扩展
tcper
174 天前
你自己写个抓取任务,从你要的页面里抓到数据后,自己实现页面
想直接用别人的页面基本不太可能。

不过还可以给你提供一个思路,如果你想要的页面不需要操作,可以用一个虚拟机打开这些页面,然后开一个 OBS ,自己再建一个串流服务器,再用一个网页把几个视频合在一起就行了。
jerrywaffle
174 天前
@tcper obs 这个思路有点意思!
UnluckyNinja
173 天前
自用要修改 cors 头,直接用 modheader 之类的 http 报文修改工具就行了,最省事的方案
kkky
173 天前
单纯阅读的话有点像 RSS
jerrywaffle
173 天前
@kkky rss 有实现一些,一个源一个看。这个拼凑的话,可以一个页面展示多个源。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1123381

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX