V2EX › coderhxl 的所有回复 › 第 2 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

2024-04-22 15:35:01 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@tinyzilan123 就看使用者怎么用了

2024-04-22 15:33:22 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@tinyzilan123 对的，所以有另一种解决方案，二者结合，第一次爬取的时候缓存路径，后面让传统爬虫用缓存路径的，如果错误就调用 AI 重新获取路径再缓存。这样既不用担心网站更新导致爬虫工作失败，也避免浪费 token

2024-04-22 15:26:29 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@bubble21 当时我也考虑到加上这个，用 puppeteer 获取页面截图，上传截图给 AI 提取内容。

2024-04-22 15:24:05 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@bubble21 这是个很不错的点子，现在暂不支持，后续会考虑加上哦

2024-04-22 14:58:44 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 原理差不多是这样，但是如果仅仅是告诉 AI 要拿哪些数据，效果可能还不是很好

2024-04-22 14:47:34 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 不太能理解你这个问题

2024-04-22 14:46:51 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy URL 就是根啊，没了根用哪种方式都没用

2024-04-22 14:14:04 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@zhangfeiwudi AI 辅助爬虫，算是让 AI 筛选数据

2024-04-22 14:09:10 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 依赖于固定的规则或模式来抓取网页数据的爬虫不也是这样，而且一旦网站进行更新，改变了原有的类名、标签或结构，传统爬虫就会因为无法识别新的元素而失效，导致数据抓取失败或错误。AI 辅助爬虫能够智能地分析和理解网页内容，从而更准确地定位并提取所需信息。通过自然语言处理等技术，它们能够理解网页的语义信息，从而更精确地定位所需数据，即使网站进行了更新，AI 辅助爬虫也能继续有效地抓取数据。当然成本也很高

2024-04-22 13:54:13 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@kevin1452 目前咱们是将 HTML 交给 AI 通过自然语言提取数据，结合 AI 技术的爬虫能够更好地应对网站更新后类名或结构改变的问题。像代理，设备指纹 x-crawl 也有，只是并非这篇文章的主题就没有写，https://coder-hxl.github.io/x-crawl/cn/guide/#features 可以瞧瞧这里

2024-04-22 13:42:52 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 好办法，可以讲解一下思路不

2024-04-22 12:51:38 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 这样既能体验 AI 的便捷，又消耗不那么大

2024-04-22 12:50:13 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 也可以这么做，第一次爬取的时候缓存路径，后面让传统爬虫用缓存路径的，如果错误就调用 AI 重新获取路径再缓存。

2024-04-22 12:45:18 +08:00

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@GeekGao 哈哈，毕竟自己动手还是挺麻烦的