V2EX › coderhxl 的所有回复 › 第 2 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

233 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@bubble21 这是个很不错的点子，现在暂不支持，后续会考虑加上哦

233 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 原理差不多是这样，但是如果仅仅是告诉 AI 要拿哪些数据，效果可能还不是很好

233 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 不太能理解你这个问题

233 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy URL 就是根啊，没了根用哪种方式都没用

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@zhangfeiwudi AI 辅助爬虫，算是让 AI 筛选数据

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 依赖于固定的规则或模式来抓取网页数据的爬虫不也是这样，而且一旦网站进行更新，改变了原有的类名、标签或结构，传统爬虫就会因为无法识别新的元素而失效，导致数据抓取失败或错误。AI 辅助爬虫能够智能地分析和理解网页内容，从而更准确地定位并提取所需信息。通过自然语言处理等技术，它们能够理解网页的语义信息，从而更精确地定位所需数据，即使网站进行了更新，AI 辅助爬虫也能继续有效地抓取数据。当然成本也很高

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@kevin1452 目前咱们是将 HTML 交给 AI 通过自然语言提取数据，结合 AI 技术的爬虫能够更好地应对网站更新后类名或结构改变的问题。像代理，设备指纹 x-crawl 也有，只是并非这篇文章的主题就没有写，https://coder-hxl.github.io/x-crawl/cn/guide/#features 可以瞧瞧这里

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 好办法，可以讲解一下思路不

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 这样既能体验 AI 的便捷，又消耗不那么大

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 也可以这么做，第一次爬取的时候缓存路径，后面让传统爬虫用缓存路径的，如果错误就调用 AI 重新获取路径再缓存。

234 天前

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@GeekGao 哈哈，毕竟自己动手还是挺麻烦的