V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bobopu
V2EX  ›  程序员

请问有什么办法或者网站抓取滚动数据?

  •  
  •   bobopu · 2014-11-18 23:11:47 +08:00 · 2746 次点击
    这是一个创建于 3669 天前的主题,其中的信息可能已经有所发展或是发生改变。
    之前问过定时抓取网站数据的帖子,有朋友推荐了两个网站使用起来还不错,但是现在遇到一个问题是无法抓取滚动列表的数据,请问还有什么工具或网站可以定时抓取呢?
    3 条回复    2014-11-19 12:11:16 +08:00
    jprovim
        1
    jprovim  
       2014-11-19 04:32:32 +08:00   ❤️ 1
    不能, 如果需要交互的話, 比如說鼠標滑至最底出現另外一個頁面(unlimit scroll), JS代碼的話, 普通的爬蟲是不行的, 除非
    1. 用headless browser
    2. 或者分析JS代碼直接找到規律, 爬取類似的代碼.
    nayuki
        2
    nayuki  
       2014-11-19 10:48:17 +08:00 via iPhone   ❤️ 1
    可以模拟桌面浏览器渲染,然后抓取html
    bobopu
        3
    bobopu  
    OP
       2014-11-19 12:11:16 +08:00 via iPhone
    @jprovim
    @nayuki 找到办法了,之前那个抓取网站调整了下可以抓取了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3560 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:47 · PVG 12:47 · LAX 20:47 · JFK 23:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.