python 抓取动态网页的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4223 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如这个网页
http://image.baidu.com/channel#%E6%98%8E%E6%98%9F&%E5%88%98%E8%AF%97%E8%AF%97&0&0
里面的图片都是通过js动态生成的, 用urllib获取不到里面的图片
请问类似这种问题有好的解决方案吗?

6 条回复 • 1970-01-01 08:00:00 +08:00

binux

2013-05-11 19:56:19 +08:00

chrome打开network，看实际请求
这根本就不是解不解决方案的问题，只是你不会罢了

建议你爬之前先学学怎么写，至少了解下HTML、HTTP协议、JS、AJAX、CSS以及一种服务器语言实现。

ljbha007

2013-05-11 20:01:18 +08:00

ljbha007

2013-05-11 20:03:17 +08:00

@Livid
V2EX的gist 问题真的很严重啊

phuslu

2013-05-11 20:11:42 +08:00 via iPhone

可以试下g ho s t . p y

hatcat3

2013-05-11 20:22:00 +08:00

@binux 呵呵如果只是这个倒是可以取得我想问的是一种通用型的解决方案

binux

2013-05-11 20:39:08 +08:00

@hatcat3 上浏览器引擎