Python3 如果抓 js 生成的 html 网页？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3778 天前的主题，其中的信息可能已经有所发展或是发生改变。

我是想抓super-ping.com的网页。
比如说 http://www.super-ping.com/?ping=youtube.com&locale=en

加载网页时需要过一会儿 "ping ..." 才会变成所需的内容。

这时应该如何处理？

ping.com

网页

Python3

9 条回复 • 2014-08-13 13:02:53 +08:00

pimin

2014-08-09 16:28:44 +08:00 via iPhone

http.client

ehs2013

2014-08-09 16:56:23 +08:00

http://www.super-ping.com/ping.php?node=节点代号&ping=youtube.com

ehs2013

2014-08-09 16:59:30 +08:00

节点列表见 HTML 261 行

Fulminit

2014-08-09 17:03:01 +08:00 via Android

@ehs2013 请问这是怎么找到的。。下次如遇相同情况应该如何处理？

pimin

2014-08-09 17:07:14 +08:00 via iPhone

@Fulminit
抓包查看浏览器正常访问过程判断就好了

Fulminit

2014-08-09 17:39:58 +08:00

@ehs2013
打开网址比如说
http://www.super-ping.com/ping.php?node=Hong-Kong&ping=youtube.com
进去只有网站域名一个。。

lujjjh

2014-08-09 22:33:56 +08:00

@Fulminit
需要指定一下 Referer

reverland

2014-08-09 22:56:17 +08:00

拿浏览器来……

比如https://github.com/scrapinghub/splash

nomaka

2014-08-13 13:02:53 +08:00

楼主试试 https://pypi.python.org/pypi/selenium ？