大家用 python 都做过什么有趣的爬虫吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3379 天前的主题，其中的信息可能已经有所发展或是发生改变。

大家用 python 都做过什么有趣的爬虫吗？分享分享呗！

Python

有趣

虫

97 条回复 • 2018-09-24 18:42:28 +08:00

Reed

2015-09-10 19:35:58 +08:00

每天到 smzdm.com 上爬当天更新的便宜货算么？
But ，买了几个之后，一点不有趣

bdbai

2015-09-10 19:43:55 +08:00 via iPhone

爱鼠绘漫画 PHP 和 C#（跑

anying

2015-09-10 19:45:07 +08:00

然而好多都是用来爬妹子图的

uuspider

2015-09-10 19:57:22 +08:00

这是从知乎上看来的题目吧，知乎的答案还是比较丰富的。

tooweakchen

2015-09-10 20:46:24 +08:00

@anying 我就是

weifengzi2009

2015-09-10 20:49:56 +08:00

爬过学校的课表，排课用

tooweakchen

2015-09-10 20:57:18 +08:00

@weifengzi2009 有源码看看不

giskard

2015-09-10 21:18:59 +08:00

豆瓣租房小组，爬最新帖子，不算有趣吧，但还有点用。

masol

2015-09-10 21:49:58 +08:00

爬过一个网站的所有图片。。

qw7692336

2015-09-10 21:50:30 +08:00 via Android

http://www.zhihu.com/question/27621722/answer/59558819?group_id=623643156273750016

搞过这个

shoumu

2015-09-10 21:57:53 +08:00

这里的很多人都喜欢爬妹子图

xunyu

2015-09-10 22:07:12 +08:00 via Android

爬猎聘， linkedin

weifengzi2009

2015-09-11 00:23:14 +08:00

@tooweakchen 有，你可以去看我的 github ，那个 repo 叫 NTUCoursePlanner 貌似

我的 github 可以在我 v2 的个人资料页找到

coldear

2015-09-11 01:25:26 +08:00

爬过网络连载小说转成 txt 在 kindle 看。。
爬过一个盗版技术书籍的网站。。

dai269619118

2015-09-11 09:02:55 +08:00

http://jinri.info 都是爬来的信息

leyle

2015-09-11 09:05:14 +08:00 via Android

喜欢看 1024 的技术区，但是没法按发帖时间排序，写了个抓取帖子回来再按发帖时间排。

takashiki

2015-09-11 09:23:30 +08:00

豆瓣爬日剧动画啥的，然后按评分排序选择性补番

paw

2015-09-11 09:59:53 +08:00

爬漫画，按卷爬好打包成 zip 放在本地 ComicsViewer 看。。。。。不喜欢在 web 上看漫画

nicksite

2015-09-11 10:05:14 +08:00

礼物说的专题和商品小代码搞定。 https://github.com/henryluki/simpleparse/blob/master/liwushuo.py

mckelvin

2015-09-11 10:16:18 +08:00 via iPhone

爬 91porn 视频 :)

leavic

2015-09-11 10:54:00 +08:00

爬 javbus 上的 av 封面

codeforlife

2015-09-11 11:04:16 +08:00

我爬的一个 xx 论坛的某个专区，每次种子更新了自动下载。。

sinosure

2015-09-11 11:13:09 +08:00

把感兴趣的公众号的当天更新爬到一个 feed 里面算么

liaa

2015-09-11 11:20:45 +08:00

@mckelvin so...Where is the code.

ljdawn

2015-09-11 11:26:49 +08:00

@liaa so...Where is the url.

lxy

2015-09-11 11:36:30 +08:00

爬某网站数据，做数据分析后发现一些不可告人的秘密，公布出来后成功引发一场论战……
还有就是一些网站不慎泄露的用户数据，密码、邮箱之类的。

imn1

2015-09-11 12:13:58 +08:00

爬北都集团

sun2920989

2015-09-11 13:54:36 +08:00

PHP 简单写了个最简易的爬美女图。。。。

fish267

2015-09-11 14:06:56 +08:00

facecode.org

codercai

2015-09-11 15:03:24 +08:00

@mckelvin 哈哈哈，学以致用，求源码

Aresn

2015-09-11 15:43:39 +08:00

第一次写爬虫，把一个竞聘的所有文章（ 10 万+）全部爬来了，不知道这数据都是几手的了。。

bullettrain1433

2015-09-11 15:56:40 +08:00

@codeforlife 求共享

iamnuomi

2015-09-11 16:01:34 +08:00

@sinosure 这是怎么做的？有代码吗？

truehyp

2015-09-11 16:08:56 +08:00

爬过学校图书馆自己借阅过的书。噢，主要是为了可以无限续借书，顺带爬了书单。

zhouquanbest

2015-09-11 16:17:30 +08:00

1024 的算么

fakir

2015-09-11 16:43:54 +08:00

把拉钩,内推,IT 桔子上爬了二十万职位信息和五万多家公司信息, 结果发现拉钩数据存在造假呀

BUPTGuo

2015-09-11 16:51:10 +08:00

@sinosure 公众帐号怎么爬？源是哪？

sinosure

2015-09-11 17:12:08 +08:00

@BUPTGuo
@iamnuomi
用这个提供的方法 http://v2ex.com/t/200024#reply66

idblife

2015-09-11 17:28:37 +08:00

@mckelvin
求代码

idblife

2015-09-11 17:29:34 +08:00

@fakir
怎么造假了？另外我觉得拉钩很不靠谱

rwecho

2015-09-11 17:31:51 +08:00

@zhouquanbest 求分享。

z7039585

2015-09-11 17:34:21 +08:00

@giskard 握爪我也写了个。但是最终还是人工找到了合适的房子 0 0

z7039585

2015-09-11 17:36:06 +08:00

@idblife 拉钩薪资大部分都是虚高很多朋友都这样说我之前也面了一家实际薪资比拉钩上标的差了不少

loryyang

2015-09-11 17:51:56 +08:00

挂个 VPN 爬妹子图。。。后来觉得太蠢了，废弃了

ma7x

2015-09-11 17:58:18 +08:00

试过爬一个填单类型的网站想做的功能是填写表单后来没弄出来改用 chrome 插件了

xmmak

2015-09-11 18:00:23 +08:00

爬了 Google Play

codeforlife

2015-09-11 18:10:37 +08:00

@bullettrain1433 https://github.com/winniesi/getsis 昨晚临下班写的。。很乱凑活着看

jseanj

2015-09-11 18:11:25 +08:00

爬 v2 所有用户的 blog 地址

jseanj

2015-09-11 18:12:45 +08:00

@mckelvin 这个牛逼，贡献下源码？哈哈

weiyefly

2015-09-11 18:20:54 +08:00

@xmmak 做游戏植入?

laoyuan

2015-09-11 18:40:43 +08:00

山东大学自习室空堂表，包括我常去的千佛山校区 9 号楼、兴隆山校区讲学堂和教学楼
http://d9book.com/sdu/

androidwdmzzc

2015-09-11 19:12:44 +08:00

@Reed 哈哈! 我觉得这个爬虫，只会让 LZ 更想剁手

MrGba2z

2015-09-11 21:01:46 +08:00

@mckelvin
交出爬 91 的源码我们还能做网友！

yield9tk

2015-09-11 21:07:36 +08:00

抓取电影天堂的电影下载链接

LancerComet

2015-09-11 21:21:26 +08:00

不会 Python ，不过 Node 入门时用 Node 写了个爬华盟、极影、动漫花园和漫游资源站的爬虫，自己下资源用，页面用 Angular + Material-Angular 搭的，请脑补感受一下连指令都不会写、一股脑控制器的入门代码，一直想改掉，不过刚看一眼就没动力了…

lenran

2015-09-11 21:28:20 +08:00

@MrGba2z 搜了下'91porn',你们也太重口了%>_<%

bullettrain1433

2015-09-11 21:30:53 +08:00

@codeforlife 感谢

pmispig

2015-09-12 00:07:37 +08:00

爬了 2 新浪美女图 3W 张，豆瓣美腿大赛 2000 张。
给豆瓣友邻点赞，小伙伴一觉起来发现多了几千个赞，吓哭了~

JensenChen

2015-09-12 00:17:08 +08:00

@laoyuan 你这个是抓全校全周的课表，然后对教室进行的分析？？

nikoukou

2015-09-12 02:08:08 +08:00

@laoyuan 千佛山九号楼是雅思楼。。。

wd0g

2015-09-12 03:20:10 +08:00

爬了 1024 所有的账户,然并卵还是没扫到能登录的

monkeylyf

2015-09-12 04:06:15 +08:00

@mckelvin 求代码

laoyuan

2015-09-12 05:06:45 +08:00

@JensenChen 是的，按教室弄到一块就行了。
@nikoukou 今天就有雅思考试，只能去一楼，但是一楼的桌椅质量不好年岁太长有气味！！

WhiteSaber

2015-09-12 08:44:51 +08:00

@codeforlife 相当有趣，之前想做一个 js 插件来着，他排版和搜索好差

bigzhu

2015-09-12 09:35:58 +08:00

我做了自已用的 http://follow.center/ 算不算？
整了 github instagram twitter tumblr 的东西进来，准确的说应该是调用 api ，不算爬虫
不过如果想整合国内的微博、知乎这些封闭型的，估计只能上爬虫了

Felldeadbird

2015-09-12 09:42:25 +08:00 via iPhone

我把 9 个目标网站所有连接都爬了，然后在抓里面的价格…到只爬了 2KW 条记录时，我放弃了。这样爬没效率。

bbking

2015-09-12 12:27:59 +08:00

爬 58

alexapollo

2015-09-12 12:32:28 +08:00

前两年写的少儿不宜爬虫。。 https://github.com/geekan/insane_crawler

luago

2015-09-12 16:25:43 +08:00

我想知道上面爬图的朋友，图片后来怎么处理了 :)

ljbha007

2015-09-12 17:02:54 +08:00

爬学校同学的证件照片、学号、班级、课表爬了 2000 多个
但是胆子比较小爬完就删了（主要是没有爬到好看的妹子）

davidlau

2015-09-12 17:07:40 +08:00

爬新浪微博，做关系链分析

https://github.com/liuslevis/weiquncrawler/

sohoer

2015-09-12 18:06:36 +08:00

http://www.shishibi.com/

大数据抓取、搜索排序优化、聚类、性价比计算、一个人完成真心累

csx163

2015-09-12 18:49:18 +08:00

爬种子，发行并没什么*用

csx163

2015-09-12 18:49:25 +08:00

爬种子，发现并没什么*用

ultimate010

2015-09-12 19:21:28 +08:00

实习时候用 20+台屌丝云服务器，分布式爬过上亿条淘宝数据，如 http://t.ultimate010.tk:18080/taobao.php 带宽够牛逼，曾经测试跑满 1G 带宽，爽

vivalon

2015-09-12 19:23:41 +08:00

撸过下厨房的菜单

giuem

2015-09-12 19:44:10 +08:00 via Android

@ultimate010 这数据占多少存储空间

Moker

2015-09-12 21:23:34 +08:00

@ljbha007 这些数据应该不是公开的吧怎么找到入口的

ljbha007

2015-09-12 21:43:16 +08:00

@Moker 只是没有链接而已自己构造 URL 可以进去

Earthman

2015-09-12 22:02:21 +08:00

@davidlau 某是不是看过你的毕设演讲啊

break

2015-09-13 09:25:43 +08:00

@bigzhu 报个 bug ， profile 页面顶部用户名

bigzhu

2015-09-13 10:02:11 +08:00

@break 感谢感谢，最近在大改，很多 bug 来不及测试

erik0

2015-09-13 11:08:30 +08:00

太可怕了，这么多爬虫，起了一身鸡皮疙瘩~~

davidlau

2015-09-13 12:10:19 +08:00

@Earthman 13' BJUT ?

lxx1

2015-09-13 12:23:19 +08:00 via Android

@ljbha007

爬完才发现，证件照实在是太丑了。

ultimate010

2015-09-13 18:41:52 +08:00 via Android

@giuem 压缩了很少,倒入 mysql 后好像几十 G, 可接受.

HavenShen

2015-09-14 11:14:25 +08:00

爬过携程旅游网。

v2nu

2015-09-14 12:43:35 +08:00

@dai269619118 看起来不错呀

dai269619118

2015-09-14 15:20:44 +08:00

@v2nu 嘿嘿

onlyxuyang

2015-09-15 20:32:00 +08:00 via Android

爬 beautyleg ……爬绅士漫画……

lzs5240

2015-09-25 17:41:35 +08:00

@mckelvin 潜水多年特来要源码 ~

leetao102

2015-09-30 00:41:25 +08:00

@codeforlife 不错。。。

lazyboy

2015-10-04 11:49:47 +08:00

@leyle 。。。我是根据浏览量从大到小排序看

ns2250225

2015-10-15 17:16:34 +08:00

爬过多玩的搞笑 gif 图库

yongjiu236z

2016-12-11 01:05:06 +08:00

@xmmak
@mckelvin
@Felldeadbird
+Q2602560384

yongjiu236z

2016-12-15 00:57:34 +08:00

@lxy
@imn1
+2602560384

ntuwang

2018-09-24 18:42:28 +08:00

mark