Scrapy 爬虫简单工程设计

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2700 天前的主题，其中的信息可能已经有所发展或是发生改变。

在 V2EX 读了几篇前辈的文章，受益匪浅，最近在工作中做了一些爬虫的工作，总结了一下使用新的，供参考:Scrapy 爬虫工程设计

Scrapy

爬虫

V2EX

工程

13 条回复 • 2017-07-24 10:57:56 +08:00

gulangyu

2017-07-21 19:38:52 +08:00 via Android

前排支持！

misaka19000

2017-07-21 19:47:33 +08:00 via Android

后排支持！

zenxds

2017-07-21 19:50:29 +08:00

中排支持！

aaronzjw

2017-07-21 19:50:59 +08:00

三排支持

tE1lmEY

2017-07-21 21:20:32 +08:00

最近有需求做这个，想爬 discuz ！监控评论！

CryMeatel

2017-07-22 14:48:37 +08:00 via Android

scrpay 限制太多。。。一个 twisted 陈旧的 API 有的时候要改下麻烦死了

xarrow

2017-07-22 23:54:05 +08:00

用来爬代理 ip 再保存数据库太鸡肋了，因为代理 ip 生命周期都很短，等你保存到数据库再拿来用估计都死的差不多了

samding123

2017-07-23 12:18:01 +08:00

@xarrow 你可以做一个代理池，每天有任务去爬取和校验有效性。只不过我这个工程是每天 7 点开始，提前两小时开始爬有效 ip，7 点到了就开始用只是今天爬到的。今天以前的就不再用了，省去了维护代理池的步骤

RangerWolf

2017-07-23 17:51:26 +08:00

图画的不错，请问是用什么画出来的？

lzjun

2017-07-23 19:05:41 +08:00

图画的不错，请问是用什么画出来的？

mxi1

2017-07-23 22:52:30 +08:00

看着像 visio

sunwei0325

2017-07-24 00:21:37 +08:00

感谢楼主分享!

samding123

2017-07-24 10:57:56 +08:00

@RangerWolf Balsamiq Mockups