pyspider 有什么坑吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2358 天前的主题，其中的信息可能已经有所发展或是发生改变。

在 v2 看到好多次说不建议使用 pyspider 的，但是目前公司主要用的就是这个，因为他的可视化界面。
所以，pyspider 到底都有哪些坑？有个印象好避免。

第 1 条附言 · 2018-06-29 18:42:59 +08:00

最近遇到的比较多的一个问题是，比如依次读取一个 100 万行的文件，作为 get 请求的一个 url 参数，但是读到 30 多万就停了。这一百万是去重后的一百万。

pyspider

可视化

pyspier

界面

5 条回复 • 2020-06-26 08:08:16 +08:00

hahastudio

2018-06-29 17:12:11 +08:00

@binux

sethverlo

2018-06-29 17:13:41 +08:00

Google 关键词「 pyspider site:v2ex.com 」

X-Force

2018-06-30 00:55:32 +08:00

https://github.com/kiddyuchina/Beanbun

P2P0Zj31DA4X5ap4

2018-07-01 01:40:23 +08:00

100 万行你要用数据库了吧，默认哪个 lite 的支持不了。

dfwr3

2020-06-26 08:08:16 +08:00

我也遇到过，在抓取网页时，a 链接明明有 30 条，但他只能抓到 2 条。换一个列表页又正常了，感觉是 html 中的特殊隐藏字符的原因，现在也没解决。