V2EX › ssllff123 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2016-11-28 13:27:11 +08:00

我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。

celery 确实不是队列，可能我的问题没有描述清楚。

2016-10-17 09:26:27 +08:00

54 祝股票顺利

2016-10-10 14:56:50 +08:00

@for4 我和你想的一样，但是有些问题
1 ，是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ，感觉并不快啊。
3 ，可否有写好的项目看看

2016-09-12 19:05:31 +08:00

好吧。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。

2016-09-09 09:37:11 +08:00

@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中

2016-09-09 09:17:53 +08:00

@oceantree 能不能请教怎么处理的 js 啊