noobpythoner 最近的时间轴更新 noobpythoner 最近的时间轴更新 |
noobpythonerV2EX 第 229286 号会员，加入于 2017-05-05 18:55:40 +08:00 |
| Python 进程池在面向对象过程中，进程池无法调用实例方法 Python • noobpythoner • 2018-05-08 22:48:44 PM • 最后回复来自 justou | 2 |
| 使用了 socket 的 dns 缓存，为什么速度还变慢了呢 Python • noobpythoner • 2017-10-08 10:49:02 AM • 最后回复来自 mengskysama | 3 |
noobpythoner 最近回复了
2017-06-08 13:02:53 +08:00 回复了 gap 创建的主题 › Python › Python 程序员的是被称为 Pythonista 吗？还是 Pythoner？ |
oh，糟了
2017-06-08 12:52:23 +08:00 回复了 Yingruoyuan 创建的主题 › Python › scrapy 下载图片到 4w 张左右总是会卡住 |
可以使用 scrapy_redis 来完成，所有的去重都是通过 redis 来完成的，还能够做到状态保持，如果需要可以实现分布式，redis 的内容类似下面，
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"
或者可以迭代的读取数据库的内容，下一次请求之前从内存中删除上一次的请求地址，类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过，但是应该是可行的
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"
或者可以迭代的读取数据库的内容，下一次请求之前从内存中删除上一次的请求地址，类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过，但是应该是可行的
Select Language