把一个小爬虫写成了个简单的网站(Avdict) 是不是没救了。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2611 天前的主题，其中的信息可能已经有所发展或是发生改变。

网站不是很大，部署挺方便，我在自己家 nas 里部署了个，功能一点一点往上加吧。

恳请大家提点意见，几个小时后关吧，小水管可能会猝死...

爬虫

32 条回复 • 2017-10-12 12:46:44 +08:00

kslr

2017-10-11 16:13:53 +08:00

NSFW

ys0290

2017-10-11 16:15:43 +08:00 via iPhone

技术交流，嗯！

takanasi

2017-10-11 16:22:33 +08:00

你人在国内吗？

cominghome

2017-10-11 16:40:25 +08:00

哇，大兄弟玩的 6 啊，来一个长期会员

ranleng

2017-10-11 16:49:05 +08:00 via Android

收藏之

wfd0807

2017-10-11 17:21:08 +08:00

666

laoertongzhi

2017-10-11 17:41:48 +08:00

有趣~

mokeyjay

2017-10-11 17:47:48 +08:00

项目 666666，但是你居然敢挂国内，作死噢，赶紧下了吧

jpyl0423

2017-10-11 17:59:05 +08:00

自己也撸过一个, 不过就我一个人用

simonlify

2017-10-11 18:03:57 +08:00

666

chen2016

2017-10-11 18:52:02 +08:00 via Android

起码自适应弄好吧

misaka19000

2017-10-11 19:01:52 +08:00 via Android

10s 没打开

Tunar

2017-10-11 19:20:25 +08:00 via Android

俺要封面

syhsyh9696

2017-10-11 20:04:03 +08:00

@kslr 哈哈哈是的相当危险。

syhsyh9696

2017-10-11 20:04:51 +08:00

@takanasi 我还只是个学生啊(逃
@cominghome 你可以自己部署一下体验自己做站长的感觉(逃

syhsyh9696

2017-10-11 20:05:23 +08:00

@mokeyjay 哈哈没部署，跑在 development 下

syhsyh9696

2017-10-11 20:06:38 +08:00

@chen2016 您的意思是，影片那个封面大小吗？还是在手机上不合适？如果是后者的话请见谅，我最近学学响应式，我对前端真是一窍不通哇。

syhsyh9696

2017-10-11 20:07:41 +08:00

@misaka19000 可能是我小鸡的问题抱歉抱歉。
@Tunar 14 多万张，老哥要吗给你数据库哈哈哈

codermagefox

2017-10-11 20:15:06 +08:00

楼主牛逼,做了我一直想做不敢做的事

7654

2017-10-11 20:21:13 +08:00

看完只能说 NB

chen2016

2017-10-11 20:29:35 +08:00 via Android

@syhsyh9696 你用的是 bootstrap，自带自适应，只需要加个 meta

sxm

2017-10-11 20:41:06 +08:00 via Android

几个月前用 PHP 做过一个，各种尺寸图片全部抓取差不多 400G 左右，再写了个数据展示，基本和原站类似。当时踩的坑是，单个文件夹内存放了百万+的小文件，导致之后文件夹复制删除那耗时惨不忍睹。

syhsyh9696

2017-10-11 20:55:49 +08:00

@sxm 源站是，javlibrary 还是 dmm.r18 。

如果是全下载的话还是应该影片文件夹分别储存啊~
我分析了一下数据库里的 url，里面的很多照片是可以构造出来的，所以我没抓图片。

主要是我硬盘不够用了(哭，已经 4 个移动硬盘了，ssd 里还有好多电影没法存呢(哭

clearbug

2017-10-11 21:45:49 +08:00 via Android

到底咋播放啊？用手机点 video 找不到播放入口啊

tf141

2017-10-11 21:51:00 +08:00

半天没打开。。。。。。

sxm

2017-10-11 21:54:22 +08:00

@syhsyh9696 源站是 javbus,当时也只是写写玩的，只按图片类型及尺寸分文件夹，忘记了单个文件夹内文件过多的问题。之后转移到另一块硬盘上时才发现，那复制速度，差不多一天了。删除时只好把硬盘上的其他大文件又转移下，然后直接格盘了。影片数量大概 30 多万吧，我发现大图他是直接引用 DMM 的，而 DMM 编号与番号略有差异，所以抓取时就直接存图片 URL，毕竟也要不了多少容量。硬盘我也是不够用，本机上的 2 块硬盘可用空间常年是 20G 不到，移动硬盘我是用 3.5 硬盘+硬盘盒