爬虫，找不到视频文件 url

打算爬某网站视频内容练手（短视频），检查 html 源码发现没有任何 mp4 或 m3u8 等格式的文件 url，刷新并开始播放后，看 F12 里的 Network 也只发现加载了几个 .ts 格式文件（ index0.ts/index1.ts/index2.ts ），一脸懵逼中……请问这种情况该如何下手？

PS，播放器使用的 DPlayer，git 地址： https://github.com/MoePlayer/DPlayer

url

文件

懵逼

格式

17 条回复 • 2020-01-07 13:10:31 +08:00

dosmlp

2020-01-06 19:51:58 +08:00

也可能是通过 ws 传的数据

Curtion

2020-01-06 19:54:53 +08:00

HLS 协议

viiii

2020-01-06 21:40:40 +08:00

@Curtion 查了下定义，感觉应该是 HLS 协议，请问这种该如何爬取视频资源？
用 scrapy 具体怎么做？

Tink

2020-01-06 21:50:04 +08:00 via iPhone

都有 ts 文件了扒下来拼接啊

loopinfor

2020-01-06 21:59:58 +08:00 via Android

.ts 就是分割出来的视频片段

ctro15547

2020-01-06 22:15:02 +08:00

抓包。也可以把所有的 ts 文件 download 下来用 ffmpeg 拼一下

cz5424

2020-01-07 00:25:17 +08:00 via iPhone

某些 M3u8 文件实际上也只是记录 ts 的地址，记事本打开可以看到

also24

2020-01-07 00:40:50 +08:00

所以网站地址呢？没有网站地址凭空猜测么？

mumbler

2020-01-07 01:20:53 +08:00 via Android

视频地址被加密了，通过一系列 JS 计算才能拿到真实视频地址，这个过程叫视频解析，普通爬虫只能爬公开数据，这种加密数据需要先解析再下载，HlS 下载完还需要拼接

locoz

2020-01-07 01:50:52 +08:00 via Android

@mumbler #9 🤔千万不要把“公开数据”这个词乱用啊…容易引起混淆的…只要没有权限要求、表面上是个普通用户打开了不需要做啥身份校验操作就能看的就可以叫“公开数据”了。

locoz

2020-01-07 01:58:26 +08:00 via Android

你可以换个思路：先抓个包看看，一般来说，页面加载完毕且视频还在加载的时候，仍然有在进行通信的就大概率会跟这个视频有关系了。
因为正常来说不可能还有除了视频以外的其他大型资源需要加载了，而如果有大量用户操作日志之类的东西混淆视听的话又很容易分辨，可以直接过滤掉。
在简单筛选一下之后就可以找出来了。找到之后如果请求中有加密参数的话就翻 js 吧…

l4ever

2020-01-07 08:34:25 +08:00

1.看看有没有 m3u8. 现在流行 ts 文件加密, 都是用 AES-128-CFB 的. m3u8 里面有 Key 偏移值. 看看里面到底配置了加密没有. 通常 key 是另外一个 http 请求去获取的.仔细分析一下.

2.根据 m3u8 提供的 ts 文件地址下载 ts 文件.

3.如果加密了, 还要解密 ts

4.合并 ts