V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Andywww
V2EX  ›  程序员

各位大佬,最近我做了一个网站,大概有几万个页面的视频,一直纠结要不要做静态化,求解惑

  •  2
     
  •   Andywww · 2021-01-19 16:20:18 +08:00 · 6521 次点击
    这是一个创建于 1413 天前的主题,其中的信息可能已经有所发展或是发生改变。
    就是我之前发的那个 caidou.cc ,如果要算独立的视频页面的话,应该有好几万了,这么多页面,需不需要静态化呢,目前没有,每个视频页面都要请求好几次 elasticsearch 以及一次数据库,目前性能没问题,因为没几个人用。。。
    但是一直在纠结,如果做静态化,好像没人看也没太大优化的感觉,如果不做,好像请求也有点多啊,
    求大佬解答下
    第 1 条附言  ·  2021-01-20 12:41:30 +08:00
    标题可能有点误导,不是几万个视频,是几万个页面,网站不提供视频播放,不提供下载,所有视频来自第三方服务器,通过调用第三方视频接口播放,网站本身不制作,不存储,不播放任何视频。
    视频中如有任何形式的广告,既可能来自第三方,也可能来自字幕组。
    网站也只是提供交流测试的环境,不会投放广告,不会收取费用。
    第 2 条附言  ·  2021-01-20 12:42:46 +08:00
    对于版权问题还有纠结的朋友请不要点击链接,不要点击链接
    65 条回复    2021-01-20 17:55:45 +08:00
    yrj
        1
    yrj  
       2021-01-19 18:50:08 +08:00 via iPad
    静态化 html ?没必要吧,缓存还是可以做一做的。
    zfish
        2
    zfish  
       2021-01-19 19:34:28 +08:00
    考虑到 SEO 的话,可以做个定时静态化任务
    Andywww
        3
    Andywww  
    OP
       2021-01-19 19:55:26 +08:00
    @yrj 已经有内存缓存和 redis 缓存了,还有一个数据量太大,几百万条的那种,就没缓存了,每次通过主键查数据库
    Andywww
        4
    Andywww  
    OP
       2021-01-19 19:56:27 +08:00
    @zfish 页面的形式已经是.html 结尾了,对爬虫来说应该会当静态网页来处理吧,我就是想要不要真的把它们都变成 nginx 里面的静态 html
    zfish
        5
    zfish  
       2021-01-19 20:23:55 +08:00
    @Andywww 考虑到性能问题,也可以做静态化的,对爬虫来说,静态动态与否和它需要不需要解析 JavaScript 有关系,如果不需要解析那就是静态的
    Andywww
        6
    Andywww  
    OP
       2021-01-19 20:30:58 +08:00
    @zfish 感谢回复,网站我没啥经验,内容不是 JS 动态生成的,那应该算静态的,我也是觉得虽然性能提升不明显,还是有必要的,就当它 PV 百万了吧。。。优化到极致
    han3sui
        7
    han3sui  
       2021-01-19 20:35:15 +08:00 via iPhone
    这没版权问题?
    Andywww
        8
    Andywww  
    OP
       2021-01-19 20:36:18 +08:00
    @han3sui 没准备盈利啊,资源都是收集的,
    justin2018
        9
    justin2018  
       2021-01-19 20:47:31 +08:00
    视频采集站的接口?

    看到了熟悉的广告 哈哈哈~
    Andywww
        10
    Andywww  
    OP
       2021-01-19 20:53:44 +08:00
    @justin2018 没办法,提供在线看的这些视频人家都是加了广告的,我是不加广告,但是挡不住他们要加啊,另外就算是字幕组也很多变相加广告的啊,片头广告,片尾广告,中间有水印,广告可以通过 no ad 那个按钮挡住顶部的一部分,
    Andywww
        11
    Andywww  
    OP
       2021-01-19 20:56:14 +08:00
    其实我一开始只是想做下载,收集下载链接,后来发现了这些提供在线看的,又才临时加的,之前我自己都是习惯下载到内网服务器之后再看
    meeken
        12
    meeken  
       2021-01-19 20:56:41 +08:00
    看起来不错,mark 之
    Andywww
        13
    Andywww  
    OP
       2021-01-19 20:57:41 +08:00
    @meeken 感谢鼓励
    zktz
        14
    zktz  
       2021-01-19 21:04:32 +08:00
    视频看不了
    justin2018
        15
    justin2018  
       2021-01-19 21:10:00 +08:00
    @Andywww 哈哈 广告确实无处不在

    老铁网站 设计不错 收藏了 😁
    ryV60s
        16
    ryV60s  
       2021-01-19 21:10:14 +08:00
    既然当前性能不是瓶颈,更应该去让它达到瓶颈。几百 pv 操几百万的心,这好吗,这不好。如果楼主时间多当我没说。
    justin2018
        17
    justin2018  
       2021-01-19 21:13:13 +08:00
    @Andywww

    老铁 请教下 这个地方的分类数据 怎么获取的?

    ![jSc9x4q]( )
    eason1874
        18
    eason1874  
       2021-01-19 21:29:05 +08:00
    用不着纠结,简单配置一下就跟静态化差不多了。

    你在 Nginx 配置两个 server,一个 dynamic 动态源站,一个 www 公开域名,www 反代 dynamic,然后在 www 给内容页面配置 proxy 缓存时间,比如 10 分钟,那么无论单个页面流量有多大,每 10 分钟都只有一次动态页面请求。
    areless
        19
    areless  
       2021-01-19 22:12:24 +08:00 via Android   ❤️ 1
    需要的。最早很多伪静态站性能都没问题,结果上了全静态发现自己以前想法太幼稚了。做站呢,不是访问量多少决定你需要什么样的性能,而是要用性能去决定访问量!真正的访问量是扛下一波一波洪峰积累的,是不可预料的。
    IDAEngine
        20
    IDAEngine  
       2021-01-19 22:36:55 +08:00
    搜索限流不就好了,淘宝搜索过快了直接提示服务器繁忙,接口请求次数达到限额。
    falcon05
        21
    falcon05  
       2021-01-19 22:40:00 +08:00 via iPhone
    不要过早优化
    moking97
        22
    moking97  
       2021-01-19 22:43:29 +08:00
    感觉挺不错的,收藏一下
    zohar727
        23
    zohar727  
       2021-01-19 23:00:30 +08:00
    网站不错 没有乱七八糟的广告 收藏了
    love
        24
    love  
       2021-01-19 23:59:44 +08:00 via Android
    现在不用优化,很可能你还没撑到有性能问题站就没了,我之前用了好几个类似的挺好用的后来都没了,当然我不知道是为什么没的,不会是被告了或被抓了吧
    YouLMAO
        25
    YouLMAO  
       2021-01-20 02:03:36 +08:00 via Android
    国内很好很强大
    xcstream
        26
    xcstream  
       2021-01-20 05:18:21 +08:00
    静态化是给爬虫优化 url 的意思 哈哈哈
    lidongyo
        27
    lidongyo  
       2021-01-20 08:15:56 +08:00
    可以可以~~白嫖了哈哈哈哈
    incesa
        28
    incesa  
       2021-01-20 08:50:42 +08:00
    胆子够大
    mai852852
        29
    mai852852  
       2021-01-20 08:54:41 +08:00
    XX 荷官在线发牌?
    xujiahui
        30
    xujiahui  
       2021-01-20 08:57:04 +08:00
    看着挺不错的 收藏了
    xuxuxu123
        31
    xuxuxu123  
       2021-01-20 09:17:40 +08:00
    tips:小心版权问题~~~
    blogfeng
        32
    blogfeng  
       2021-01-20 09:18:32 +08:00 via Android   ❤️ 1
    见一个举报一个
    dinjufen
        33
    dinjufen  
       2021-01-20 09:44:35 +08:00
    版权?
    hzz2
        34
    hzz2  
       2021-01-20 09:44:52 +08:00
    之前使用 golang 爬虫的时候写了一个 https://github.com/hezhizheng/go-movies
    把数据抓完之后,表面在加一层缓存,就没考虑其他的了 网站基本就是演示用
    Andywww
        35
    Andywww  
    OP
       2021-01-20 09:55:52 +08:00
    @zktz 是所有的都不行吗?还是具体某一个?还请回复下啊
    @eason1874 现在就是 nginx 反代的,nginx 应该可以设置缓存时间,还没仔细研究,nginx 前面还架着 cloudflare,只是它的缓存机制不是很清楚
    gppola666
        36
    gppola666  
       2021-01-20 09:56:23 +08:00
    流量大的话,这么多视频传输,带宽不是很大吗,相当于每个人都在下一部电影
    Andywww
        37
    Andywww  
    OP
       2021-01-20 09:57:47 +08:00
    版权问题统一再回复啊:网站仅供测试交流,没有投放广告,不打算盈利,视频里面的广告是提供播放服务的人加的,视频里面还有片头广告,片尾广告是字幕组加的,所有广告都跟我无关
    Andywww
        38
    Andywww  
    OP
       2021-01-20 09:59:49 +08:00
    @gppola666 视频的服务器跟我无关啊,不论是点播还是下载都是别人的,我只是搜集了这些链接而已,带宽小的很,,,
    Andywww
        39
    Andywww  
    OP
       2021-01-20 10:00:52 +08:00
    @justin2018 就是把做好几个字段的 and 查询,对应的条件要翻译一下
    Andywww
        40
    Andywww  
    OP
       2021-01-20 10:02:01 +08:00
    @hzz2 不错,我是用 python 的
    onlineismy
        41
    onlineismy  
       2021-01-20 10:02:02 +08:00
    这个不就是电源资源站吗。。飞飞、马斯克,多着开源的 cms 。。
    gppola666
        42
    gppola666  
       2021-01-20 10:02:21 +08:00
    @Andywww 哦豁,我沙比了 hhhh
    Andywww
        43
    Andywww  
    OP
       2021-01-20 10:02:57 +08:00
    @onlineismy 对,我没有用 CMS,也是后来才知道的 cms
    d873139022
        44
    d873139022  
       2021-01-20 10:20:35 +08:00
    版权问题 不是你说与你无关就没用的。你的网站播放就算侵权了,无论盈利与否。
    别问我咋知道,我的网址就是这样关停的,这是违规行为。
    广电的电话直接打到域名注册人的手机上,然后通知立即关停,之后就是停止接入域名,然后 gg
    ifoto
        45
    ifoto  
       2021-01-20 10:34:11 +08:00
    可以,在你追海贼王了
    stanchenxxx2015
        46
    stanchenxxx2015  
       2021-01-20 10:38:07 +08:00
    老哥,这个你偷偷自己玩玩就好了,不建议放出来让大家看到。。。。
    您这网站是妥妥的侵犯版权的,跟您是否从中盈利没有任何关系。不是你觉得没问题就没问题的。
    劝您还是小心点,这东西要是被版权方爬到,轻则一个律师函让你下架内容,重则随便按啥口径走司法仲裁要你罚款。
    bzj
        47
    bzj  
       2021-01-20 10:40:48 +08:00
    全是视频资源站提供的接口,视频放在别人服务器上,几万个视频跟你有啥关系,你就一个视频播放页面
    Andywww
        48
    Andywww  
    OP
       2021-01-20 10:45:23 +08:00
    @bzj 是的,终于来了个明白人,主要是网上同样类型的网站太多放广告的,乱七八糟的页面广告,我是想提供一个清爽的,起码没有页面广告的,视频里面的广告那跟我没关系了
    binfun
        49
    binfun  
       2021-01-20 10:59:33 +08:00
    还是搞点抖音美女视频吧,哈哈
    evefree2
        50
    evefree2  
       2021-01-20 11:01:48 +08:00
    这种没有版权的问题吗?
    evefree2
        51
    evefree2  
       2021-01-20 11:02:54 +08:00
    @evefree2 算我多问...
    Andywww
        53
    Andywww  
    OP
       2021-01-20 11:06:58 +08:00
    @evefree2 视频并不是网站提供的,可能标题有点误导了,几万个页面而已,页面里面视频播放是第三方的网站,
    hooon
        54
    hooon  
       2021-01-20 11:07:00 +08:00
    放着微信、支付宝收款码这样的实名信息,不怕吗?
    yuehui123
        55
    yuehui123  
       2021-01-20 11:08:08 +08:00
    @Andywww 哈哈,还明白人,他是说性能和你没关系,不是说版权和你没关系
    Andywww
        56
    Andywww  
    OP
       2021-01-20 11:08:52 +08:00
    @hooon 有点,哈哈
    Andywww
        57
    Andywww  
    OP
       2021-01-20 11:11:06 +08:00
    @yuehui123 嗯,刚刚我误解了,他说的应该是没有视频,只有页面,是标题的问题,我应该改下标题
    lonelymarried
        58
    lonelymarried  
       2021-01-20 11:28:27 +08:00
    必须静态啊,比如人家要搜索个神奇女侠 1984 在线播放,直接就到你网站了,多爽。
    justin2018
        59
    justin2018  
       2021-01-20 13:46:31 +08:00
    @Andywww 懂了 多谢~
    hotlook10
        60
    hotlook10  
       2021-01-20 14:00:07 +08:00
    你这相当于盗版网站聚合,一样的违法,迅雷以前有个狗狗资源搜索,后来为什么砍掉?
    hao123 之类的导航站为什么不放这些盗版影视站?
    alect
        61
    alect  
       2021-01-20 15:04:41 +08:00
    很好奇源是从哪里来的
    pkwenda
        62
    pkwenda  
       2021-01-20 15:07:12 +08:00
    这玩应应该算灰色吧,楼主这么不避讳吗。。👍 建议低调
    ElmerZhang
        63
    ElmerZhang  
       2021-01-20 15:30:19 +08:00
    加个缓存就好了,没必要静态化
    Andywww
        64
    Andywww  
    OP
       2021-01-20 15:33:51 +08:00
    @pkwenda 你说的对,我也没想高调啊,已经下沉主题了,也就是想讨论下技术,虽然我已经算大龄码农,但是这种网站经验不足
    pkwenda
        65
    pkwenda  
       2021-01-20 17:55:45 +08:00
    @Andywww #64 直接抛出技术来讨论就好了~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3558 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 04:46 · PVG 12:46 · LAX 20:46 · JFK 23:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.