V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
margoxlive
V2EX  ›  分享创造

做了个二次元低配数字人口语对话应用

  •  1
     
  •   margoxlive · 218 天前 · 1937 次点击
    这是一个创建于 218 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一直想做一个基于 LLM 和 TTS 的口语学习 App ,市面上确实也有不少,但是总感觉同质化很严重,想自己亲自开发一款更酷的产品,试试和二次元纸片人老婆聊天学口语? 开搞!花了几个月,调研各种技术方案,终于上架啦!

    角色卡片 角色卡片
    角色卡片 角色卡片

    特点:

    • 视频连线 支持英式英语、美式英语、日语、法语等,目前可以和 5 个二次元角色“视频连线”
    • 情景对话 IM 聊天式的交互,上百种真实场景模拟,还可以一句话创建即兴情景
    • 实用工具 啊这,设想过要做很多口语学习相关的小工具,不过一个人精力有限,慢慢上吧,暂时只有单词本、自然翻译、听故事这仨工具~,后面争取一周上一个看看吧

    产品名字叫好说,目前上架了 App Store ,安卓版还在开发中(主要是需要准备软著等资质会需要一些时间之类的)。

    欢迎各位安装体验~

    28 条回复    2024-05-13 22:43:46 +08:00
    margoxlive
        1
    margoxlive  
    OP
       218 天前
    对了,各位在邀请好友界面绑定邀请人,输入 88888888 ,可以得到一大波点数~
    Mantext1989
        2
    Mantext1989  
       218 天前 via iPhone
    好有意思,居然连总结都有哦,这个是怎么做到的
    margoxlive
        3
    margoxlive  
    OP
       218 天前
    @Mantext1989 把聊天记录塞给 chatgpt 之类的,LLM 天生就是干这事儿的哈哈
    Tyler1989
        4
    Tyler1989  
       218 天前 via Android
    期待 Android 版
    IvanLi127
        5
    IvanLi127  
       218 天前
    看起来不错,等 android 版本+1
    yKXSkKoR8I1RcxaS
        6
    yKXSkKoR8I1RcxaS  
       218 天前
    期待 Android 版+1
    ifzm
        7
    ifzm  
       218 天前
    看起来很不错啊 👍
    40kecedwixyCdM81
        8
    40kecedwixyCdM81  
       218 天前
    不错,做的比我司的好~
    纠正个错别字,回复建议里,"长安发送" -> "长按发送"
    Billdex
        9
    Billdex  
       218 天前
    好棒的感觉,期待安卓版
    Symbo1ic
        10
    Symbo1ic  
       218 天前
    刚刚下载,晚上回家试试!
    margoxlive
        11
    margoxlive  
    OP
       218 天前
    @SlYyWc 啊哈,感谢感谢~
    huzhizhao
        12
    huzhizhao  
       218 天前 via iPhone
    三次元人路过,有没有御姐啥的😍😍
    margoxlive
        13
    margoxlive  
    OP
       218 天前
    @huzhizhao 有一个叫 Zoe 的角色是国风御姐形象,而且她的配音应该是所有角色里面最自然的一个
    huzhizhao
        14
    huzhizhao  
       218 天前 via iPhone
    @margoxlive good 我去下一个支持一下😎😎
    cnyballk
        15
    cnyballk  
       218 天前
    强啊哥们,这是用什么技术栈?我之前也想整一个数字人到手机上,不过不会,哈哈
    margoxlive
        16
    margoxlive  
    OP
       218 天前
    @cnyballk ChatGPT + 自然语音合成 + Live2D ,App 是 RN 做的
    cnyballk
        17
    cnyballk  
       218 天前
    @margoxlive 谢谢
    drymonfidelia
        18
    drymonfidelia  
       218 天前
    和我想做的东西一样,不过最近公司出了一些问题快倒闭了裁了一堆人,我要干好几个人的活,一直没时间开始做
    感觉你这个有戏
    建议加入养成系统提高用户粘性
    margoxlive
        19
    margoxlive  
    OP
       218 天前
    @drymonfidelia 嗯,这个其实也只能算是一个技术验证 Demo ,最终目标是做一个泛二次元 AI 社交应用,细化人设,增加交互性和表现力,增加装扮和场景等,应该要比现在市面上一大堆纯文字 + AI 静态图片的虚拟社交应用更有产品力~ 不过我这个也是业余兼职做,精力实在是太不够用了
    DevHuaJi
        20
    DevHuaJi  
       218 天前
    看起来不错,有计划上 Android 版么?
    margoxlive
        21
    margoxlive  
    OP
       218 天前
    @DevHuaJi 正在开发中,技术问题不大,不过要准备软著那些,很头疼哈哈
    teaegglove
        22
    teaegglove  
       217 天前 via Android
    Android +1
    teaegglove
        23
    teaegglove  
       215 天前 via Android
    请问自然语音合成部分用的什么软件?
    mistsobscure
        24
    mistsobscure  
       215 天前 via iPhone
    老哥这个项目,可以开一个根据项目的空 rn 项目结构放到 github 吗 0.0 最近在学 rn ,项目结构有点小纠结
    margoxlive
        25
    margoxlive  
    OP
       214 天前
    @teaegglove 用的微软的 tts
    margoxlive
        26
    margoxlive  
    OP
       214 天前
    @mistsobscure 这个和个人习惯相关,没有什么严格的规范,一般来说,我会分下面这些目录来存放文件:
    pages 、components 、helpers 、store 、utils 、api
    on1snow
        27
    on1snow  
       212 天前
    用起来非常丝滑啊,一个人搓出来真厉害!
    请教个技术问题:音频对口型是怎么做的 @margoxlive ,我搞了个数字人是用 sd 重绘头部,可慢了啊
    margoxlive
        28
    margoxlive  
    OP
       211 天前
    @on1snow 其实就是计算音频的 RMS ,使用绝对音量来控制嘴型大小~比较 Low ,所以也只能用在二次元的角色上面,哈哈哈哈
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3257 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 10:38 · PVG 18:38 · LAX 02:38 · JFK 05:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.