近日,番茄小说正式官宣虚拟数字人IP番卷卷。该数字人技术由番茄小说牵头,联合英特尔、火山语音等合作伙伴,不断优化数字人口型、肢体等类人动作的呈现效果,并结合不同的部署场景提供高质量的渲染效果,给用户带来更真实的阅读陪伴感。
【资料图】
番卷卷是番茄小说代言人。她行动力强、好奇心旺,活泼灵动、鬼马,爱看书爱推书,是问题的解决者,能够联系番茄世界与现实世界。有一天她打开一本书后“穿越”到了番茄世界,并结识了对番茄世界了如指掌的番糯糯。作为番茄世界中博学多知的原住民,番糯糯终于遇到了能与自己交流的番卷卷,自此便邀请番卷卷进入番茄世界,两人一起开启了穿梭在书海之间的冒险之旅。
和现实人物一样,番卷卷与番糯糯在看书时也会产生不一样的阅读情绪,跟书友见面打招呼会来一个“闪亮登场”、追更时会狠狠按下黄色按钮“求更新”、看到甜到发腻的情节也会想要“踢翻狗粮”……
如今,番卷卷与番糯糯的12款表情包已经上线番茄小说评论区,读者可以在端内使用,另外,读者在番茄小说想要催更时,番卷卷也会出现在催更页面,代替用户猛敲催更按钮,让用户体验到虚拟数字人带来的陪伴感。
可见,番卷卷承担着连接现实世界与番茄世界的重要角色,她作为用户进入番茄世界时的“数字导游”,能留下好的第一印象非常重要。为此,番茄小说团队联合字节火山语音数字人团队,在设计番卷卷之初,首先确定番卷卷的形象定位和人设,然后再进行人物的原画创意设计,再经历3D模型人物都会经历的建模-绑定-渲染链路,然后获得可AI驱动的UE渲染管线资产。
但这还不算结束,从形似到神似再到最终给番茄小说的读者带来精神层面的满足,还需要对这一阶段的数字人进行深度学习的口型训练,以及类人的动作呈现。通过集成上线至火山语音数字人应用平台,借助平台可简单快速地制作番卷卷推书视频。输出视频内容质量稳定且高效,大大节约制作时间及成本。
此外,相较于业内最好用的面部驱动技术普遍推广的GPU(graphics processing unit,支持图形和图像运算的微处理器)方案,番卷卷背后的火山语音AI数字人技术能够同时兼容无GPU版本。由于搭载最新英特尔至强[gf]ae[/gf]可扩展系列处理器,通过AVX512指令集优化,不仅实现了口型效果精准自然,还极大降低了部署难度和算力依赖。值得一提的是,番卷卷首发应用了火山语音数字人自研的MOTION BLENDING(运动融合)技术,可实现肢体动作的自然过渡与打断,该技术也是数字人AI驱动领域的一项重要突破。
番茄小说与火山语音团队,共建了一套深厚数字人的技术壁垒体系。在渲染方案上,使用了边缘云和视频中台PaaS稳定支持的云渲染解决方案;在内容生成上,火山语音数字人团队还与字节朝夕光年江南团队深度共建,持续探索储备AI动作生成、AI场景生成等前沿技术。
不过,番茄小说在技术方面的突破,远不止于数字人。基于用户对有声读物的需求,番茄小说与火山语音团队在AI朗读功能上达成长期合作。在基础TTS(Text To Speech,从文本到语音)技术上,为小说音色引入了多风格音色和丰富的情感表现力,使之更适合听书场景。同时结合用户听书需求,提供了单音色播讲、多角色对话、沉浸配乐等有声书生产方案,为用户提供形式多样的沉浸式听书体验。
历经两年时间的用心打磨,番茄小说团队目前形成了一套角色分明、情感丰富的AI多角色演播方案,AI配音已上线60多个精品音色,除实现规模化生产需求之外,还可满足差异化、精品化的内容定制需求,并作为首个AI有声小说领域高质量综合解决方案对外推出。
番茄小说团队相关负责人表示:“未来,番茄小说将基于自身技术积累,让更多的AI应用场景落地,打造属于番茄世界的专属陪伴感,为读者提供更为丰富、更高质量的阅读体验,让好故事影响更多人。”
标签: