全流程 3D AI 影视制作平台——赛博演猿 cybactor
申报单位:北京聚力维度科技有限公司
浏览量: 发布时间:2024-07-12
案例背景

当前,国外 AI 视频自动生成技术发展迅猛,若国内一直未发展出自己的 AI 视频创作 工具,将会形成文化传播“卡脖子”难题。同时,在数字人、元宇宙的热潮下, 一批栩栩 如生、灵动可爱的虚拟数字人频频亮相于各类场景,如中国文物交流中心的“文夭夭”、新华网的“筱竹”、敦煌研究院的“伽瑶”等等。无论是 AI 自动生成视频,还是数字人技 术发展,都需要广泛的数据积累参与相关科技创新研发。聚力维度为攻克上述难题,在十 余年从业经验中,通过自研技术及项目经验,积累了“赛博演猿”。在工具的使用过程中, 实现了一批新质生产力数据转化。

解决方案

全流程 3D AI 影视制作平台——赛博演猿 cybactor,包含自研多模态 3D 视频大模 型赛娲 SEVA,支持文字、声音、视频、人工操作等多模态输入;以 3D 结构化的方式 独立生成视频中的对象和运动, 确保对象在不同镜头与运动中完全一致,可编辑,可控; 生成的 3D AI 演员可以实现真人“老戏骨”级别的 AI 表演;支持 AI 视觉驱动;支持任 意时长。 1. 赛娲 SEVA——独立 3D 结构性生成 赛娲大模型优先解决了创作者主要需求且独一无二的对象生成:带绑定的 3D 数字人 模型。支持多模态输入,包括随机、文字、图片等多种方式,支持精细编辑。 2. 赛娲 SEVA——影视级 AI 表演 创作者输入台词,按照指定的音色、语气、情绪生成真人演员级别的声音和表演。 3. 赛娲 SEVA——AI 视觉捕捉 支持通过普通摄像头,无穿戴精准捕捉人的表情、手势、动作,让创作者能够亲自参 与到影视制作过程中,实现对表演和动作细节的精准把控。解决 AI 影视制作的最后 1 公 里问题,满足甲方精细需求。 目前已有以下案例应用,一是全球数字经济大会互联网 3.0 峰会在京隆重举行。聚力 维度作为此次圆桌会议的唯一技术提供方,打造了行业顶级多人元宇宙会议新形态。通过 “线下实采 + 线上实驱”的直播模式,为参会嘉宾提供了一次别开生面的论坛新体验。二 是由聚力维度提供独家技术支持,央视网数字主持人小 C 连麦对话了《中国奇谭》出品人 总监制速达和上海美术电影制片厂总导演陈廖宇,共同探讨了动画新百年如何讲好中国故 事。虚拟与现实的跨屏交流、同台互动, 实现了“主题 + 创意 + 技术”相融合的有益探索。 虚拟主播、真人嘉宾,虚拟场景、真实场景——多样的虚实结合,新颖活泼的形态、看点 十足的内容受到网友广泛欢迎,传播效果更是日常报道的 10 倍以上。在今年两会期间, 小 C 也是央视网充分运用数字人等新技术服务两会的典型案例。其推出的全国两会先锋谈 话直播节目 ——《中国神气局》由小 C 担纲主持人。三是公司团队基于十余年人工智能影 视制作研发经验,面向虚拟直播、短视频制作、虚拟演播室节目制作、元宇宙会议等场景 提出用人工智能实现以数字人为中心的内容解决方案,目前已为三大运营商、央视、欧莱 雅华为、完美世界、抖音等多家龙头企业和机构提供了数字人内容解决方案,深度参与央视、 凤凰卫视、三星堆博物馆、华为、腾讯等文化科技融合项目。

创新点

技术创新方面,一是聚力维度独家研发的单目摄像头动捕技术,无需任何穿戴设备即 可精准捕捉面部及全身肢体动作,以行业领先水准解决了数字人微表情逼真还原、无穿戴 数字人动捕等技术难题。二是赛博演猿的表情捕捉技术不同于基于人脸关键点、语义密集 标注点以及面部表情编码系统 FACS 等方法,提出了全新的表情和 ID 完全解耦的参数化表 征,使得能捕捉的微表情数量达到了 600 种以上,颠覆了传统面部表情的捕捉流程和精度, 达到了专业影视级的表情捕捉水平。 模式创新方面,一是对比国内外其他视觉捕捉技术来说,采用非 AI 路线的光学和惯 性的动作捕捉技术所需成本高昂,且使用门槛和对场地要求很高。“赛博演猿”无任何穿 戴设备即可精准捕捉面部及全身肢体动作,能捕捉的微表情数量达到了 600 种以上,实 现用普通摄像头达成和百万级动捕设备同等的效果。二是 AI 路线上,近期 Open Al 发布 的 sora 使用 2D 图像 AI 自动生成路线,可以自动生成 60 秒视频,但在场景、角色一致 性、可编辑性等方面存在局限。聚力维度研发的全流程 3D AI 影视制作平台——赛博演猿 cybactor,采用 3D 图像 AI 自动生成路线,使用文字、肢体语言、面部等更丰富的信息作 为输入,导演用单个摄像头捕捉、视频捕捉就可以进行 AI 虚拟拍摄创作,也更具有一致性、 可控性、可编辑性。

应用成效

经济效益方面,聚力维度专注在用人工智能技术解决影视制作方向, 自主研发的全流 程 3D AI 影视制作平台——赛博演猿 cybactor,可实现全流程 AI 影视制作,将制作成本 降低至原来的 1%。通过单个 RGB 摄像头实现高精度动作和表情捕获,减少了传统光学和 惯性捕捉技术的高昂成本和对场地的严格要求,为影视制作行业带来了革命性的变化。同 时,该平台也为企业宣传、数字文旅等领域提供了高效、经济的解决方案,促进了相关产 业的快速发展。 社会效益方面,聚力维度的数字人服务在推动文化创新和数字经济发展方面发挥了积 极作用。通过参与中国科幻大会、全球数字经济大会等权威会议的数字人 IP 打造和技术支 持,聚力维度不仅展示了其在数字人技术领域的领先地位,也推动了文化创新和数字经济 的融合发展。此外,数字人服务的广泛应用也为社会创造了更多的就业机会和创业机会, 促进了社会经济的繁荣和发展。