新大模型可根据文本生成高清视频
创始人
2024-04-28 17:24:40
0次

原标题：新大模型可根据文本生成高清视频

27日，在中关村论坛未来人工智能先锋论坛上，清华大学联合北京生数科技有限公司（以下简称“生数科技”）正式发布中国首个原创全自研视频大模型——Vidu。论坛现场，清华大学教授、生数科技首席科学家朱军向与会者展示了Vidu生成的视频，包括行驶在崎岖道路上的汽车、戴珍珠耳环的猫、弹吉他的熊猫等。与此前震撼业界的Sora一样，Vidu能够根据文本描述直接生成高质量视频。

“长时长、高一致性、高动态性”是Vidu的显著特征。朱军表示，研发团队的核心技术在于采用U-ViT架构。它由Diffusion与Transformer两个模型融合而来，可支持一键生成长达16秒的高清视频内容。

除了在时长方面优势突出，Vidu在视频效果方面也实现显著提升。朱军介绍，Vidu能模拟真实物理世界，生成的视频不但场景细节复杂，而且符合物理规律，例如合理的光影效果、细腻的人物表情等。Vidu还具有丰富的想象力，能生成真实世界不存在的虚构画面，创造出具有深度和复杂性的超现实主义内容。此外，Vidu可理解多镜头语言，生成的视频不再局限于简单的推、拉、移等固定镜头，而是围绕同一主体实现远景、中景、近景、特写等不同镜头的切换，甚至能直接生成长镜头、追焦、转场等效果，给视频注入丰富的镜头表达。Vidu还独具文化特色，能很好理解中国元素，生成熊猫、龙等中国元素的视频。

值得一提的是，论坛上展示的视频都是从头到尾连续生成，没有明显的插帧现象。朱军说，与Sora一样，Vidu在文本到视频的转换过程中直接且连续，而且在底层算法上，是由单一模型完全端到端生成，不涉及插帧和其他多步骤处理。（记者何亮）

上一篇：中国人民大学复印报刊资料转载指数发布

下一篇：AI可据蛋白结构快速设计药物分子

相关内容

热门资讯

西北工业大学与西安工业大学签署... 人民网北京5月22日电 （记者李昉）为进一步探索“双一流”建设高校与省属高校对口帮扶机制，近日，西北...
全面推进数智技术赋能教育变革 原标题：【光明论坛】全面推进数智技术赋能教育变革通过水下机器人作业虚仿实践平台，船舶工程专业的学生可...
武汉大学举办於可训小说创作研... 　　本报电（记者张鹏禹）近日，“於可训小说创作研讨会”在武汉大学举办。活动由武汉大学文学院主办，武汉...
氯硅烷精馏提纯工艺点“石”成“... 原标题：氯硅烷精馏提纯工艺点“石”成“金”记者日前从天津大学获悉，该校化工学院科研团队将矿石中的硅元...
新职业涌现 新赛道开辟（四... 　　搭配服装、布置场景，旅游的乐趣和明媚的心情，在清脆的快门声中被相机记录下来，化作朋友圈的九宫格…...
林业院校校长齐聚北林大 共话林... 人民网北京5月19日电 日前，以“践行教育强国战略 林业教育的创新与突破”为主题的第六届全国林业院校...
新时代高校思政课建设内涵式发展... 人民网北京5月21日电 日前，新时代高校思政课建设内涵式发展研讨会在中国地质大学（北京）举行。来自北...
最新观测数据揭示银河系古老天体... 原标题：最新观测数据揭示银河系古老天体“秘密”　　近日，清华大学李菂团队联合意大利、澳大利亚、德国等...
新型基因编辑工具精准嵌入完整基... 原标题：新型基因编辑工具精准嵌入完整基因　　美国麻省理工学院与哈佛大学博德研究所刘如谦团队联合哥伦比...
全球首例人类膀胱移植手术成功 原标题：全球首例人类膀胱移植手术成功　　美国加州大学洛杉矶分校健康中心和南加州大学凯克医学院的外科医...
人形机器人能否走进千家万户 原标题：人形机器人能否走进千家万户 从泰山上执行垃圾清运任务的“机器狗”，到春晚舞台上扭秧歌的人形机...
科学家成功解析全球雪豹遗传结构 原标题：科学家成功解析全球雪豹遗传结构　　记者5月19日从中国科学院动物研究所获悉，该所研究员胡义波...
大连理工大学：年轻双手传承古老... 原标题：大连理工大学：年轻双手传承古老技艺“满族刺绣实用性很强，在日常生活用品和服饰上随处可见，其中...
探秘细胞再生，“生物界孙悟空”... 原标题：探秘细胞再生，“生物界孙悟空”飞入太空前段时间成功发射的神舟二十号载人飞船有一些“神秘乘客”...
首届“中社杯”全国大学生社会服... 人民网北京5月20日电 （记者李依环）16日-18日，首届“中社杯”全国大学生社会服务实践技能大赛决...
《中华人民共和国经济史（194... 人民网北京5月19日电 （记者孙竞）近日，教育部组织中国人民大学编写的《中华人民共和国经济史（194...
第二届首都高质量健康老龄化国际... 人民网北京5月19日电 （记者郝孟佳）18日，第二届首都高质量健康老龄化国际会议在京召开。本届会议以...
中国政法大学召开高素质纪检监察... 人民网北京5月19日电 （记者孙竞）18日，高素质纪检监察人才培养课程建设专家研讨会在中国政法大学召...
我学者提出全新DNA存储系统 原标题：我学者提出全新DNA存储系统记者19日从天津大学获悉，该校应用数学中心的吴华明教授团队在DN...
一种小分子可精准阻断细胞凋亡 原标题：一种小分子可精准阻断细胞凋亡　　澳大利亚沃尔特和伊丽莎·霍尔医学研究所科学家发现了一种小分子...