新大模型可根据文本生成高清视频
创始人
2024-04-28 17:24:40
0次

原标题：新大模型可根据文本生成高清视频

27日，在中关村论坛未来人工智能先锋论坛上，清华大学联合北京生数科技有限公司（以下简称“生数科技”）正式发布中国首个原创全自研视频大模型——Vidu。论坛现场，清华大学教授、生数科技首席科学家朱军向与会者展示了Vidu生成的视频，包括行驶在崎岖道路上的汽车、戴珍珠耳环的猫、弹吉他的熊猫等。与此前震撼业界的Sora一样，Vidu能够根据文本描述直接生成高质量视频。

“长时长、高一致性、高动态性”是Vidu的显著特征。朱军表示，研发团队的核心技术在于采用U-ViT架构。它由Diffusion与Transformer两个模型融合而来，可支持一键生成长达16秒的高清视频内容。

除了在时长方面优势突出，Vidu在视频效果方面也实现显著提升。朱军介绍，Vidu能模拟真实物理世界，生成的视频不但场景细节复杂，而且符合物理规律，例如合理的光影效果、细腻的人物表情等。Vidu还具有丰富的想象力，能生成真实世界不存在的虚构画面，创造出具有深度和复杂性的超现实主义内容。此外，Vidu可理解多镜头语言，生成的视频不再局限于简单的推、拉、移等固定镜头，而是围绕同一主体实现远景、中景、近景、特写等不同镜头的切换，甚至能直接生成长镜头、追焦、转场等效果，给视频注入丰富的镜头表达。Vidu还独具文化特色，能很好理解中国元素，生成熊猫、龙等中国元素的视频。

值得一提的是，论坛上展示的视频都是从头到尾连续生成，没有明显的插帧现象。朱军说，与Sora一样，Vidu在文本到视频的转换过程中直接且连续，而且在底层算法上，是由单一模型完全端到端生成，不涉及插帧和其他多步骤处理。（记者何亮）

上一篇：中国人民大学复印报刊资料转载指数发布

下一篇：AI可据蛋白结构快速设计药物分子

相关内容

热门资讯

每日一闻丨尼罗河畔的纸张
【河北大学法硕复试真题】河北大... 2027-河北大学（累计14年复试真题题库汇编；合计879题）-最新版绝密复试真题 河北大学法律硕士...
考研圈大地震！北大、复旦等多所...
裤子磨破、脚黑如碳！川农硕博从... 封面新闻记者 杨旭斌 金秋时节，四川农业大学近千亩基地迎来水稻收获季。 记者到四川农业大学崇州基地，...
古代隆重的“入学礼” （来源：新安晚报） 转自：新安晚报 古语云：“学向勤中得，萤窗万卷书。”新的学年又如期而至。在我国古...
北大光华田轩：不被技术裹挟，不... 来源：国际金融报 9月5日，北京大学光华管理学院2026年开学典礼在北京大学百周年纪念讲堂举行。16...
家校社协同育人家长课堂 | 家... ▼▼▼ 中华优秀传统文化中的“无为”思想，常被误解为“不作为”或“放任自流”。然而，在家庭教育中，“...
我市中小学迎来秋季开学日 （来源：唐山劳动日报） 本报讯 （记者李馥）热闹的夏日悄然退场，悠长的假期画上句号。9月1日，我市各...
曾都区庆祝第42个教师节暨优秀... 9月7日，曾都区庆祝第42个教师节暨优秀教师事迹报告会举行。 区委书记何胜出席会议并讲话，区委副书记...
每日一题丨暑期如何科学安排孩子... 指导专家：赵晴博士，现就职于中国科学院心理研究所。2018年在澳大利亚格里菲斯大学毕业，获得应用心理...
【车谷润心家】“开学综合症”—... 新学期的大门已经开启，每到开学季，不少职工家长都会遇到同样的烦恼：孩子早上赖床、晚上熬夜，一提上学就...
呼和浩特市开启综合高中试点校建... 新学期伊始，呼和浩特市文化艺术职业学校综合高中的同学们走进课堂，一边学习文化课，一边学习专业课，开启...
高中到大学，需要什么样的“衔接... 新闻回放 今年高考结束后，“高大衔接班”“大学预科班”等受到广泛关注。记者调查发现，部分社会培训机构...
原来课本里的文字，真的会治愈人... 翻开语文课本，我们都曾背诵过《孔乙己》的悲凉、默念过《与妻书》的滚烫、读过乱世山河的沉重。 只是年少...
2027届 高考历史答题模板 2027届 高考历史答题模板 （答题总述+答题原则+选择题速判+非选择题背诵模板+万能金句） ...
民生答卷 | 呼和浩特市开启综... 新学期伊始，呼和浩特市文化艺术职业学校综合高中的同学们走进课堂，一边学习文化课，一边学习专业课，开启...
新华社报道：打造培根铸魂、启智... 教材是传播知识的主要载体，体现着一个国家、一个民族的价值观念体系。党的十八大以来，教材战线牢牢把握教...
上饶上班族高升专学历提升 高性... 高升专学历提升的核心需求拆解 上班族选择高升专学历提升，大多有明确的实用诉求，与全日制升学的需求差异...
市长杜旭亮走访慰问一线教师代表 市长杜旭亮走访慰问一线教师代表 在第42个教师节到来之际，9月8日下午，市委副书记、市长杜旭亮走访慰...
如何攻克基因工程复习难点 笔者深耕高三生物学教学多年，发现人教版选择性必修3《生物技术与工程》第三章“基因工程”是高考热频考点...