新大模型可根据文本生成高清视频
创始人
2024-04-28 17:24:40
0次

原标题：新大模型可根据文本生成高清视频

27日，在中关村论坛未来人工智能先锋论坛上，清华大学联合北京生数科技有限公司（以下简称“生数科技”）正式发布中国首个原创全自研视频大模型——Vidu。论坛现场，清华大学教授、生数科技首席科学家朱军向与会者展示了Vidu生成的视频，包括行驶在崎岖道路上的汽车、戴珍珠耳环的猫、弹吉他的熊猫等。与此前震撼业界的Sora一样，Vidu能够根据文本描述直接生成高质量视频。

“长时长、高一致性、高动态性”是Vidu的显著特征。朱军表示，研发团队的核心技术在于采用U-ViT架构。它由Diffusion与Transformer两个模型融合而来，可支持一键生成长达16秒的高清视频内容。

除了在时长方面优势突出，Vidu在视频效果方面也实现显著提升。朱军介绍，Vidu能模拟真实物理世界，生成的视频不但场景细节复杂，而且符合物理规律，例如合理的光影效果、细腻的人物表情等。Vidu还具有丰富的想象力，能生成真实世界不存在的虚构画面，创造出具有深度和复杂性的超现实主义内容。此外，Vidu可理解多镜头语言，生成的视频不再局限于简单的推、拉、移等固定镜头，而是围绕同一主体实现远景、中景、近景、特写等不同镜头的切换，甚至能直接生成长镜头、追焦、转场等效果，给视频注入丰富的镜头表达。Vidu还独具文化特色，能很好理解中国元素，生成熊猫、龙等中国元素的视频。

值得一提的是，论坛上展示的视频都是从头到尾连续生成，没有明显的插帧现象。朱军说，与Sora一样，Vidu在文本到视频的转换过程中直接且连续，而且在底层算法上，是由单一模型完全端到端生成，不涉及插帧和其他多步骤处理。（记者何亮）

上一篇：中国人民大学复印报刊资料转载指数发布

下一篇：AI可据蛋白结构快速设计药物分子

相关内容

热门资讯

“避险好办法，应急在心中”主题... 人民网北京4月3日电 在第30个全国中小学生安全教育日到来之际，“避险好办法，应急在心中”全国中小学...
莫言戏剧文学国际研讨会在北京师... 人民网北京4月3日电 近日，“在传统与现代之间创造：莫言戏剧文学国际研讨会”在北京师范大学举办。来自...
新成果揭示植物病毒“作恶”过程 原标题：新成果揭示植物病毒“作恶”过程春天到了，万物复苏，但那些看不见、摸不着的病毒也开始“兴风作浪...
中澳科学家联手探寻中子星“体重... 原标题：中澳科学家联手探寻中子星“体重密码”中子星的直径仅为20多千米，切面相当于北京四环内区域大小...
神经炎症失控原因被揭示 原标题：神经炎症失控原因被揭示记者从清华大学药学院获悉，该院丁胜团队近日首次揭示限制小胶质细胞过度激...
我科学家提出单原子催化剂设计全... 原标题：我科学家提出单原子催化剂设计全新理论模型记者2日从中国科学技术大学获悉，该校路军岭教授团队与...
本科生毕业考核方式应该多样化 原标题：本科生毕业考核方式应该多样化眼下，即将毕业的大学本科生正忙于毕业论文修改答辩。近期，北京邮电...
以前闷在教室里 现在跟着地图走 原标题：以前闷在教室里 现在跟着地图走“以前总闷在教室里，现在跟着云地图走，思政课变得完全不一样了！...
新项目探寻作物“滋味基因密码” 原标题：新项目探寻作物“滋味基因密码”　　由湖南农业大学牵头，联合华中农业大学、安徽农业大学、中国农...
“花在哪里开，我就去哪里” 原标题：“花在哪里开，我就去哪里”经过连日春雨的滋润，位于赣西北九岭山脉西段的江西官山国家级自然保护...
新一代超薄光帆具有高反射率 原标题：新一代超薄光帆具有高反射率　　通过将超薄、高反射材料与人工智能（AI）优化的纳米级设计相结合...
2025年全国“百城千校万企”... 原标题：2025年全国“百城千校万企”促就业行动启动2025年全国“百城千校万企”促就业行动动员部署...
不让“项目等钱” 确保“学... 浏阳河畔，湖南省长沙市雅礼中学东校区项目工地施工正酣。“国家超长期特别国债对一期项目支持5000万元...
吴文俊人工智能科学技术奖颁发... 本报北京3月31日电 （记者谷业凯）第十四届吴文俊人工智能科学技术奖日前在北京颁奖。中国科学院院士...
我科学家研制出毫秒级可集成量子... 3月31日，记者从中国科学技术大学获悉，中国科学院院士、中国科学技术大学教授郭光灿团队的李传锋、周宗...
研究生复试招录改革走向多样化 原标题：研究生复试招录改革走向多样化2024年3月，浙江中医药大学应届毕业生邓楠（化名）以425分的...
2025年山西科技工作重点开展... 3月28日，山西省科学技术厅召开2025年科技工作会议。据介绍，2024年，山西省科技系统全面落实省...
遵循科学世界观方法论 扎实推进... 原标题：遵循科学世界观方法论 扎实推进教育强国建设党的二十大明确提出，到2035年建成教育强国。近期...
抓早抓小抓关键 保护好孩子视力 原标题：抓早抓小抓关键 保护好孩子视力眼睛是心灵的窗口，更是感知外部世界的重要通道。然而，当前中国青...
教育部：有序实现2027和20... 人民网北京3月31日电 （记者郝孟佳）今天，教育部举办新闻发布会，介绍深入贯彻落实《教育强国建设规划...