新大模型可根据文本生成高清视频
创始人
2024-04-28 17:24:40
0次
原标题：新大模型可根据文本生成高清视频
27日，在中关村论坛未来人工智能先锋论坛上，清华大学联合北京生数科技有限公司（以下简称“生数科技”）正式发布中国首个原创全自研视频大模型——Vidu。论坛现场，清华大学教授、生数科技首席科学家朱军向与会者展示了Vidu生成的视频，包括行驶在崎岖道路上的汽车、戴珍珠耳环的猫、弹吉他的熊猫等。与此前震撼业界的Sora一样，Vidu能够根据文本描述直接生成高质量视频。
“长时长、高一致性、高动态性”是Vidu的显著特征。朱军表示，研发团队的核心技术在于采用U-ViT架构。它由Diffusion与Transformer两个模型融合而来，可支持一键生成长达16秒的高清视频内容。
除了在时长方面优势突出，Vidu在视频效果方面也实现显著提升。朱军介绍，Vidu能模拟真实物理世界，生成的视频不但场景细节复杂，而且符合物理规律，例如合理的光影效果、细腻的人物表情等。Vidu还具有丰富的想象力，能生成真实世界不存在的虚构画面，创造出具有深度和复杂性的超现实主义内容。此外，Vidu可理解多镜头语言，生成的视频不再局限于简单的推、拉、移等固定镜头，而是围绕同一主体实现远景、中景、近景、特写等不同镜头的切换，甚至能直接生成长镜头、追焦、转场等效果，给视频注入丰富的镜头表达。Vidu还独具文化特色，能很好理解中国元素，生成熊猫、龙等中国元素的视频。
值得一提的是，论坛上展示的视频都是从头到尾连续生成，没有明显的插帧现象。朱军说，与Sora一样，Vidu在文本到视频的转换过程中直接且连续，而且在底层算法上，是由单一模型完全端到端生成，不涉及插帧和其他多步骤处理。（记者何亮）
下一篇：AI可据蛋白结构快速设计药物分子
相关内容
热门资讯
配套量化目标、清晰重点任务 专...
今天，《教育发展“十五五”规划》发布，锚定到2035年建成教育强国奋斗目标，直面人口结构、人工智能等...
安徽高招志愿填报辅助系统正式开...
来源：市场资讯 （来源：掌上六安） 月29日，普通本科提前批（包括国家专项计划、地方专项计划、高校专...
四中、实验接连官宣！“抢人大战...
西城两所牛校同日官宣！ 名校“抢人大战”一触即发，普娃也能直接受益！ 6月26日 先是北师大实验——...
志愿填报不该成为贩卖焦虑的生意
陕西高考分数25日已经公布，这些天高考志愿填报咨询市场“高温”持续，从几百元的线上课、几千元的一对一...
金观平：贯通教育科技人才促创新
科技是第一生产力，人才是第一资源，创新是第一动力。教育、科技、人才是全面建设社会主义现代化国家的基础...
南外河西二附小期末测试温情满满
晨报讯（通讯员 王丽 南京晨报/爱南京记者 孙文）6月23日，南外河西二附小图书馆内一场充满童趣与实...
【真题回顾・第三期】2016 ...
改编这套真题时感慨万千。大概只有我们信息技术学科，短短十年间课程、考点、编程语言发生了翻天覆地的变化...
成都小自考报名条件是什么？别白...
成都是四川学历提升的核心城市，每年有大量在职人士、在校学生选择报考小自考。不少人对报名条件存在疑问，...
中南大学发布严正声明
来源：市场资讯 （来源：每日甘肃） 6月26日，中南大学本科生招生办公室发布严正声明。近期，该校发现...
航天人引领航天人 薪火逐梦向星...
“我最希望学生超越我，只有这样，时代社会才能进步，国家才有希望。”耄耋之年的中国工程院院士杜善义，每...
南京艺术学院：在艺术学领域“深...
原标题：南京艺术学院：在艺术学领域“深扎根、开繁花”“我们期望在跨界碰撞中勾勒生活美学的深邃脉络，为...
我国核聚变堆超导磁体研发取得重...
原标题：我国核聚变堆超导磁体研发取得重要突破 27日，国家重大科技基础设施“聚变堆主机关键系统综合...
湖北：优质培训助力就业创业
原标题：湖北：优质培训助力就业创业“我平时喜欢刷短视频、看短剧和漫剧，但对于AI漫剧创作就是门外汉。...
湖南：为大学生创业铺路护航
原标题：湖南：为大学生创业铺路护航临近毕业季，湖南师范大学土地资源管理专业学生吴岳儒顺利拿到了毕业证...
无论怎样，总有人会为你满心欢喜...
来源：市场资讯 （来源：北京日报） 高考那年的暑假，你是怎么度过的？ 这几天刷到一位妈妈拍的视频——...
考后三件套，别急着忧心忡忡
高考结束了，考后经济立马热了起来。社交平台上大量博主分享“考后消费清单”“大学必备物品”等，手机、电...
2026年学生暑期社会实践出征...
2026年学生暑期社会实践 出征仪式邀请函 致全体实践队员： 2026年是“十五五”规划的开局之年，...
防溺水致家长的一封信
防溺水 致家长的一封信 尊敬的家长朋友们： 您好！目前已经进入夏季，天气渐热，是中小学生溺水事件的高...