阿里之前11月发布了论文要开源的I2VGen-XL图像生成视频模型，终于发布了具体的代码和模型。演示里面没有人物大幅动作的视频。
I2VGen-XL包括两个阶段：
i) 基础阶段通过使用两个分层编码器保证连贯的语义，并保留输入图像的内容，
ii) 优化阶段通过整合额外的简短文本来增强视频的细节，并将分辨率提高到1280×720。
收集了约3500万个单镜头文本视频对和60亿个文本图像对来优化模型。 通过这种方式，I2VGen-XL可以同时提高生成视频的语义准确性、细节的连续性和清晰度。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun271383.html
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
阿里开源支持视频理解的多模态 LLM Qwen2-VL 国内现在还没有特别好的多模态闭源模型尤其是支持视频理解的，阿里这就开源了。不过最大的Qwen2-VL 72B 没有开源，只开…
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数…
Morphic Studio：为创建受控视频做的 AI 视频平台 Morphic Studio 包括 Canvas 和 Compose 功能，Canvas 是一个全面的故事板和生成…
FLUX 的周边生态发展迅速 前段时间由于 SD3 的问题，开源的图片生态发展一度停滞，值得关注的新项目和模型几乎没有。 FLUX 上周发布后这个态势被快速改变了，由于其优秀的图片…
Clapper app：AI 剪辑工具 非常强的网页端 AI 生成和视频剪辑工具。接入了 AI 视频需要的各种 API，包括图片生成、LLM、语音生成、音乐生成、视频生成。时间轴直…
xAI 发布 Grok-2 系列模型 老马的 XAI 发布 Grok-2 Beta 版本。在LMSYS的成绩超过了Claude 3.5 Sonnet 和 GPT-4-Turbo。 …
Jamba 1.5系列模型：非 Transformer 模型首次追上先进模型 AI21 推出了新的 Jamba 1.5 模型家族，包括 Jamba 1.5 Mini 和 Jamba…
Ideogram 发布了 2.0 图像生成模型 图像生成质量大幅提高，产品易用性改善，最强的文字生成能力。尝试了一下发现真的很离谱，不只是文字生成这么简单，可以实现复杂排版搭配色彩…
您的 iPhone 相机在室内灯光下闪烁或闪烁太多吗？您用 iPhone 拍摄的视频看起来不太好，因为灯光会亮起。您在视频上看到的闪烁是因为刷新率的差异。这是不正常的，有一些方法可…
像Microsoft和谷歌这样的大型科技公司正在全力以赴地整合各自的人工智能模型。根据最近的发展，Opera 的 Aria AI 现在可以访问 Google Cloud 的 Gem…
viva：首个可供使用的 Dit 架构视频生成工具 海外产品 viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型，而且现阶段免费。支持文本生成视频、图片生成视频…
Google I/O 发布会的内容 Google 紧随 Open AI 开了今年的 I/O 发布会，一个字概括就是全。模型层面所有的指标都在卷，同时也发布了所有现在主流的模型类型。…
关于GPT-4o 模型更新 它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。 它可以在 232 毫秒内响应音频输入，平均为 320 毫秒，这与人…
Krea AI 发布 AI 视频生成功能 是可以定义首位帧的，而且每张图片对应的提示词都可以自定义。看起来像是之前发过的基于 ipadapter 的 Animatediff 的工作…
DeepSeek 发布 DeepSeek-V2 模型 DeepSeeK 上周发布了DeepSeek-V2模型，将现在优秀 LLM 的价格战又抬上了一个新的高度，百万 Token 输…
Indigo关于发布会预测的整理 GPT-4 的新版应该会按照参数规模不同分化成多个版本，这个和 Claude 还有 Gemini 多版本的逻辑一样； 前两周出现在 llmsys …
Frame：开源的 AI 眼镜 由一个开源的AI硬件 ，Frame AI 眼镜。 你可以通过语音和 Frame 进行沟通，它的回复会显示在眼镜屏幕上，而且会有小图标表示现在的情绪。…
Simulon：混合现实 3D 模型软件 只需要下载app扫描周围环境，然后选择对应的模型。之后等几分钟就会渲染好跟现实环境融合的MR视频。没有官网只有申请测试的表单。  …
Synthesia：EXPRESS-1 模型驱动的数字人 EXPRESS-1 模型驱动，以实现逼真的头像表现。通过训练模型理解我们说什么以及我们如何说的微妙关系，表达力化头像现在可…
Friend：开源的语音对话AI 硬件 轻松捕捉对话。只需将其连接到移动设备，无论您走到哪里，都会自动保存会议、聊天和语音备忘录的高质量转录。 获取即时摘要、重点亮点、思维导图、待…
生数科技发布Vidu 视频生成模型 生数科技不声不响整了个大活。发布 Vidu 视频生成模型，支持长达 16 秒 1080P 视频直接生成。 从演示视频来看一致性、运动幅度都达到了…
Adobe 发布 Firefly Image 3 模型及对应新功能 Adobe 发布了Firefly Image 3模型，Photoshop（测试版）也大规模更新了很多功能。包括文…
微软发布 phi-3-mini 微型模型 微软发布 phi-3-mini 模型，4 位量化之后可以部署在 iPhone 14 上，只占用 1.8G 内存，每秒输出 12 个 Tok…
Captions：AI 自动视频剪辑工具 Captions 这个产品可以自动识别超长视频的有价值判断并且自动剪辑成多条适合传播的短视频。 生成的短视频可以选择对应的字幕模板，并且支…
