字节发布的这个MegaScale估计只有超级大厂才有用，一个在超过一万个 GPU 上训练 LLM 的生产系统。
整个系统涵盖了从模型块和优化器设计到计算与通信的重叠、运算符优化、数据管道以及网络性能调整的算法和系统组件。
MegaScale 在训练一个 175B 参数的 LLM 模型时，在 12,288 GPU 上实现了 55.2% 的模型浮点运算利用率（Model FLOPs Utilization，MFU），相比 Megatron-LM 提升了 1.34 倍。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun286376.html
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
https://u.jd.com/daBByyr https://u.jd.com/d67YrPi OpenAI o1 可以通过复杂的任务进行推理，并解决比以前的科学、编码和数学模…
Unriddle：AI 论文写作工具 Y Combinator 支持的研究工具，旨在加速研究人员和学生阅读和撰写研究论文的过程，提供 AI 辅助的信息检索、内容理解和写作功能，支持…
Clockwise：基于 AI 的日历工具 Clockwise 是一个基于 AI 的时间管理日历工具，旨在通过智能调度帮助个人和团队更高效地管理时间。 它能够像魔术一样工作，为团队…
Tolan：人格化的 ChatBot 一个友好的小外星人，你可以和他谈论任何事情，他甚至可以帮助你想象你的想法。看起来支持类似实时语音能力，小外星人的形象也可以自定义非常可爱
阿里开源支持视频理解的多模态 LLM Qwen2-VL 国内现在还没有特别好的多模态闭源模型尤其是支持视频理解的，阿里这就开源了。不过最大的Qwen2-VL 72B 没有开源，只开…
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数…
PackPack：保存和收集内容 AI 整理 PackPack是一个为用户提供一键保存网页内容的浏览器扩展插件。用户可以通过扩展按钮快速保存页面、捕获帖子、通过悬停图片气泡保存图片…
Meta 如何微调： 关注有效数据集 Meta AI 团队关于如何微调 LLM 的第三篇文章，主要探讨如何通过精细化数据集来提高大型语言模型（LLMs）的性能，包括全参数精细化（F…
Polymet ：AI 生成前端界面 YC 投了一个类似V0 的前端代码生成项目 Polymet。 这个比 V0 多了很多很实用的功能对设计的还原也很好。 自定义主题色、字体、圆角…
AdvancedLivePortrait：自定义面部表情动画 Live Portrait 被玩出花了。AdvancedLivePortrait 这个插件可以让你手动编辑人脸图片的表…
Fluxgym：FLUX Lora 训练工具 Fluxgym：一个非常简单的傻瓜式 FLUX Lora 训练工具。最低只需要12G显存就可以训练。后端还是用的Kohya脚本。使用方…
Replit 发布了 AI 编程工具 Replit Agent Replit 发布了 AI 编程工具 Replit Agent。这玩意太强了，对于编程零基础的人非常有用。 Clua…
Project Sid：1000 个 Agent 组成的社会 这玩意太强了。一千个 Agent 在《我的世界》游戏里自主运行和发展： 会根据领导人的不同发展出不同的社会政策。 发现…
我们非常高兴地宣布，广告意向条状标签这一最新的意向驱动型搜索广告格式即将发布。继广告意向链接和广告意向锚点链接获得成功之后，广告意向条状标签的推出让您有更多方式来展示与用户高度相关…
VMWare虚拟机保姆级部署fnnas飞牛私有云 准备下载： 1、https://support.broadcom.com/group/ecx/productdownloads?s…
Respired：社交媒体批量管理 一个针对初创企业的 AI 驱动的社交媒体管理平台，通过分析、内容创建、多渠道调度和性能分析等功能，帮助企业高效地管理社交媒体， 多渠道社交媒体管…
Morphic Studio：为创建受控视频做的 AI 视频平台 Morphic Studio 包括 Canvas 和 Compose 功能，Canvas 是一个全面的故事板和生成…
Deep Live Cam：单图实现实时直播换脸 前几天引起人们对 AI 写实能力警惕的另一个项目，只需要一张图片就可以实现实时的直播换脸。 从演示来看角度大的话还是会穿帮，另外换…
Figure 发布 Figure 02 人形机器人 Figure 上周发布了 Figure 02 人形机器人，他们说这是世界上最先进的 AI 硬件。2023 年 2 月他们就完成了…
FLUX 的周边生态发展迅速 前段时间由于 SD3 的问题，开源的图片生态发展一度停滞，值得关注的新项目和模型几乎没有。 FLUX 上周发布后这个态势被快速改变了，由于其优秀的图片…
Napkin：文本转换为信息图表 Napkin AI 是一个将文本内容转换为视觉图像的工具，旨在通过生成图表、流程图等视觉元素来加速和提高业务故事讲述的效果。 使用 Napkin …
Trellis AI：从非结构化内容中提取数据 Trellis AI 引擎能够将复杂的数据源，如金融文档、电话和邮件，高效地转换成结构化的 SQL 格式，以便数据和运营团队使用。 …
Sparkle：用 AI 自动整理文件 使用 AI 创建独特的文件夹系统，并将每个新文件（以及所有旧文件）整理到正确的位置。它可以管理您的下载、桌面和文档文件夹。 &…
Clapper app：AI 剪辑工具 非常强的网页端 AI 生成和视频剪辑工具。接入了 AI 视频需要的各种 API，包括图片生成、LLM、语音生成、音乐生成、视频生成。时间轴直…
