Allen AI 开源了微调模型 OLMo-7B-Instruct，真正意义上的开源。
你可以通过他们给出的资料了解从预训练模型到RLHF微调模型的所有信息。自己复刻一遍微调过程。
发布的内容包括：
完整的预训练数据：该模型是基于AI2的Dolma数据集构建的，该数据集包括了用于语言模型预训练的三万亿标记的开放语料库，包括生成训练数据的代码。
训练代码和模型权重：OLMo框架包括四种7B规模模型变体的完整模型权重，每个模型至少训练了2T个标记。推理代码、训练指标和训练日志都已提供。
评估：我们已发布了开发中使用的评估套件，每个模型每1000步都有500多个检查点，并在Catwalk项目的框架下提供了训练过程和评估代码。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun286348.html
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
https://u.jd.com/daBByyr https://u.jd.com/d67YrPi OpenAI o1 可以通过复杂的任务进行推理，并解决比以前的科学、编码和数学模…
Unriddle：AI 论文写作工具 Y Combinator 支持的研究工具，旨在加速研究人员和学生阅读和撰写研究论文的过程，提供 AI 辅助的信息检索、内容理解和写作功能，支持…
Clockwise：基于 AI 的日历工具 Clockwise 是一个基于 AI 的时间管理日历工具，旨在通过智能调度帮助个人和团队更高效地管理时间。 它能够像魔术一样工作，为团队…
Tolan：人格化的 ChatBot 一个友好的小外星人，你可以和他谈论任何事情，他甚至可以帮助你想象你的想法。看起来支持类似实时语音能力，小外星人的形象也可以自定义非常可爱
阿里开源支持视频理解的多模态 LLM Qwen2-VL 国内现在还没有特别好的多模态闭源模型尤其是支持视频理解的，阿里这就开源了。不过最大的Qwen2-VL 72B 没有开源，只开…
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数…
PackPack：保存和收集内容 AI 整理 PackPack是一个为用户提供一键保存网页内容的浏览器扩展插件。用户可以通过扩展按钮快速保存页面、捕获帖子、通过悬停图片气泡保存图片…
Meta 如何微调： 关注有效数据集 Meta AI 团队关于如何微调 LLM 的第三篇文章，主要探讨如何通过精细化数据集来提高大型语言模型（LLMs）的性能，包括全参数精细化（F…
Polymet ：AI 生成前端界面 YC 投了一个类似V0 的前端代码生成项目 Polymet。 这个比 V0 多了很多很实用的功能对设计的还原也很好。 自定义主题色、字体、圆角…
AdvancedLivePortrait：自定义面部表情动画 Live Portrait 被玩出花了。AdvancedLivePortrait 这个插件可以让你手动编辑人脸图片的表…
Fluxgym：FLUX Lora 训练工具 Fluxgym：一个非常简单的傻瓜式 FLUX Lora 训练工具。最低只需要12G显存就可以训练。后端还是用的Kohya脚本。使用方…
Replit 发布了 AI 编程工具 Replit Agent Replit 发布了 AI 编程工具 Replit Agent。这玩意太强了，对于编程零基础的人非常有用。 Clua…
Project Sid：1000 个 Agent 组成的社会 这玩意太强了。一千个 Agent 在《我的世界》游戏里自主运行和发展： 会根据领导人的不同发展出不同的社会政策。 发现…
我们非常高兴地宣布，广告意向条状标签这一最新的意向驱动型搜索广告格式即将发布。继广告意向链接和广告意向锚点链接获得成功之后，广告意向条状标签的推出让您有更多方式来展示与用户高度相关…
VMWare虚拟机保姆级部署fnnas飞牛私有云 准备下载： 1、https://support.broadcom.com/group/ecx/productdownloads?s…
Respired：社交媒体批量管理 一个针对初创企业的 AI 驱动的社交媒体管理平台，通过分析、内容创建、多渠道调度和性能分析等功能，帮助企业高效地管理社交媒体， 多渠道社交媒体管…
Morphic Studio：为创建受控视频做的 AI 视频平台 Morphic Studio 包括 Canvas 和 Compose 功能，Canvas 是一个全面的故事板和生成…
Deep Live Cam：单图实现实时直播换脸 前几天引起人们对 AI 写实能力警惕的另一个项目，只需要一张图片就可以实现实时的直播换脸。 从演示来看角度大的话还是会穿帮，另外换…
Figure 发布 Figure 02 人形机器人 Figure 上周发布了 Figure 02 人形机器人，他们说这是世界上最先进的 AI 硬件。2023 年 2 月他们就完成了…
FLUX 的周边生态发展迅速 前段时间由于 SD3 的问题，开源的图片生态发展一度停滞，值得关注的新项目和模型几乎没有。 FLUX 上周发布后这个态势被快速改变了，由于其优秀的图片…
Napkin：文本转换为信息图表 Napkin AI 是一个将文本内容转换为视觉图像的工具，旨在通过生成图表、流程图等视觉元素来加速和提高业务故事讲述的效果。 使用 Napkin …
Trellis AI：从非结构化内容中提取数据 Trellis AI 引擎能够将复杂的数据源，如金融文档、电话和邮件，高效地转换成结构化的 SQL 格式，以便数据和运营团队使用。 …
Sparkle：用 AI 自动整理文件 使用 AI 创建独特的文件夹系统，并将每个新文件（以及所有旧文件）整理到正确的位置。它可以管理您的下载、桌面和文档文件夹。 &…
Clapper app：AI 剪辑工具 非常强的网页端 AI 生成和视频剪辑工具。接入了 AI 视频需要的各种 API，包括图片生成、LLM、语音生成、音乐生成、视频生成。时间轴直…
