从头开始构建大型语言模型
这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。每个阶段都有清晰的文本、图表和实例来解释相关概念。
课程内容包括：
- 从基础理解注意力机制
- 构建并预训练一个类似于GPT的模型
- 学习如何加载预训练的权重
- 对模型进行分类任务的微调
- 使用直接偏好优化进行指令微调模型
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun272521.html
从头开始构建大型语言模型
•
工具软件
赞 (0)
打赏
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
SyncTalk：合成同步头部的说话视频
上一篇
2024年1月8日
LLMs能够编写代码并不意味着它们具备推理和规划能力
下一篇
2024年1月8日
相关推荐
-
OpenAI o1 是什么？如何运作的
https://u.jd.com/daBByyr https://u.jd.com/d67YrPi OpenAI o1 可以通过复杂的任务进行推理，并解决比以前的科学、编码和数学模…
-
Unriddle：AI 论文写作工具
Unriddle：AI 论文写作工具 Y Combinator 支持的研究工具，旨在加速研究人员和学生阅读和撰写研究论文的过程，提供 AI 辅助的信息检索、内容理解和写作功能，支持…
-
Clockwise：基于 AI 的日历工具
Clockwise：基于 AI 的日历工具 Clockwise 是一个基于 AI 的时间管理日历工具，旨在通过智能调度帮助个人和团队更高效地管理时间。 它能够像魔术一样工作，为团队…
-
Tolan：人格化的 ChatBot
Tolan：人格化的 ChatBot 一个友好的小外星人，你可以和他谈论任何事情，他甚至可以帮助你想象你的想法。看起来支持类似实时语音能力，小外星人的形象也可以自定义非常可爱
-
阿里开源支持视频理解的多模态 LLM Qwen2-VL
阿里开源支持视频理解的多模态 LLM Qwen2-VL 国内现在还没有特别好的多模态闭源模型尤其是支持视频理解的，阿里这就开源了。不过最大的Qwen2-VL 72B 没有开源，只开…
-
一亿上下文长度的 LLM：LTM-2-Mini
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
-
Open AI 新的推理模型已经训练完成
Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数…
-
PackPack：保存和收集内容 AI 整理
PackPack：保存和收集内容 AI 整理 PackPack是一个为用户提供一键保存网页内容的浏览器扩展插件。用户可以通过扩展按钮快速保存页面、捕获帖子、通过悬停图片气泡保存图片…
-
Meta 如何微调： 关注有效数据集
Meta 如何微调： 关注有效数据集 Meta AI 团队关于如何微调 LLM 的第三篇文章，主要探讨如何通过精细化数据集来提高大型语言模型（LLMs）的性能，包括全参数精细化（F…
-
Polymet ：AI 生成前端界面
Polymet ：AI 生成前端界面 YC 投了一个类似V0 的前端代码生成项目 Polymet。 这个比 V0 多了很多很实用的功能对设计的还原也很好。 自定义主题色、字体、圆角…
-
AdvancedLivePortrait：自定义面部表情动画
AdvancedLivePortrait：自定义面部表情动画 Live Portrait 被玩出花了。AdvancedLivePortrait 这个插件可以让你手动编辑人脸图片的表…
-
Fluxgym：FLUX Lora 训练工具
Fluxgym：FLUX Lora 训练工具 Fluxgym：一个非常简单的傻瓜式 FLUX Lora 训练工具。最低只需要12G显存就可以训练。后端还是用的Kohya脚本。使用方…
-
Replit 发布了 AI 编程工具 Replit Agent
Replit 发布了 AI 编程工具 Replit Agent Replit 发布了 AI 编程工具 Replit Agent。这玩意太强了，对于编程零基础的人非常有用。 Clua…
-
Project Sid：1000 个 Agent 组成的社会
Project Sid：1000 个 Agent 组成的社会 这玩意太强了。一千个 Agent 在《我的世界》游戏里自主运行和发展： 会根据领导人的不同发展出不同的社会政策。 发现…
-
AdSense全新广告意向条状标签格式即将发布，您符合自动启用该格式的条件
我们非常高兴地宣布，广告意向条状标签这一最新的意向驱动型搜索广告格式即将发布。继广告意向链接和广告意向锚点链接获得成功之后，广告意向条状标签的推出让您有更多方式来展示与用户高度相关…
-
VMware虚拟机安装fnnas飞牛私有云+详细教程 VMware Workstation部署飞牛NAS手册
VMWare虚拟机保姆级部署fnnas飞牛私有云 准备下载： 1、https://support.broadcom.com/group/ecx/productdownloads?s…
-
Respired：社交媒体批量管理
Respired：社交媒体批量管理 一个针对初创企业的 AI 驱动的社交媒体管理平台，通过分析、内容创建、多渠道调度和性能分析等功能，帮助企业高效地管理社交媒体， 多渠道社交媒体管…
-
Morphic Studio：为创建受控视频做的 AI 视频平台
Morphic Studio：为创建受控视频做的 AI 视频平台 Morphic Studio 包括 Canvas 和 Compose 功能，Canvas 是一个全面的故事板和生成…
-
Deep Live Cam：单图实现实时直播换脸
Deep Live Cam：单图实现实时直播换脸 前几天引起人们对 AI 写实能力警惕的另一个项目，只需要一张图片就可以实现实时的直播换脸。 从演示来看角度大的话还是会穿帮，另外换…
-
Figure 发布 Figure 02 人形机器人
Figure 发布 Figure 02 人形机器人 Figure 上周发布了 Figure 02 人形机器人，他们说这是世界上最先进的 AI 硬件。2023 年 2 月他们就完成了…
-
FLUX 的周边生态发展迅速
FLUX 的周边生态发展迅速 前段时间由于 SD3 的问题，开源的图片生态发展一度停滞，值得关注的新项目和模型几乎没有。 FLUX 上周发布后这个态势被快速改变了，由于其优秀的图片…
-
Napkin：文本转换为信息图表
Napkin：文本转换为信息图表 Napkin AI 是一个将文本内容转换为视觉图像的工具，旨在通过生成图表、流程图等视觉元素来加速和提高业务故事讲述的效果。 使用 Napkin …
-
Trellis AI：从非结构化内容中提取数据
Trellis AI：从非结构化内容中提取数据 Trellis AI 引擎能够将复杂的数据源，如金融文档、电话和邮件，高效地转换成结构化的 SQL 格式，以便数据和运营团队使用。 …
-
Sparkle：用 AI 自动整理文件
Sparkle：用 AI 自动整理文件 使用 AI 创建独特的文件夹系统，并将每个新文件（以及所有旧文件）整理到正确的位置。它可以管理您的下载、桌面和文档文件夹。 &…
-
Clapper app：AI 剪辑工具
Clapper app：AI 剪辑工具 非常强的网页端 AI 生成和视频剪辑工具。接入了 AI 视频需要的各种 API，包括图片生成、LLM、语音生成、音乐生成、视频生成。时间轴直…
