大语言模型（LLM）后训练数据准备相关笔记
本文是关于对LLM进行微调和二次预训练时的学习笔记，包含了一些经验总结。参考资料包括了流程化大语言模型数据准备、OpenAI微调文档等。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun238511.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重
Ole32.dll未找到：如何再次修复或下载
上一篇
2023年7月5日 下午4:50
什么是Wuapihost.exe和它的用途是什么？
下一篇
2023年7月5日 下午5:42
相关推荐
-
一亿上下文长度的 LLM：LTM-2-Mini
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
-
Open AI 新的推理模型已经训练完成
Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数…
-
xAI 发布 Grok-2 系列模型
xAI 发布 Grok-2 系列模型 老马的 XAI 发布 Grok-2 Beta 版本。在LMSYS的成绩超过了Claude 3.5 Sonnet 和 GPT-4-Turbo。 …
-
Jamba 1.5系列模型：非 Transformer 模型首次追上先进模型
Jamba 1.5系列模型：非 Transformer 模型首次追上先进模型 AI21 推出了新的 Jamba 1.5 模型家族，包括 Jamba 1.5 Mini 和 Jamba…
-
Ideogram 发布了 2.0 图像生成模型
Ideogram 发布了 2.0 图像生成模型 图像生成质量大幅提高，产品易用性改善，最强的文字生成能力。尝试了一下发现真的很离谱，不只是文字生成这么简单，可以实现复杂排版搭配色彩…
-
Google Gemini 登陆 Opera，以下是使用方法
像Microsoft和谷歌这样的大型科技公司正在全力以赴地整合各自的人工智能模型。根据最近的发展，Opera 的 Aria AI 现在可以访问 Google Cloud 的 Gem…
-
Google I/O 发布会的内容
Google I/O 发布会的内容 Google 紧随 Open AI 开了今年的 I/O 发布会，一个字概括就是全。模型层面所有的指标都在卷，同时也发布了所有现在主流的模型类型。…
-
关于GPT-4o 模型更新
关于GPT-4o 模型更新 它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。 它可以在 232 毫秒内响应音频输入，平均为 320 毫秒，这与人…
-
DeepSeek 发布 DeepSeek-V2 模型
DeepSeek 发布 DeepSeek-V2 模型 DeepSeeK 上周发布了DeepSeek-V2模型，将现在优秀 LLM 的价格战又抬上了一个新的高度，百万 Token 输…
-
Indigo关于发布会预测的整理
Indigo关于发布会预测的整理 GPT-4 的新版应该会按照参数规模不同分化成多个版本，这个和 Claude 还有 Gemini 多版本的逻辑一样； 前两周出现在 llmsys …
-
Monterey：帮助企业分析非结构化数据
Monterey：帮助企业分析非结构化数据 Monterey AI 是一个专为企业打造的强大分析平台，专注于管理和分析大量非结构化数据。这类数据目前占所有新企业数据的90%。预计到…
-
Simulon：混合现实 3D 模型软件
Simulon：混合现实 3D 模型软件 只需要下载app扫描周围环境，然后选择对应的模型。之后等几分钟就会渲染好跟现实环境融合的MR视频。没有官网只有申请测试的表单。  …
-
Synthesia：EXPRESS-1 模型驱动的数字人
Synthesia：EXPRESS-1 模型驱动的数字人 EXPRESS-1 模型驱动，以实现逼真的头像表现。通过训练模型理解我们说什么以及我们如何说的微妙关系，表达力化头像现在可…
-
生数科技发布Vidu 视频生成模型
生数科技发布Vidu 视频生成模型 生数科技不声不响整了个大活。发布 Vidu 视频生成模型，支持长达 16 秒 1080P 视频直接生成。 从演示视频来看一致性、运动幅度都达到了…
-
Adobe 发布 Firefly Image 3 模型及对应新功能
Adobe 发布 Firefly Image 3 模型及对应新功能 Adobe 发布了Firefly Image 3模型，Photoshop（测试版）也大规模更新了很多功能。包括文…
-
微软发布 phi-3-mini 微型模型
微软发布 phi-3-mini 微型模型 微软发布 phi-3-mini 模型，4 位量化之后可以部署在 iPhone 14 上，只占用 1.8G 内存，每秒输出 12 个 Tok…
-
Mixtral8X22B 模型开源
Mixtral8X22B 模型开源 Mixtral8X22B在只公布了一个磁力链接之后，又正式发布了模型的技术报告： Mixtral 8x22B是一个稀疏混合专家（SMoE）模型，…
-
Reka Core 发布，一个 GPT-4 级别的多模态 LLM
Reka Core 发布，一个 GPT-4 级别的多模态 LLM Reka Core 发布，一个 GPT-4 级别的多模态 LLM 。看了一下介绍确实非常强大。它具有图像、视频和音…
-
Meta 正式发布 Llama3 8B 、 70B 模型
Meta 正式发布 Llama3 8B 、 70B 模型 Meta 在上周终于发布了 Llama3，目前先发布的是 8B 以及 70B 两个模型，还有多模态以及一个 400B 规模…
-
AI画图应用Ideogram发布模型更新
AI画图应用Ideogram发布模型更新 Ideogram 发布了一大波更新，模型能力再次增强，平时做海报和普通图片挺好用的。 主要升级内容有： 增强的文字渲染和照片写实效果：减少…
-
谷歌发布了一堆AI能力和升级
谷歌发布了一堆AI能力和升级 Google Next 2024上周放出了不少狠货，这次 Open AI 没能够压下去热度。 首先是 Gemini Pro 1.5 进行了一大波升级，…
-
IKI：RAG驱动的内容收藏
IKI：RAG驱动的内容收藏 终于有产品能够用AI重新思考和构建稍后阅读和内容收集工具了。iki这个笔记工具非常强大，你不需要整理自己收藏的内容一切都交给AI来完成。它可以处理你收…
-
Cohere推出了大型语言模型Command R+
Cohere推出了大型语言模型Command R+ 专为企业级工作负载设计，优化了高级检索增强生成(RAG)功能，以减少错误生成，并支持10种关键语言的多语言覆盖。 详细信息： 在…
-
Open AI 发力模型定制
Open AI 发力模型定制 OpenAI又有动作了，推出了一系列新功能和程序，让开发者在微调和创建定制模型时有更多的控制权和灵活性。 主要功能包括： 在每个训练周期中保存完整的微…
-
LLM训练器 – 自动从提示进入微调模型
LLM训练器 – 自动从提示进入微调模型 该项目的目标是探索一种实验性的新流程，以训练一个高性能的任务特定模型。试图抽象出所有的复杂性，使得从想法到性能良好的完全训练模…
