xAI Grok提供动力的引擎是Grok-1

Grok 是一个以《银河系漫游指南》为蓝本的 AI,因此几乎可以回答任何事情,更难的是,甚至可以建议要问什么问题!

Grok 旨在以一点机智的方式回答问题,并且具有叛逆的倾向,所以如果您讨厌幽默,请不要使用它!

Grok 的一个独特而根本的优势是它通过 X 平台实时了解世界。它还将回答大多数其他人工智能系统拒绝的辛辣问题。

Grok 仍然是一个非常早期的测试版产品——这是我们在 2 个月的培训中所能做到的最好的产品——所以期待它在您的帮助下每周都能迅速改进。

谢谢
xAI团队

我们为什么要建造 Grok

在xAI,我们希望创造人工智能工具,帮助人类寻求理解和知识。

通过创建和改进Grok,我们的目标是:

  • 收集反馈并确保我们正在构建能够最大限度地造福全人类的 AI 工具。我们认为,设计对各种背景和政治观点的人都有用的人工智能工具非常重要。我们还希望在遵守法律的前提下,通过我们的人工智能工具为我们的用户提供支持。我们与Grok的目标是在公开场合探索和展示这种方法。
  • 赋能研究和创新:我们希望 Grok 成为任何人的强大研究助手,帮助他们快速访问相关信息、处理数据并提出新想法。

我们的最终目标是让我们的人工智能工具协助追求理解。

Grok-1之旅

为Grok提供动力的引擎是Grok-1,这是我们在过去四个月中开发的前沿LLM。在这段时间里,Grok-1经历了多次迭代。

在宣布 xAI 之后,我们训练了一个具有 0 亿个参数的原型 LLM (Grok-33)。这个早期模型在标准 LM 基准测试上接近 LLaMA 2 (70B) 功能,但只使用了一半的训练资源。在过去的两个月里,我们在推理和编码能力方面取得了重大改进,最终推出了 Grok-1,这是一种功能更强大的最先进的语言模型,在 HumanEval 编码任务中实现了 63.2%,在 MMLU 上实现了 73%。

为了了解我们对 Grok-1 所做的能力改进,我们使用一些旨在衡量数学和推理能力的标准机器学习基准进行了一系列评估。

GSM8k:中学数学单词问题,(Cobbe 等人,2021 年),使用思维链提示。

MMLU:多学科多项选择题(Hendrycks 等人,2021 年),提供了 5 个镜头的上下文示例。

HumanEval:Python 代码完成任务,(Chen 等人,2021 年),pass@1评估为零样本。

数学:用 LaTeX 编写的初中和高中数学问题(Hendrycks 等人,2021 年),提示固定的 4 次提示。

基准 格罗克-0 (33B) LLaMa 2 70B 拐点-1 GPT-3.5型 格罗克-1 棕榈 2 Claude 2 GPT-4型
GSM8k的 56.8%
8 发
56.8%
8 发
62.9%
8 发
57.1%
8 发
62.9%
8 发
80.7%
8 发
88.0%
8 发
92.0%
8 发
MMLU系列 65.7%
5 发
68.9%
5 发
72.7%
5 发
70.0%
5 发
73.0%
5 发
78.0%
5 发
75.0%
5 次 + CoT
86.4%
5 发
HumanEval 39.7%
0 发
29.9%
0 发
35.4%
0 发
48.1%
0 发
63.2%
0 发
70%
0 次
67%
0 次
数学 15.7%
4 发
13.5%
4 发
16.0%
4 发
23.5%
4 发
23.9%
4 发
34.6%
4 发
42.5%
4 发

在这些基准测试中,Grok-1 表现出强劲的结果,超过了其计算类中的所有其他模型,包括 ChatGPT-3.5 和 Inflection-1。只有像 GPT-4 这样使用大量训练数据和计算资源进行训练的模型才能超越它。这展示了我们在 xAI 以极高的效率训练 LLM 方面取得的快速进展。

由于这些基准可以在网络上找到,我们不能排除我们的模型是无意中训练的,因此我们在 2 年匈牙利全国高中数学期末考试上对我们的模型(以及 Claude-4 和 GPT-2023)进行了手工评分,该期末考试于 59 月底发布,在我们收集了数据集后。Grok 以 C (2%) 通过了考试,而 Claude-55 获得了相同的成绩 (4%),GPT-68 以 0% 的成绩获得了 B。所有模型均在温度为1.<>和相同提示下进行评估。必须指出的是,我们没有为这次评估做出任何调整。这个实验是对我们的模型从未明确调整过的数据集的“现实生活”测试。

人工分级评估 格罗克-0 GPT-3.5型 Claude 2 格罗克-1 GPT-4型
匈牙利国家高中数学考试(2023年<>月) 37%
1 次
41%
1 次
55%
1 次
59%
1 次
68%
1 次

我们在模型卡中提供了 Grok-1 重要技术细节的摘要。

xAI 的工程设计

在深度学习研究的前沿,必须像构建数据集和学习算法一样谨慎地构建可靠的基础设施。为了创建 Grok,我们构建了一个基于 Kubernetes、Rust 和 JAX 的自定义训练和推理堆栈。

法学硕士培训就像一列货运列车在前方轰鸣;如果一节车厢脱轨,整个列车就会被拖离轨道,很难再次直立。GPU 失败的方式有很多种:制造缺陷、连接松动、配置不正确、内存芯片退化、偶尔的随机位翻转等等。在训练时,我们连续数月在数以万计的 GPU 之间同步计算,并且由于规模的原因,所有这些故障模式都变得频繁。为了克服这些挑战,我们采用了一套定制的分布式系统,确保立即识别并自动处理每种类型的故障。在 xAI,我们将最大限度地提高每瓦有用计算能力作为我们工作的重点。在过去的几个月里,我们的基础设施使我们能够最大限度地减少停机时间,即使在硬件不可靠的情况下也能保持较高的模型浮点运算利用率 (MFU)。

Rust 已被证明是构建可扩展、可靠和可维护的基础设施的理想选择。它提供了高性能、丰富的生态系统,并防止了人们通常会在分布式系统中发现的大多数错误。鉴于我们的团队规模较小,基础设施的可靠性至关重要,否则,维护工作会扼杀创新。Rust 让我们相信,任何代码修改或重构都可能产生工作程序,这些程序将在最少的监督下运行数月。

我们现在正在为模型能力的下一次飞跃做准备,这将需要可靠地协调数以万计的加速器上的训练运行,运行互联网规模的数据管道,并在 Grok 中构建新的功能和工具。如果这听起来让您感到兴奋,请在此处申请加入团队。

xAI的研究

我们允许 Grok 访问搜索工具和实时信息,但与所有在下一个标记预测上训练的 LLM 一样,我们的模型仍然会产生错误或矛盾的信息。我们认为,实现可靠的推理是解决当前系统局限性的最重要研究方向。在这里,我们想重点介绍一些我们在xAI最感兴趣的有前途的研究方向:

  • 通过工具辅助实现可扩展的监督。人类的反馈是必不可少的。但是,提供一致且准确的反馈可能具有挑战性,尤其是在处理冗长的代码或复杂的推理步骤时。人工智能可以通过查找来自不同来源的参考资料、使用外部工具验证中间步骤以及在必要时寻求人工反馈来协助进行可扩展的监督。我们的目标是在模型的帮助下最有效地利用人工智能导师的时间。
  • 与形式验证集成,确保安全性、可靠性和接地。为了创建能够对现实世界进行深入推理的人工智能系统,我们计划在不那么模棱两可和更可验证的情况下发展推理技能。这使我们能够在没有人类反馈或与现实世界交互的情况下评估我们的系统。这种方法的一个主要直接目标是为代码的正确性提供正式的保证,特别是在人工智能安全的形式可验证方面。
  • 长期上下文理解和检索。在特定环境中有效发现有用知识的训练模型是产生真正智能系统的核心。我们正在研究可以在需要时发现和检索信息的方法。
  • 对抗性鲁棒性。对抗性示例表明,优化人员可以很容易地利用人工智能系统中的漏洞,无论是在训练期间还是在服务期间,都会导致它们犯严重的错误。这些漏洞是深度学习模型长期存在的弱点。我们对提高LLM、奖励模型和监控系统的鲁棒性特别感兴趣。
  • 多模式功能。目前,格罗克没有其他感官,例如视觉和听觉。为了更好地帮助用户,我们将为Grok配备这些不同的感官,以实现更广泛的应用,包括实时交互和辅助。

我们相信,人工智能具有巨大的潜力,可以为社会贡献重要的科学和经济价值,因此我们将努力制定可靠的保障措施,防止灾难性的恶意使用。我们相信尽最大努力确保人工智能仍然是一股向善的力量。

如果您和我们一样乐观,并希望为我们的使命做出贡献,请在此处申请加入团队。

抢先体验 Grok

我们在美国为有限数量的用户提供试用我们的 Grok 原型并提供有价值的反馈,这将有助于我们在更广泛地发布之前改进其功能。您可以在此处加入 Grok 候补名单。此版本只是 xAI 的第一步。展望未来,我们有一个令人兴奋的路线图,并将在未来几个月内推出新的功能和特性。

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun264644.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月6日 下午8:54
下一篇 2023年11月7日 上午9:05

相关推荐

  • 一亿上下文长度的 LLM:LTM-2-Mini

    一亿上下文长度的 LLM:LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…

    工具软件 2024年9月20日
  • Open AI 新的推理模型已经训练完成

    Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型(Strawberry)生产优质合成数…

    工具软件 2024年9月20日
  • Fluxgym:FLUX Lora 训练工具

    Fluxgym:FLUX Lora 训练工具 Fluxgym:一个非常简单的傻瓜式 FLUX Lora 训练工具。最低只需要12G显存就可以训练。后端还是用的Kohya脚本。使用方…

    2024年9月20日
  • xAI 发布 Grok-2 系列模型

    xAI 发布 Grok-2 系列模型 老马的 XAI 发布 Grok-2 Beta 版本。在LMSYS的成绩超过了Claude 3.5 Sonnet 和 GPT-4-Turbo。 …

    2024年8月31日
  • Jamba 1.5系列模型:非 Transformer 模型首次追上先进模型

    Jamba 1.5系列模型:非 Transformer 模型首次追上先进模型 AI21 推出了新的 Jamba 1.5 模型家族,包括 Jamba 1.5 Mini 和 Jamba…

    2024年8月31日
  • Ideogram 发布了 2.0 图像生成模型

    Ideogram 发布了 2.0 图像生成模型 图像生成质量大幅提高,产品易用性改善,最强的文字生成能力。尝试了一下发现真的很离谱,不只是文字生成这么简单,可以实现复杂排版搭配色彩…

    2024年8月31日
  • Google Gemini 登陆 Opera,以下是使用方法

    像Microsoft和谷歌这样的大型科技公司正在全力以赴地整合各自的人工智能模型。根据最近的发展,Opera 的 Aria AI 现在可以访问 Google Cloud 的 Gem…

    谷歌Google 2024年5月30日
  • Google I/O 发布会的内容

    Google I/O 发布会的内容 Google 紧随 Open AI 开了今年的 I/O 发布会,一个字概括就是全。模型层面所有的指标都在卷,同时也发布了所有现在主流的模型类型。…

    2024年5月20日
  • 关于GPT-4o 模型更新

    关于GPT-4o 模型更新 它可以接受任意组合的文本、音频和图像作为输入,并生成任意组合的文本、音频和图像输出。 它可以在 232 毫秒内响应音频输入,平均为 320 毫秒,这与人…

    工具软件 2024年5月20日
  • DeepSeek 发布 DeepSeek-V2 模型

    DeepSeek 发布 DeepSeek-V2 模型 DeepSeeK 上周发布了DeepSeek-V2模型,将现在优秀 LLM 的价格战又抬上了一个新的高度,百万 Token 输…

    2024年5月20日
  • Indigo关于发布会预测的整理

    Indigo关于发布会预测的整理 GPT-4 的新版应该会按照参数规模不同分化成多个版本,这个和 Claude 还有 Gemini 多版本的逻辑一样; 前两周出现在 llmsys …

    工具软件 2024年5月20日
  • Simulon:混合现实 3D 模型软件

    Simulon:混合现实 3D 模型软件 只需要下载app扫描周围环境,然后选择对应的模型。之后等几分钟就会渲染好跟现实环境融合的MR视频。没有官网只有申请测试的表单。 &nbsp…

    工具软件 2024年5月10日
  • Synthesia:EXPRESS-1 模型驱动的数字人

    Synthesia:EXPRESS-1 模型驱动的数字人 EXPRESS-1 模型驱动,以实现逼真的头像表现。通过训练模型理解我们说什么以及我们如何说的微妙关系,表达力化头像现在可…

    工具软件 2024年5月10日
  • 生数科技发布Vidu 视频生成模型

    生数科技发布Vidu 视频生成模型 生数科技不声不响整了个大活。发布 Vidu 视频生成模型,支持长达 16 秒 1080P 视频直接生成。 从演示视频来看一致性、运动幅度都达到了…

    2024年5月10日
  • Adobe 发布 Firefly Image 3 模型及对应新功能

    Adobe 发布 Firefly Image 3 模型及对应新功能 Adobe 发布了Firefly Image 3模型,Photoshop(测试版)也大规模更新了很多功能。包括文…

    2024年5月10日
  • 微软发布 phi-3-mini 微型模型

    微软发布 phi-3-mini 微型模型 微软发布 phi-3-mini 模型,4 位量化之后可以部署在 iPhone 14 上,只占用 1.8G 内存,每秒输出 12 个 Tok…

    2024年5月10日
  • Mixtral8X22B 模型开源

    Mixtral8X22B 模型开源 Mixtral8X22B在只公布了一个磁力链接之后,又正式发布了模型的技术报告: Mixtral 8x22B是一个稀疏混合专家(SMoE)模型,…

    2024年5月10日
  • Meta 正式发布 Llama3 8B 、 70B 模型

    Meta 正式发布 Llama3 8B 、 70B 模型 Meta 在上周终于发布了 Llama3,目前先发布的是 8B 以及 70B 两个模型,还有多模态以及一个 400B 规模…

    工具软件 2024年5月10日
  • AI画图应用Ideogram发布模型更新

    AI画图应用Ideogram发布模型更新 Ideogram 发布了一大波更新,模型能力再次增强,平时做海报和普通图片挺好用的。 主要升级内容有: 增强的文字渲染和照片写实效果:减少…

    2024年5月10日
  • 谷歌发布了一堆AI能力和升级

    谷歌发布了一堆AI能力和升级 Google Next 2024上周放出了不少狠货,这次 Open AI 没能够压下去热度。 首先是 Gemini Pro 1.5 进行了一大波升级,…

    2024年5月10日
  • Cohere推出了大型语言模型Command R+

    Cohere推出了大型语言模型Command R+ 专为企业级工作负载设计,优化了高级检索增强生成(RAG)功能,以减少错误生成,并支持10种关键语言的多语言覆盖。 详细信息: 在…

    2024年5月10日
  • Open AI 发力模型定制

    Open AI 发力模型定制 OpenAI又有动作了,推出了一系列新功能和程序,让开发者在微调和创建定制模型时有更多的控制权和灵活性。 主要功能包括: 在每个训练周期中保存完整的微…

    2024年5月10日
  • LLM训练器 – 自动从提示进入微调模型

    LLM训练器 – 自动从提示进入微调模型 该项目的目标是探索一种实验性的新流程,以训练一个高性能的任务特定模型。试图抽象出所有的复杂性,使得从想法到性能良好的完全训练模…

    2024年5月10日
  • Jan: 本地LLM聊天软件

    Jan: 本地LLM聊天软件 一个全平台的本地 LLM 聊天软件Jan,支持自动下载模型以及非常详细的设置。懒得配置 Ollama 的可以试试。 除了支持本地模型以外,在线的模型可…

    工具软件 2024年5月10日
  • 阶跃星辰的公司加入了大语言模型的战场

    阶跃星辰的公司加入了大语言模型的战场。 发布了一个千亿参数(100B)多模态大语言模型 Step-1, 同时还发布了对应的聊天机器人产品跃问和类似 C AI 的陪伴型应用冒泡鸭。 …

    2024年5月10日