完全开源的 LLM OLMo

完全开源的 LLM OLMo

Allen 人工智能研究所推出了完全开源的LLM OLMo,提供了模型的数据、训练代码、模型以及评估代码。

首次发布的内容包括四个参数规模达到 70 亿的语言模型,这些模型具有不同的架构、优化器和训练硬件,另外还有一个参数规模为 10 亿的模型。所有这些模型都在至少 2 万亿个词元(token)上接受了训练。

每个模型都包含完整的训练数据、模型权重、训练和推理代码、训练日志和性能指标。在多种任务中,OLMo 7B 模型显示出了强大的性能,可以与 Llama 2 等模型相媲美。
vez6s3kz.webp

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun280752.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2024年2月6日 下午2:27
下一篇 2024年2月6日 下午2:28

相关推荐