Distil-Whisper:比Whisper快6倍,体积小50%的语音识别模型

Distil-Whisper:比Whisper快6倍,体积小50%的语音识别模型

该模型是由Hugging Face团队开发,它在Whisper核心功能的基础上进行了优化和简化,体积缩小了50%。速度提高了6倍。并且在分布外评估集上的字错误率 (WER) 不超过 1%。

它还可以作为 Whisper 的助手模型用于推测性解码,速度提高了2倍。

主要优点

🚀 速度 – Distil-Whisper 的推理速度是 Whisper 的 6 倍。

📦 尺寸 – 模型大小减少了 49%,更适合资源有限的设备。

✔️ 准确性 – 词错误率(WER)与 Whisper 相比只有 1% 的差距。

🔊 抗噪声 – 在嘈杂环境下仍能保持较高的识别准确性。

🚫 减少幻听 – 减少了重复词组的出现,并降低了插入错误率。

🤖 推测性解码 – 作为 Whisper 的辅助模型,推理速度提高了 2 倍。

主要方法

Whisper模型是一个基于大规模弱监督数据训练的语音识别模型,具有1.5亿参数,并在680,000小时的语音识别数据上进行预训练,展现出在多个数据集和领域的强大泛化能力。然而,随着预训练语音识别模型大小的增加,将这些大型模型部署到低延迟或资源受限的环境中变得越来越困难。

为了解决这个问题,研究者们采用了伪标签方法来构建一个大规模的开源数据集(在 9 个不同的开源数据集上接受了 22,000 个小时的训练,涵盖 10 个域、超过 18,000 个说话者),并使用这个数据集来进行知识蒸馏,从而创建了Distil-Whisper模型。

研究者们使用了一个基于词错误率(WER)的启发式方法来筛选高质量的伪标签,以用于训练Distil-Whisper模型。

实验结果

Distil-Whisper模型在保持原有 Whisper 模型核心功能的基础上,显著提高了处理速度。速度提高了5.8倍,参数减少了51%,并且在零样本迁移设置中对分布外测试数据的WER性能仅下降了1%。

这一速度的提升不仅意味着在相同的时间内可以处理更多的语音数据,而且对于那些需要快速响应的应用场景,如实时语音翻译、实时会议记录等,具有重要的实际意义。

在长音频评估中,Distil-Whisper的表现甚至超过了原始的Whisper模型,这主要是因为它在处理长形音频时产生幻听错误的倾向较低。

此外,Distil-Whisper与Whisper模型共享相同的编码器权重,这意味着它可以作为Whisper的辅助模型,用于推测性解码,从而实现了2倍的推理速度提升,同时确保预测结果与原始模型相同。这使得Distil-Whisper可以作为现有使用Whisper的语音识别管道的即插即用替代品。

由于模型更小,对计算资源的需求也相对较低,这使得它更适合在资源受限的设备上运行,例如在移动设备或边缘计算设备上。这种轻量级的设计也使得 Distil-Whisper 在网络带宽有限或计算能力受限的环境中更为实用。

项目链接

GitHub:github.com/huggingface/distil-whisper

Colab:olab.research.google.com/github/sanchit-gandhi/notebooks/blob/main/Distil_Whisper_Benchmark.ipynb

模型下载:https://huggingface.co/collections/distil-whisper/distil-whisper-models-65411987e6727569748d2eb6

论文:https://arxiv.org/abs/2311.00430

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267382.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日
下一篇 2023年11月23日

相关推荐

  • 一亿上下文长度的 LLM:LTM-2-Mini

    一亿上下文长度的 LLM:LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…

    工具软件 2024年9月20日
  • Open AI 新的推理模型已经训练完成

    Open AI 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 Open AI 的逻辑是使用一个足够庞大且非常不经济的推理模型(Strawberry)生产优质合成数…

    工具软件 2024年9月20日
  • xAI 发布 Grok-2 系列模型

    xAI 发布 Grok-2 系列模型 老马的 XAI 发布 Grok-2 Beta 版本。在LMSYS的成绩超过了Claude 3.5 Sonnet 和 GPT-4-Turbo。 …

    2024年8月31日
  • Jamba 1.5系列模型:非 Transformer 模型首次追上先进模型

    Jamba 1.5系列模型:非 Transformer 模型首次追上先进模型 AI21 推出了新的 Jamba 1.5 模型家族,包括 Jamba 1.5 Mini 和 Jamba…

    2024年8月31日
  • Ideogram 发布了 2.0 图像生成模型

    Ideogram 发布了 2.0 图像生成模型 图像生成质量大幅提高,产品易用性改善,最强的文字生成能力。尝试了一下发现真的很离谱,不只是文字生成这么简单,可以实现复杂排版搭配色彩…

    2024年8月31日
  • iCloud同步列表中缺少语音备忘录选项:修复

    使用Apple设备有其自身的优势,因为您的所有联系人,备忘录,便笺,钱包,照片都会自动同步。但是,在同步iCloud设置时,您可能看不到“语音备忘录”选项。如果您受到此问题的影响,…

    2024年6月4日 苹果Apple
  • Google Gemini 登陆 Opera,以下是使用方法

    像Microsoft和谷歌这样的大型科技公司正在全力以赴地整合各自的人工智能模型。根据最近的发展,Opera 的 Aria AI 现在可以访问 Google Cloud 的 Gem…

    谷歌Google 2024年5月30日
  • Google I/O 发布会的内容

    Google I/O 发布会的内容 Google 紧随 Open AI 开了今年的 I/O 发布会,一个字概括就是全。模型层面所有的指标都在卷,同时也发布了所有现在主流的模型类型。…

    2024年5月20日
  • 关于GPT-4o 模型更新

    关于GPT-4o 模型更新 它可以接受任意组合的文本、音频和图像作为输入,并生成任意组合的文本、音频和图像输出。 它可以在 232 毫秒内响应音频输入,平均为 320 毫秒,这与人…

    工具软件 2024年5月20日
  • Supertone Shift:实时 AI 语音变声器

    Supertone Shift:实时 AI 语音变声器 Supertone Shift是由韩国Supertone公司推出的一款实时语音变换软件,旨在为用户提供高品质和个性化的声音转…

    2024年5月20日
  • Voicenotes:语音笔记 APP

    Voicenotes:语音笔记 APP voicenotes 是个 AI 笔记应用以录音为主。 支持 AI 搜索语音笔记、分享以及改改笔记的属性,比如将笔记转成代办。全部都是 AI…

    2024年5月20日
  • DeepSeek 发布 DeepSeek-V2 模型

    DeepSeek 发布 DeepSeek-V2 模型 DeepSeeK 上周发布了DeepSeek-V2模型,将现在优秀 LLM 的价格战又抬上了一个新的高度,百万 Token 输…

    2024年5月20日
  • Indigo关于发布会预测的整理

    Indigo关于发布会预测的整理 GPT-4 的新版应该会按照参数规模不同分化成多个版本,这个和 Claude 还有 Gemini 多版本的逻辑一样; 前两周出现在 llmsys …

    工具软件 2024年5月20日
  • Simulon:混合现实 3D 模型软件

    Simulon:混合现实 3D 模型软件 只需要下载app扫描周围环境,然后选择对应的模型。之后等几分钟就会渲染好跟现实环境融合的MR视频。没有官网只有申请测试的表单。 &nbsp…

    工具软件 2024年5月10日
  • SecBrain:AI 语音笔记应用

    SecBrain:AI 语音笔记应用 SecBrain 正在开发一款 AI 智能应用,旨在简化创建和管理语音笔记的流程。用户可以录制语音,应用随后自动为其生成对应的图标、标题、摘要…

    2024年5月10日
  • Synthesia:EXPRESS-1 模型驱动的数字人

    Synthesia:EXPRESS-1 模型驱动的数字人 EXPRESS-1 模型驱动,以实现逼真的头像表现。通过训练模型理解我们说什么以及我们如何说的微妙关系,表达力化头像现在可…

    工具软件 2024年5月10日
  • Friend:开源的语音对话AI 硬件

    Friend:开源的语音对话AI 硬件 轻松捕捉对话。只需将其连接到移动设备,无论您走到哪里,都会自动保存会议、聊天和语音备忘录的高质量转录。 获取即时摘要、重点亮点、思维导图、待…

    工具软件 2024年5月10日
  • 生数科技发布Vidu 视频生成模型

    生数科技发布Vidu 视频生成模型 生数科技不声不响整了个大活。发布 Vidu 视频生成模型,支持长达 16 秒 1080P 视频直接生成。 从演示视频来看一致性、运动幅度都达到了…

    2024年5月10日
  • Adobe 发布 Firefly Image 3 模型及对应新功能

    Adobe 发布 Firefly Image 3 模型及对应新功能 Adobe 发布了Firefly Image 3模型,Photoshop(测试版)也大规模更新了很多功能。包括文…

    2024年5月10日
  • 微软发布 phi-3-mini 微型模型

    微软发布 phi-3-mini 微型模型 微软发布 phi-3-mini 模型,4 位量化之后可以部署在 iPhone 14 上,只占用 1.8G 内存,每秒输出 12 个 Tok…

    2024年5月10日
  • Mixtral8X22B 模型开源

    Mixtral8X22B 模型开源 Mixtral8X22B在只公布了一个磁力链接之后,又正式发布了模型的技术报告: Mixtral 8x22B是一个稀疏混合专家(SMoE)模型,…

    2024年5月10日
  • Meta 正式发布 Llama3 8B 、 70B 模型

    Meta 正式发布 Llama3 8B 、 70B 模型 Meta 在上周终于发布了 Llama3,目前先发布的是 8B 以及 70B 两个模型,还有多模态以及一个 400B 规模…

    工具软件 2024年5月10日
  • AI画图应用Ideogram发布模型更新

    AI画图应用Ideogram发布模型更新 Ideogram 发布了一大波更新,模型能力再次增强,平时做海报和普通图片挺好用的。 主要升级内容有: 增强的文字渲染和照片写实效果:减少…

    2024年5月10日
  • 谷歌发布了一堆AI能力和升级

    谷歌发布了一堆AI能力和升级 Google Next 2024上周放出了不少狠货,这次 Open AI 没能够压下去热度。 首先是 Gemini Pro 1.5 进行了一大波升级,…

    2024年5月10日
  • Cohere推出了大型语言模型Command R+

    Cohere推出了大型语言模型Command R+ 专为企业级工作负载设计,优化了高级检索增强生成(RAG)功能,以减少错误生成,并支持10种关键语言的多语言覆盖。 详细信息: 在…

    2024年5月10日