跳到主要内容

如何使用语言模型

选择、下载和打包模型

目前,该插件设计为支持单一语言模型,需在编辑器中预先选择,以便与项目一起打包和使用。请按照以下步骤选择、下载并暂存特定的语言模型:

  1. 从可用选项中选择所需的模型。该插件开箱即支持以下模型:

    标准模型:

    • Tiny
    • Base
    • Small
    • Medium
    • Large V1
    • Large V2
    • Large V3
    • Large V3 Turbo

    量化模型(文件大小减小):

    • Tiny Quantized (Q5_1) - 量化至 5 位和 1 个小数点
    • Tiny Quantized (Q8_0) - 量化至 8 位和 0 个小数点
    • Base Quantized (Q5_1) - 量化至 5 位和 1 个小数点
    • Small Quantized (Q5_1) - 量化至 5 位和 1 个小数点
    • Medium Quantized (Q5_0) - 量化至 5 位和 0 个小数点
    • Large V2 Quantized (Q5_0) - 量化至 5 位和 0 个小数点
    • Large V3 Quantized (Q5_0) - 量化至 5 位和 0 个小数点
    • Large V3 Turbo Quantized (Q5_0) - 量化至 5 位和 0 个小数点

    蒸馏模型:

    • Distil Small - Small 模型的蒸馏版本
    • Distil Medium - Medium 模型的蒸馏版本
    • Distil Large V2 - Large V2 模型的蒸馏版本
    • Distil Large V3 - Large V3 模型的蒸馏版本

    自定义模型:

    • Custom - 指定自定义模型名称和 URL,以便从服务器下载您自己的语言模型

    每个模型(自定义模型除外)都可以配置为多语言仅英语

  2. 点击 Setup Language Model 按钮,如果所选语言模型尚未存在于您的本地机器上,该按钮将自动请求下载。

  3. 下载完成后,编辑器将生成一个位于 "Plugins/RuntimeSpeechRecognizer/Content/LanguageModels/LanguageModel.uasset" 的语言模型资产。此语言模型资产将是与您的项目一起打包的唯一模型。

您也可以通过点击 Clear Language Models 按钮来删除任何本地下载的语言模型。

或者,您也可以手动下载语言模型并将其放置在 "Plugins/RuntimeSpeechRecognizer/Content" 文件夹中,模型需来自 https://huggingface.co/ggerganov/whisper.cpp。

请注意,只有选定的语言模型会与您的项目一起打包。因此,您无需担心其他模型,它们将在打包阶段被排除在外。