蚂蚁一口气又开源出来了5个模型，涵盖了听懂、回答、说话三个环节，TTS、原生音频理解、ASR
可组合、可自行部署，用这个链路可以搭一个从“听—理解—合成”的语音Agent出来
TTS方面：Ming-3.0-tts，最有价值的是“导演式语音生成”，声音可以通过自然语言来设计
模型可以按照指令控制音色、语速、音高、情绪、重音以及叹气、笑声、停顿等副语言表现
有两款模型：Tiny 7.9B/A1.3B、0.5B
Audio方面：Ming-3.0-audio，不是单纯的ASR也不是TTS，应该说是有听觉能力的大模型，原生音频理解与推理，无需中间转写
能直接听懂声音、理解和推理音频，以文字或语音回答，也可以结合外部工具构建语音Agent
比如说总结长录音、回答口头问题、理解音乐和环境声音等
也是两款模型：Flash 126B-A6.5B/Tiny 9.3B-A2.7B
ASR方向：Ming-3.0-asr-tiny，这次重点强化了方言、专业术语以及上下文识别
核心是它的Context ASR能力，结合专业术语、候选热词和历史对话，可以提高复杂场景下的识别准确率
#ASR #TTS #蚂蚁百灵大模型
📹 视频见原推：https://x.com/aigclink/status/2112463410302763032
作者补充：
Ming-3.0-tts-0.5B: https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B Ming-3.0-tts-tiny: https://huggingface.co/inclusionAI/Ming-3.0-tts-tiny Ming-3.0-audio-flash: https://huggingface.co/inclusionAI/Ming-3.0-audio-flash Ming-3.0-audio-tiny: https://huggingface.co/inclusionAI/Ming-3.0-audio-tiny Ming-3.0-asr-tiny: https://huggingface.co/inclusionAI/Ming-3.0-asr-tiny