跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

8 条精选近 30 天 6 条共收录 33 条

更新

语音与音频的精选

10月28日周三第 1–8 条
  1. The Decoder82

    Nvidia 发布开源 Nemotron 3.5 Transcribe 模型,集成转录、翻译与说话人识别功能

    Nvidia 发布了开源语音识别模型 Nemotron 3.5 Transcribe,该模型在单张 GPU 上即可运行,支持 40 种语言转录、31 种语言与英语互译及 13 种语言说话人识别。

    推荐理由:该模型在单卡上实现了转录、翻译与说话人识别的多任务集成,并提供了大规模开源数据集供垂直领域微调。

  2. NVIDIA Blog80

    NVIDIA RTX Spark 笔记本新增 Nemotron 3.5 Transcribe 模型及 Agent 资源管理功能

    NVIDIA 宣布 RTX Spark 笔记本新增 Nemotron 3.5 Transcribe 开源语音模型及 Agent 资源管理功能。Nemotron 3.5 Transcribe 支持 40 种语言转录与翻译,在 Hugging Face Open ASR 榜单排名第一。NVIDIA App 新增资源管理功能,允许用户在前景应用与后台 Agent 之间分配 GPU 资源。

    推荐理由:原文展示了端侧 AI 在资源调度与多模态模型上的具体进展,读者可据此评估本地部署智能体的可行性。

10月23日周五
  1. AWS Machine Learning Blog62

    AWS 教程:在 Amazon SageMaker AI 上使用 Kokoro TTS 实现 AI 智能体低延迟语音流式传输

    AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型,通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示,逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒,在部署环境中比批量处理快 2.4 至 3.5 倍。

    推荐理由:原文给出了双向流式传输与音频编码的实测对比,读者可据此优化语音智能体的首包延迟。

  2. AWS Machine Learning Blog62

    Amazon Polly 生成式引擎重大升级:新增 14 种语音并支持印地语和芬兰语

    Amazon Polly 生成式引擎完成重大升级,提供更具表现力和准确性的低延迟的语音输出,并新增 14 种跨 9 个地区的语音,其中印地语和芬兰语首次实现生成式语音通用可用。

    推荐理由:此次升级在不改变 API 调用的前提下提升了语音自然度与准确性,并新增印地语和芬兰语支持,便于现有应用直接获得更优的语音体验。

10月14日周三
10月13日周二
  1. The Verge · AI78

    Apple 发布首款家庭智能显示屏 HomeView

    Apple 发布首款家庭智能显示屏 HomeView,售价 299 美元,将于 11 月 13 日在八个国家上市。该设备配备 7 英寸方形屏幕和 A18 芯片,内置 Siri AI,支持通过面部识别和个人上下文提供个性化服务,并作为 Apple Home 中枢控制 Matter 设备。

    推荐理由:文章提供了 Apple HomeView 的硬件规格、价格及首发市场信息,并分析了其作为家庭智能中枢与个人设备切换的定位。

9月25日周五
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar 功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过原生结合低延迟流式视频与实时对话,为 Gemini 企业版引入具备视觉存在的多模态交互能力。

    推荐理由:原文展示了低延迟视频流与实时对话的原生结合,并说明了异步工具调用与多语言唇形同步机制,为评估企业级多模态交互体验提供了具体技术细节。

9月23日周三
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS,支持通过自然语言提示创建自定义角色声音并逐行控制表演细节。Gemini 3.8 Flash TTS 在 Hume AI Voice Design Benchmark 中位列第一,支持超过 100 种语言,并已在 Google AI Studio 和 Gemini API 上线。

    推荐理由:原文展示了从静态预设到动态创意工作室的转变,提供了多语言角色声音生成与逐行表演控制的具体能力细节。