NVIDIA 员工单工作站构建万圣节语音代理

一位 NVIDIA 员工利用 NVIDIA Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot 及 Audio2Face-3D 等模型，在配备双 RTX PRO Blackwell GPU 的单台工作站上成功部署了名为 MonsterHouse 的交互式语音代理系统。该系统实现了从 ASR 识别、LLM 推理到 TTS 合成与面部动画生成的完整本地闭环，无需云端依赖即可运行。 核心架构采用 LoRA 适配器赋予 Bolt E4B 特定的“暴躁海盗”人格，并通过缓存响应将端到端延迟优化至 0.72 秒（未缓存为 1.70 秒）。视觉感知方面，系统集成了 Nemotron 3 Nano Omni 进行场景理解，配合 YOLO 和 ByteTrack 实现访客计数与追踪，展示了多模态模型在端侧协同工作的可行性。 该案例提供了具体的工程路径：使用 Nemotron Voice Agent 作为基础框架，结合 Magpie TTS 的零样本声音克隆功能以及 Unreal Engine 中的实时渲染管线。作者指出，虽然代码本身未打包发布，但所有组件均已开源或可通过 build.nvidia.com 获取，证明了利用小参数模型（如 Bolt E4B）替代大参数模型（如 Qwen3 30B-A3B）在特定垂直场景下的效率优势与成本效益。