在 ISCSLP 2026 的 NVVSpeech Challenge 中，模思智能的语音转录模型 MOSS-Transcribe 获得 Track 1（语音理解赛道）第一名，成绩接近官方基线（33.32）的两倍；语音合成模型 MOSS-TTS 以 55.20 分获得 Track 2（语音生成赛道）第二名，仅次于 Tencent-HY。两个赛道的参赛论文都已被 ISCSLP 2026 收录，我们将于 11 月在马来西亚槟城现场报告。
笑声、咳嗽、叹气，这些非语言发声（NVV）带着丰富的情绪和语气信息，却几乎都会被传统语音识别直接丢掉。NVVSpeech Challenge 围绕这类声音设了一听一说两个赛道。语音理解赛道要求模型转写中英文语音，并把听到的 NVV 以标签形式插入转录文本的对应位置。语音生成赛道正好反过来，考的是“该出声时能不能真的出声”：模型要按文本里的标签，在指定位置生成对应的笑声、叹气等声音。
MOSS-Transcribe 约有 2.4B 参数，借助 30B 教师模型通过 On-Policy 蒸馏训练而成，能在一次生成中输出带 NVV 标签的转录文本，不需要额外拼接事件分类器。MOSS-TTS 能在一次推理中生成包含指定 NVV 的完整语音，不需要把笑声等音频片段拼接进去，也不针对个别测试样本做单独修补。
ISCSLP 2026 NVVSpeech Challenge 的赛道与赛程
NVVSpeech Challenge 的全称是 Understanding and Generation of Speech with Non-Verbal Vocalizations，是第 15 届国际中文口语语言处理研讨会（ISCSLP 2026）的特别挑战赛。比赛关注的非语言发声（Nonverbal Vocalization，NVV），指说话时发出的笑声、咳嗽、叹气、倒吸气这类不构成词语的声音。同一句话，前面带一声笑还是带一声叹气，传达出的态度可能并不一样。
两个赛道都覆盖中文（普通话）和英文。按官方的定义，Track 1 语音理解要求模型检测、分类并定位语音中的非语言发声；Track 2 语音生成要求模型合成自然融入指定非语言发声的语音。两个赛道使用同一套 16 类标签：呼吸、吸鼻子、笑、哭、咳嗽、清嗓、打喷嚏、叹气、倒吸气、打鼾、打哈欠、哼声、呻吟、嘶声、咂嘴、打嗝。
2026 年 6 月 15 日，赛事被 ISCSLP 2026 接收为特别挑战赛，6 月 22 日开放报名。7 月，主办方陆续发布两个赛道的基线模型，并向报名队伍发放评测集。8 月 2 日，最终系统提交截止，排行榜随之冻结。系统描述论文 8 月 9 日截稿，8 月 31 日发出录用通知。10 月 6 日，主办方公布专场日程，并正式上线排行榜；10 月 19 日，测试集和评测代码对外公开。赛后，主办方发布了竞赛总结论文，比较了 10 个方案在数据构造、模型适配、数据重采样、候选筛选和偏好优化等方面的做法。
我们以“Moss-Transcribe”为队伍名、OpenMOSS 为所属单位参加了两个赛道，Track 1 提交的是 MOSS-Transcribe，Track 2 提交的是 MOSS-TTS。OpenMOSS 是由上海创智学院、复旦大学 NLP 实验室与模思智能三方联合共建的产学研大模型研究团队。
语音理解赛道：MOSS-Transcribe 获第一名
理解赛道的任务与评分规则
Track 1 的评测集共有中文录音 985 条、英文录音 961 条。评分相当严格：类别听对了、位置偏了，既算漏检，也算误报。按竞赛总结论文公布的评分规则，每种语言的得分由三项加权而成：
-
事件 F1，权重 70%：根据命中、漏检和误报计算精确率与召回率，取两者的调和平均，越高越好。这里用 micro 平均，即先把 16 类事件的命中、漏检和误报分别累加，再统一计算。
-
mNTD，权重 20%：衡量预测标签与参考标签之间的位置偏差，越低越好，按“1 − mNTD”计分。
-
带标签转录的错误率，权重 10%：中文用 CER（字错误率），英文用 WER（词错误率），每个标签按一个字或一个词计入，越低越好。按“1 − 错误率”计分；插入错误较多时错误率可能超过 100%，此时按 100% 计。
三项得分加权求和后乘以 100，就是单语种得分；中英文得分取平均，即为双语成绩。标签位置会影响前两项：位置不对的预测在事件 F1 里算不上命中；mNTD 则专门衡量位置偏差。这两项合计占 90% 的权重。剩下 10% 的带标签转录错误率也把标签计入，漏标、多标或标错都会推高 CER 和 WER。
MOSS-Transcribe 的做法：2.4B 模型直接输出带标签转录
这套规则下，光会转写远远不够。在我们的本地测试中，一个转写能力不错的通用语音识别（ASR）模型因为输出不了有效标签，只拿到 8.04 分。MOSS-Transcribe 是模思智能的语音转录模型，文字和事件标签在同一次生成中写出。训练分三步：
-
用大规模规范化数据训练一个 30B 的教师模型，参数规模是 MOSS-Transcribe 的十倍以上。
-
用 1000 条标注样本让 MOSS-Transcribe 学会标签格式。
-
在无标注的比赛音频上做 On-Policy 蒸馏：作为学生模型，MOSS-Transcribe 先自己生成转录，30B 教师模型再在相同的前缀上逐 token 给出指导。
MOSS-Transcribe 的成绩：接近官方基线的两倍
在官方最终排名中，MOSS-Transcribe 位列 Track 1 第一，比第二名高出 1 分以上，双语成绩接近官方基线（33.32）的两倍。
官方榜单还公布了 MOSS-Transcribe 在两种语言上的分项指标：
| 语言 | 事件 F1（越高越好） | mNTD（越低越好） | 带标签转录错误率（越低越好） |
|---|---|---|---|
| 中文 | 0.6384 | 0.3644 | CER 10.09% |
| 英文 | 0.653 | 0.3869 | WER 17.30% |
两种语言的事件 F1 都在 0.63 以上，英文略高；中文的 mNTD 更低，即标签位置偏差更小。表中的 CER 和 WER 都把标签计入，不能和只转写文字的语音识别结果横向比较；中文 CER 与英文 WER 口径不同，也不宜直接比高低。
语音生成赛道：MOSS-TTS 获第二名
生成赛道的任务与评分规则
Track 2 的输入是一段带有内联标签（inline tag）的文本，输出是完整的语音。一句话里可能有多个 NVV，位置可以在句首、句尾或任意两个词之间。生成时不能把标签名念出来，也不能让标签前后的词变得含糊。中英文各有 800 条带标签的测试文本。
每个系统在每种语言上按五个维度评分：
-
NVV 准确度，权重 30%：NVV 是否按指定的类型、数量和位置出现。
-
NVV 感知效果，权重 25%：NVV 是否清晰可闻、容易辨认。
-
整体自然度，权重 15%：整句语音是否自然流畅、前后衔接连贯。
-
整体音质，权重 15%：是否有明显的杂音或失真。
-
整体表现力，权重 15%：语气表达是否贴合文本内容、目标 NVV 和对话情境。
排名不只看自动打分：官方先用大型音频语言模型（LALM）按这五个维度给出客观分，再对排名靠前的系统组织人工听测，得到主观分。两者都按中英文平均，最终成绩按 0.30 × 客观分 + 0.70 × 主观分计算。
MOSS-TTS 的做法与成绩：客观分领先，最终成绩第二
MOSS-TTS 是模思智能的语音合成模型。参赛时，它在一次推理中生成整句语音，标签处的非语言发声和前后的文字一起生成，没有事后拼接笑声等音频片段，也没有针对个别测试样本做修补。
在官方最终排名中，MOSS-TTS 以 55.20 分获得 Track 2 第二名，仅次于 Tencent-HY（55.51 分）。竞赛总结论文指出，自动评测和人工听测给出的排序可能不同。本赛道参赛队伍中，MOSS-TTS 的客观分最高，比 Tencent-HY 高 1.93 分，主观分则比 Tencent-HY 低 1.28 分。两项按 30% 和 70% 加权后，Tencent-HY 以 0.31 分的优势排名第一。
官方榜单公布的双语得分如下（越高越好）：
| 评测项 | MOSS-TTS | 官方基线（NVV-Gen） |
|---|---|---|
| 客观分（LALM，权重 30%） | 74.87 | 73.96 |
| 主观分（人工听测，权重 70%） | 46.76 | 45.08 |
| 最终成绩 | 55.2 | 53.74 |
客观分、主观分和最终成绩三项都高于官方基线，最终成绩高出 1.46 分。人工听测的分项中，MOSS-TTS 的 NVV 准确度为 2.773、NVV 感知效果为 2.440（1–5 分），分别高于基线的 2.671 和 2.327。
两篇参赛论文被 ISCSLP 2026 收录，在槟城专场报告
我们在两个赛道的参赛论文都已被 ISCSLP 2026 收录。语音理解赛道的论文《Large-Scale Teacher Training and Tokenizer-Aligned On-Policy Distillation for Bilingual NVV Recognition》介绍 MOSS-Transcribe 的教师模型训练和 On-Policy 蒸馏方法；语音生成赛道的论文《Annotation- and ASR-Assisted Data Construction for MOSS-TTS in NVVSpeech Track 2》介绍 MOSS-TTS 参赛所用的数据构造方法。
ISCSLP 2026 于 11 月 14 日至 17 日在马来西亚槟城举行，NVVSpeech Challenge 专场安排在 11 月 15 日，包括特邀报告、竞赛论文快闪报告、竞赛总结与颁奖，以及海报展示。我们会在专场上介绍这两项工作，期待与到场的同行交流。
MOSS-Transcribe 和 MOSS-TTS 分别从“听”和“说”两端处理非语言发声。我们会继续让 MOSS-Transcribe 听懂更多文字之外的内容，也会把 MOSS-TTS 带非语言发声的语音合成做得更准、更自然、更像人说话。
相关链接
-
NVVSpeech Challenge 官网：https://nvvspeech-challenge.github.io/
-
NVVSpeech Challenge 专场日程：https://nvvspeech-challenge.github.io/program.html
-
NVVSpeech Challenge 官方榜单：https://nvvspeech-challenge.github.io/NVVSpeech-Challenge-Leaderboard/
-
NVVSpeech Challenge 竞赛总结论文：https://arxiv.org/pdf/2610.16076
-
ISCSLP 2026 会议官网：https://speech.ee.ntu.edu.tw/ISCSLP2026/
-
MOSS-Transcribe-Diarize 开源代码（GitHub）：https://github.com/OpenMOSS/MOSS-Transcribe-Diarize
-
MOSS-TTS 开源代码（GitHub）：https://github.com/OpenMOSS/MOSS-TTS