香港中文大学（深圳）与字节联手推出自由调速语音大模型

来源：互联网 2026-08-02 20:25:20

香港中文大学（深圳）与字节跳动联合提出FlexiSLM，首个同时支持动态帧率和可控帧率的语音大模型。其通过帧合并技术将平均处理帧率从12.5赫兹降至6.25赫兹，计算量减半且质量损失极小，并可精确指定目标帧率。在多项评测中性能领先，推理速度比Qwen2.5-Omni快34%。

先说一个绕不开的问题：语音大模型为什么总是“固定频率”在说话？

想象你和手机里的语音助手聊天，或者用AI把文字转成语音。背后其实有一台机器在固定打节拍——就像节拍器一样，不管你是在说“嗯……”还是“量子纠缠”，它都用同样的节拍去切分和处理每一段声音。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

现有的语音大模型普遍采用固定帧率处理声音。所谓帧率，类比电影每秒多少帧，语音帧率就是每秒钟用多少个“声音片段”表示一句话。常见系统要么25赫兹（每秒25帧），要么12.5赫兹。看起来没什么问题，但仔细一想就有意思了：你在说“嗯……”或者停顿的时候，系统仍然老老实实以固定频率处理那些几乎没信息量的片段，白白消耗计算资源。更麻烦的是，固定帧率还剥夺了用户调速的权利——要是设备性能有限，或者网络不好，没法在速度和质量之间做个权衡。

把场景拉回现实。香港中文大学（深圳）和字节跳动的研究团队针对这个问题做出了一套系统，叫FlexiSLM——业界首个同时支持动态帧率和可控帧率的语音大模型，听音和说话两端都做到了“按需调速”。

讨论原文可在访问：arXiv:2606.31247

也可以直接去GitHub开源代码库扒完整实现。

一、节拍器与即兴演奏家：固定帧率与动态帧率的根本区别

要理解这项研究解决了什么问题，拿乐队打比方最直观。传统固定帧率语音模型说什么呢？就像一个永远以固定节奏敲鼓的鼓手。不管前面的吉他手弹得多慢或多快，鼓点始终如一。简单可靠，但浪费资源——舞台上没人演奏时，鼓手还在机械打着节拍。

动态帧率则是经验丰富的爵士乐鼓手，能感知音乐节奏变化，安静时轻轻扫弦，激烈段落才全力敲击。这种“随内容调整节拍”的方式，正是FlexiSLM的核心理念。

这套理念的技术基础来自一个名叫FlexiCodec的语音编码器。核心思路很直接：相邻两段声音如果内容非常相近，就合并成一个更长的片段来处理，减少需要处理的帧数。判断要不要合并，用余弦相似度计算——高于某个阈值就合并，相差较大则保留独立处理。FlexiCodec在12.5赫兹基础帧率下，通过这种合并机制平均能把实际处理帧率降到6.25赫兹，减少了一半计算量，同时还能保持不错的语音质量。不过，这技术以前只在小规模文字转语音系统里验证过，从未用于端到端语音大模型。

FlexiSLM的工作，就是把这套搬进更复杂、更实用的语音大模型体系里。

二、FlexiSLM的结构：像“思考者”和“说话者”搭档工作

整体架构可以理解为一对搭档：一个负责“理解和思考”（Thinker），另一个负责“把想法转化成声音”（Talker）。

负责理解的那端叫音频编码器，采用来自Qwen2.5-Omni的预训练模块，能把原始声音转换成每秒25帧的连续特征序列。这25赫兹信号随后进入关键组件——帧合并模块，通过计算相邻帧相似度决定哪些可以合并，最终把输入压缩到不超过12.5赫兹的动态帧率序列，再送入核心大模型主干思考和推理。

大语言模型主干（也就是“思考者”）的基础是Qwen2.5-7B-Instruct。有趣的是，FlexiSLM的思考者处理语音时，不是读完输入就停下，而是贯穿用户提问到助手回答全过程，始终在“思考”——这跟Qwen2.5-Omni在文字生成结束后停止思考的方式不同。

负责输出语音的“说话者”是一个专门的Transformer模块，接收思考者最后一层隐藏状态、目标帧率信号和之前生成的语音令牌，然后输出两条并行数据流：一条FlexiCodec的语义令牌，一条每个令牌对应的帧长度属性。两条数据流配合就能支持动态帧率的语音输出。

为了防止说话者“抢在大脑前面说话”——即语音输出跑到对应文字内容之前——系统设计了一个5帧延迟机制，让语音流稍微落后于文字流，确保时间对应正确。帧长度令牌还会再额外延迟一步，让模型先知道这个位置的语音内容，再决定持续多长时间。

还有个值得关注的细节：除了标准“思考者到说话者”单向信息流，FlexiSLM还设计了一条可选反向通道——“说话者到思考者连接”。这条通道把说话者已生成的语音令牌信息反馈回思考者，让它在后续推理中能感知“我已经说了什么”，就像一边讲话一边听自己声音，从而更好保持语音输出连贯性。

最终，说话者输出的语音令牌会进入预训练好的流匹配音频解码器，转换成梅尔频谱图，再经过Vocos声码器转为24千赫兹的真实语音波形。

三、让帧率听从命令：可控帧率的实现方式

FlexiSLM最吸引眼球的能力：用户可以直接告诉模型“我希望以6.25赫兹平均帧率输出语音”，模型就会老实按这个节奏工作，不需要重新训练。

要做到这点，研究团队先考虑了一种直觉方案：通过调整合并阈值间接控制帧率。阈值高，合并少，帧率高；阈值低，合并多，帧率低。确实有效，但麻烦在于——同一个阈值面对不同句子会产生差异极大的帧率结果。比如阈值设为0.90，理论应输出约8赫兹，实际在不同句子上变化范围从3.91到10.74赫兹，标准差高达0.70，几乎没有预测性。

于是他们提出了直接帧率控制方案。训练阶段，每一条语音样本处理时，系统会随机采样一个合并阈值，计算出该样本实际得到的平均帧率，然后把帧率数值作为条件信号喂给说话者。通俗类比就是：不再告诉厨师“把火调到中档”（间接控制），而是直接说“我要七分熟的牛排”（直接目标），让厨师自己判断开多大火、烤多长时间。

推理时，用户只需要指定目标帧率，系统自动调整内部合并强度匹配目标。为了平滑覆盖4赫兹到12.5赫兹范围内任意帧率（而不是只支持几个固定档位），研究团队用正弦位置编码来把帧率数值编码成连续向量信号，输入给说话者的每个时间步。

实验数据验证了精准度：目标6.25赫兹时，实际输出帧率在不同测试集上均值都在6.24到6.25之间，标准差仅0.03到0.06，几乎没有偏差；目标4.0赫兹时同样高度准确。相比之下，间接阈值控制在相同测试集上的帧率变化范围可以超过6赫兹，完全无法预期。

四、训练的三个阶段：从“学会说话”到“说得更好”

FlexiSLM的训练过程分三个依次递进的阶段，就像培训一位同时担任翻译和播音员的工作人员：先学会播音，再学会翻译，最后打通融合。

第一阶段叫“说话者预训练”。大模型主干被冻结不动，只训练说话者模块，数据是大量英文文字转语音数据（约10万小时）。目的是让说话者先学会把语义令牌转化成高质量语音输出，不需要理解语言内容，只需要“会说”。说话者到思考者的反向连接在这个阶段关闭。

第二阶段叫“多任务LoRA微调”。LoRA是一种轻量级微调技术，用少量额外参数适应新任务，类似给训练好的大脑“加装补丁”。这个阶段打开输入端帧合并模块和大语言模型主干，在混合任务数据上同时训练——包括语音对话、文字转语音、语音识别和音频理解等多种。最重要的数据来源是团队专门构建的FlexiSLM-Data数据集，包含140万条语音对话样本，共9900小时。构建过程：从公开问答、指令跟随和对话数据集收集文字提问，用更大模型生成文字回答，再把回答合成为语音，最后通过格式、准确性和语音识别质量三重过滤筛掉异常样本。

第三阶段叫“全参数微调”。把第二阶段的LoRA补丁合并回原始参数，对整个模型进行全参数训练，同时开启并训练说话者到思考者反向连接。目标：进一步提升12.5赫兹最高质量档位下的性能，同时增强低帧率鲁棒性。整个训练在24块A100 80G GPU上完成。

训练损失由三部分组成：文字令牌预测损失、语音令牌预测损失、帧长度令牌预测损失，三者加权求和，其中文字损失权重是另外两项的两倍。

五、和同类模型的比较：数字背后的真实实力

在Kimi-Audio-Evalkit评测体系上，FlexiSLM-7B与Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B等主流7B参数语音大模型进行正面比较。评测包括语音问答、语音识别和音频理解任务，同时测试“语音输入文字输出”和“语音输入语音输出”两种模式。

在最高质量配置下，FlexiSLM综合得分72.4/67.2，而同为7B参数的Qwen2.5-Omni是66.7/63.3，Kimi-Audio是69.7/57.2，Mimo-Audio是70.6/59.0。FlexiSLM语音回答质量明显领先。

把输出帧率降到6.25赫兹后，FlexiSLM综合得分几乎没有变化（72.3/66.2），语音令牌减少一半，质量损失极小。进一步把输入和输出都降到6.25赫兹，得分为70.2/64.3，在语音对话维度依然超过所有7B基线。这直接验证了核心主张：动态帧率可以在更低计算开销下达到甚至超过固定帧率模型表现。

继续压到5.0赫兹，综合得分降到69.0/60.4；4.0赫兹则是67.2/56.5。语音识别错误率随之上升：6.25赫兹下是2.55/6.37，5.0赫兹下是3.34/7.85，4.0赫兹下是4.47/9.53。可见低于6.25赫兹后质量衰减更明显，这也是未来工作重点方向。

推理速度方面数据同样印证研究价值。FlexiSLM在最高质量配置下的实时因子是1.17，而Qwen2.5-Omni是1.57，FlexiSLM快了34%。把输出帧率降到6.25赫兹，RTF降到0.59，比实时速度快近一倍，相比Qwen2.5-Omni快约2.7倍。从计算量看，12.5赫兹配置需约4.57 TFLOPs，输出降到6.25后降到3.41，进一步降到2.73。

在语音生成质量方面，文字转语音识别错误率FlexiSLM以2.14%优于Qwen2.5-Omni的3.18%和Qwen3-Omni的3.34%。对话回答语音中，识别错误率4.52%同样优于对方6.33%。说明FlexiSLM输出语音不仅速度快，发音清晰度也更高。

音频理解任务上，FlexiSLM同样出色。在情感识别、口音识别、人声分类、乐器识别和性别分类等任务上，平均准确率65.8%，超过Gemini 2.5-Pro的48.3%和LLaSO-3B的58.3%。值得注意的是，音频理解类任务在帧率降低时表现非常稳定——从12.5一路压到4.0赫兹，准确率几乎没有变化。原因在于情感、口音这类整体性特征不依赖精细局部音素细节，全局声学统计信息在合并后仍保留。

六、消融实验：拆解每个设计决策的贡献

研究团队系统测试了各设计选择的必要性，用更小规模训练做对比实验，所有变体都在6.25/6.25赫兹下评估。

如果把动态帧合并换成均匀合并（每两帧固定合并成一帧，不根据相似度判断），结果是语音对话综合得分从63.0下降到61.0，文字转语音识别错误率从3.11%上升到4.95%，涨幅约59%。这说明动态合并确实比均匀合并保留更多对语音质量有意义的信息。

类似地，如果把输入端的动态合并也换成均匀合并，语音转文字综合得分从68.7下降到67.5，困难测试集识别错误率从7.20%上升到7.97%。但语音对话得分和简单测试集识别率几乎不变。说明动态输入合并主要对需要精细语音理解的任务有帮助。

把直接帧率控制换回间接阈值控制，语音对话和文字转语音质量下降，语音转文字和语音识别几乎不受影响。研究团队分析认为，阈值控制的模糊性让说话者在训练中面临更复杂的学习任务，需要从不够精确的条件信号中猜测目标帧率，从而减慢收敛速度，在有限预算下导致生成质量较差。

研究团队还测试了不同编码器和主干选择。换用SenseVoice编码器，语音问答稍有下降但语音识别提升；换用专门ASR编码器，语音识别大幅提升但语音问答明显下降——与直觉一致，ASR编码器善于识别文字内容，但理解语义层面能力较弱。换用Qwen2.5-Omni的预训练主干，语音问答下降但语音识别提升，说明从文字LLM出发的主干拥有更强的知识和推理先验。

最后，如果把输入端帧合并模块中的Transformer去掉，直接把合并后特征送入大语言模型，语音识别错误率急剧恶化（干净集从2.92%涨到6.45%，困难集从7.20%涨到12.33%），语音问答也明显下降。这个实验说明，那个用于重新对齐动态合并后特征的轻量Transformer是不可或缺的。

说到底，FlexiSLM做的事情是给语音大模型装上“变速齿轮”。以前的系统只能全速运行，就像只有一个挡位的汽车；FlexiSLM则让模型根据实际需要灵活切换速度，在性能充裕时全速，资源有限时降速，整个过程不需要换车。

这对普通用户意味着什么呢？不远的将来，AI语音助手可以在需要最快响应时以低质量快速给答案，在等待时间充足时切换到高质量模式——切换只需要一个参数改变，不需要部署两套系统。对于资源有限的边缘设备（比如手机或智能音箱），这种灵活性价值更为显著。

当然，研究团队也坦诚指出现阶段的不足。FlexiSLM目前还不支持流式输出，需要等模型生成完整个回答再播放，而不是边想边说。模型还没有经过RLHF或DPO这类对齐训练，训练数据集中在单轮对话，多轮对话、深度推理和复杂指令支持还有提升空间。