MOSS 模思

模型详解

不止于实时对话:MOSS-Live 如何通过前后台协同实现任务并行?

MOSS-Live 通过前后台协同,让实时对话与复杂任务并行进行。前台持续感知与交流,后台异步执行检索、推理和工具调用,双方同步上下文与任务状态,实现对话不中断、结果适时反馈。

当 AI 不仅需要与你实时交流,还需要帮你查询信息、调用工具、完成复杂任务时,一个新的问题随之出现。

实时交流要求 AI 快速理解并回应用户,而复杂任务往往涉及多步推理、信息检索和工具调用,需要更长的处理时间。如何在保证实时交互的同时完成复杂任务,成为系统架构需要解决的问题。

为解决这一问题,MOSS-Live 采用了前后台协同架构,将实时交互与复杂任务执行交由不同模型分工处理,让 AI 在持续交流的同时,也能异步完成复杂任务。

什么是前后台架构?

MOSS-Live 的前后台协同架构主要由前台交互模型、后台模型和协同机制组成。

前台负责实时感知与对话,后台负责复杂任务执行,双方通过记忆、上下文和任务状态保持协同。

前台交互模型:负责实时感知与交流。

全双工工作模式下,前台在说话期间持续倾听,基于语义而非简单的音量变化判断用户是否打断或结束话轮;在多人场景中识别当前说话对象,并实时感知自身的语音输出进度。同时,前台持续接收语音、画面和环境声音信息,根据实时输入调整交互过程。

后台模型:负责复杂推理与任务执行。

当用户提出需要多步处理或复杂处理的任务时,后台模型负责工具调用、信息检索和长程调研等工作。任务在后台异步执行,不会阻塞前台的实时对话。

协同机制:通过记忆、上下文与任务状态管理保持协作。

前后台共享对话上下文与记忆,任务的派发、执行进度和结果通过任务状态在两侧同步。前台能够随时获取后台任务的状态,并在任务完成后,于合适的时机将结果反馈给用户。

MOSS-Live 前后台协同架构

前后台协同架构的工作流程

前后台协同的关键,在于将实时交互与复杂任务执行并行处理。用户提出任务后,前台负责理解需求并将任务交给后台,后台异步执行,前台则继续保持与用户的实时交流。

例如,当用户对 AI 说:「帮我调研一下最近的 AI 行业发展情况。」

首先,前台交互模型理解用户需求,将任务及相关上下文派发给后台模型。后台接收任务后,开始进行信息检索、复杂推理等工作;与此同时,前台仍然保持在线,持续倾听并回应用户。

任务执行期间,前后台通过协同机制保持信息同步。后台的执行进度与任务状态持续同步至前台,前台在保持实时交流的同时,也能根据用户新的语音、画面和环境声音信息调整交互过程。

执行任务期间,对话不中断

当后台完成任务后,执行结果回传至前台,由前台在合适的时机反馈给用户。整个过程中,后台负责完成复杂任务,前台负责维持实时交流,两者协同工作,让任务执行不再成为对话的中断点。

前后台协同架构的核心优势

前后台协同架构将实时交互与复杂任务执行分开处理,让 MOSS-Live 在保持自然交流的同时,也具备了处理复杂任务的能力。

  • 实时交互不中断:后台执行复杂任务时,前台仍然可以持续倾听并回应用户。用户不需要等待任务完成,可以继续提问、补充信息,保持自然的实时交流。

  • 复杂任务并行执行:通过前后台分工,深度推理、工具调用、信息检索和长程调研等任务可以交由后台异步执行,让 AI 在与用户交流的同时,也能处理更多复杂工作。

  • 上下文持续同步:前后台通过记忆、上下文与任务状态管理保持信息同步。前台能够掌握后台任务的执行进度,并在结果就绪后适时反馈,让任务执行与实时交流自然衔接。

通过前后台协同,MOSS-Live 将实时交互与复杂任务执行相结合,让 AI 在保持自然交流的同时,具备更强的任务处理能力。

即刻体验MOSS-Live

现在,MOSS-Live已正式开放在线体验和API接入。

你可以在模思智能官网与MOSS-Live对话,也可以通过API集成到自己的产品和应用中。