场景与能力支持范围
约 1123 字大约 4 分钟
2026-10-16
本页区分协议定义、软件接线和实际验收。已合入代码不表示当前服务已升级；部署必须启用对应信令、模型和媒体适配。设备只上报自己真正实现的子集，不把下面的场景全集一次复制进capabilityReport。
| 场景 | 当前可使用的核心 | 明确边界 |
|---|---|---|
| 能力与会话 S01 | 能力上报、设备创建、平台邀请、接听拒绝、建立和结束 | 每种purpose独立准入；声明不等于许可 |
| AI串联／实时 S02/S03/S20 | UDP、WebRTC语音；串联半双工、实时半双工／全双工；输入启停、插话、取消 | 全双工须实际AEC与模型支持；串联不启用全双工；没有统一首音时延承诺 |
| AI工具 S04/S22 | 平台MCP设备动作及审核客户端工具执行／结果回传 | 客户端当前审核工具为set_local_display_theme／action／schemaRevision=1，form仍为扩展；两条执行路径不能重复执行，取消回复不回滚动作 |
| 通话与会议 S06/S13 | 一对一、多人核心、成员与主持管理、设备主动呼叫及AI转人工核心 | 群成员不等于活跃通话成员；完整弱网、群视频及所有转接组合不宣称验收完成 |
| IPC S07/S08 | direct／accept预览、多人观看、独立订阅、IM权限下对讲、隐私和撤权停流 | 云台、抓拍等须产品物模型和驱动实现；第三方摄像头网关不等于自研IPC硬件验收 |
| 录制与播放 S15 | 真实录制器、同意与撤权状态、产物、历史回放、暂停seek和自然结束核心 | 存储与录制源须配置；目录可用不保证此刻可播放；封装完成才可取产物 |
| 门铃 S17 | 事件去重、多端振铃、免打扰、并发唯一胜出、拒绝超时与释放 | 接听不授予开锁权限；落选端不能结束胜者会话 |
| 接续与恢复 S18/S19 | prepare／ready／commit／abort、实际媒体就绪围栏、控制同步与有限恢复核心 | 候选就绪前原端保持；快照不自动恢复采集；更多会议恢复组合需专项验证 |
| 文字、图片、文件 S21 | none文字；串联会话的协商输入；设备附件Prepare→PUT→Complete→引用消费 | none只输出文字；原生Realtime当前不接离散文字／图片／文件，不用播报或历史注入冒充用户输入 |
| 翻译 S05、AI视觉 S09 | 扩展契约 | 不作为当前可运行的翻译／AI视频产品；预览授权不授予AI取帧 |
| 异步广播留言 S10、PTT S12、屏幕分享 S14、广播 S16 | 扩展契约及部分基础组件 | 不承诺端到端产品完成；媒体播放、实时节目和语音留言有不同生命周期 |
能力声明的严格边界
- AI音频格式当前为Opus、单声道，16/24/48kHz与20/60ms须取实际适配交集。WebRTC桌面音频采用48kHz／20ms；RTP Opus时钟与模型PCM采样率不要混淆。
supportedInteractionModes仅AI语音使用halfDuplex/fullDuplex，不能写auto/manual/realtime。AI全双工须aecMode=device；没有真实AEC则只声明半双工。none请求必须显式tracks:[]、输入模态和outputModalities:["text"]；不携带音频、AEC、模式或假SDP。controlCapabilities不能照抄扩展能力全集。当前焦点操作是operations:["focusControl"]与真实focusResources；其他扩展字段、multiViewer等并非当前严格入口白名单。videoReceive、成员同步、端点接续、控制恢复、UDP安装确认和客户端工具各有独立声明及依赖。不得由“有摄像头”“同账号”“支持接听”推断支持。
各字段的条件、枚举与示例见能力命令。扩展契约的完整JSON用于评审和未来实现，不能越过本页的当前限制提交给平台。
不属于接入完成的替代证据
SDP交换成功不等于媒体连通；服务器发送完毕不等于设备播放完毕；模拟设备实际解码也不等于实体硬件AEC或现场听感验收。Linux软件证据不覆盖Windows增量、实体硬件、多节点、翻译和AI视频。每项产品上线仍应使用实际部署、模型和设备完成验收。
更新日志
2026/10/16 16:04
查看所有更新日志
fe3a7-docs(AI与音视频): 按场景整理完整接入流程与命令契约于