AI 与音视频接入
约 1023 字大约 3 分钟
2026-10-16
设备可以与 AI 对话、调用工具，也可以与人通话、发布摄像头画面和接收媒体。本栏目按使用场景说明接入流程，报文字段集中在协议参考，不要求开发者先阅读平台内部代码或任务记录。
从哪里开始
| 你的目标 | 阅读入口 |
|---|---|
| 第一次接入，或让编码助手实现设备端 | 快速接入 → 公共约定 → 嵌入式开发 |
| AI文字、语音、多轮、插话和工具 | AI对话场景 |
| 与人通话、多人会议、门铃接听 | 通话与会议 |
| 摄像头预览、对讲和回放 | 摄像头场景 |
| 录制、播放、换端和断线恢复 | 媒体与会话管理 |
| 查询某个报文字段 | 完整命令索引 |
| 编写浏览器或App | 应用接入 |
| 配置AI能力、设备绑定或拍照识图 | AI功能配置与设备接入 |
| 查找AI交互命令或UDP音频包格式 | AI交互命令 · UDP音频通道 |
先查支持范围。设备能力、平台适配、产品配置及用户授权必须全部满足；文档列出扩展契约，不表示每个部署、每款设备都实现了全部场景。
通道分工
| 通道 | 负责什么 | 不负责什么 |
|---|---|---|
MQTT signaling | 能力、会话、邀请、SDP、轨、输入启停、取消和资源控制 | 文本正文、文件和媒体帧 |
MQTT message | 输入内容、识别、AI回复、工具与内容事件 | 接听、SDP和音视频帧 |
MQTT ai | AI交互命令定义的完整AI会话接入 | 不与signaling会话混用sessionId或取消命令 |
| 物模型 action/property/event | 音量、云台、抓拍、隐私、夜视、录像配置及告警 | 不替代媒体会话建立 |
| UDP | Opus实时音频 | 不传视频或JSON |
| WebRTC | DTLS-SRTP音视频轨 | 不把RTP塞入MQTT |
| 登录鉴权REST | 应用端点、命令、事件拉取及确认 | 应用不能冒充设备发布MQTT |
串联语音与实时语音是并存的处理方式；halfDuplex/fullDuplex是AI语音交互模式。人与人通话由通话和轨权限决定，不套用AI模式枚举。协议无新增版本字段；UDP头中的媒体版本字节也不是MQTT信封版本。
接入路径选择
使用/ai的设备按AI交互协议完成建会话、收发和关闭；使用signaling/message的设备按本栏目完成全部流程，不隐含依赖/ai。两种入口可在同一平台并存，但单个会话不能拼接两套信封。已经运行的设备不因新增场景而被要求迁移。
会话ID由平台返回；trackId标识会话内媒体轨，cameraId标识设备实际摄像头，callGroupId关联通话各端独立会话，不能互换。身份从已鉴权连接和Topic取得，不从JSON中的自报用户取得。
阅读与示例约定
场景图的Sxx-Mxx对应紧随其后的报文，Sxx-Rxx对应实际媒体。字段规范只在命令页维护。requestAck表示受理，不代表模型完成、媒体连通或扬声器播放完成。
示例中的设备名、ID和令牌为合成值，SDP及地址占位符必须由实际运行时替换；它们不是可直接连接的服务。部署方应提供HTTPS/MQTT地址、TLS信任、设备凭据、产品许可、模型及媒体服务配置，不把供应商密钥烧入固件。
更新日志
2026/10/16 17:05
查看所有更新日志
73db2-docs(AI与音视频): 统一AI命令和UDP栏目并保留原网址于fe3a7-docs(AI与音视频): 按场景整理完整接入流程与命令契约于