后端架构

约 3833 字大约 13 分钟

2025-12-27

1. 架构概述

1.1 整体架构设计

联犀物联网平台采用分层架构设计，实现设备、云端服务和客户端的高效协同。平台支持多租户、多项目管理，可灵活部署为单体或微服务模式，适应不同规模的物联网应用场景。

1.2 核心组件

组件	功能描述	实现服务
设备网关层	设备连接管理、认证、消息路由	dgsvr
设备管理层	设备生命周期管理、数据处理、命令下发	dmsvr
API网关层	客户端接口服务、权限控制	apisvr
数据存储层	持久化存储、时序数据处理	MySQL/TDengine
消息中间件	服务间异步通信、消息队列	NATS
MQTT服务器	设备通信协议支持	EMQX

1.3 技术栈

类别	技术选型	说明
后端框架	go-zero	高性能微服务框架
数据库	MySQL/PostgreSQL	关系型数据存储
时序数据库	TDengine	高性能时序数据处理
缓存	Redis	内存数据结构存储
MQTT服务器	EMQX	分布式消息服务器
消息队列	NATS	高性能消息系统
对象存储	MinIO	云原生对象存储
服务注册	etcd	微服务模式支持

2. 设备-云-客户端流程

2.1 设备连接流程

设备连接请求：设备通过MQTT协议连接到EMQX服务器，携带设备ID、用户名和密码等认证信息
EMQX Webhook触发：EMQX服务器配置了webhook，将认证请求转发到apisvr
Apisvr认证处理：apisvr接收认证请求，进行多级认证：
- 超级用户检查：首先检查是否为系统超级用户
- 默认协议网关认证：尝试使用默认的dgsvr进行认证
- 第三方协议网关并发认证：如果默认网关认证失败，并发请求所有配置的第三方协议网关进行认证
认证结果返回：只要有一个协议网关返回认证成功，apisvr就向EMQX返回允许连接的响应
会话建立：EMQX与设备建立长连接会话
上线通知：dgsvr向dmsvr发送设备上线通知

2.2 订阅/发布权限控制流程

设备订阅/发布请求：设备向EMQX发送订阅或发布消息的请求
EMQX Webhook触发：EMQX服务器配置的webhook将权限控制请求转发到apisvr
Apisvr权限检查：apisvr接收权限控制请求，进行多级检查：
- 缓存检查：首先检查请求是否在缓存中，避免重复检查
- 默认协议网关检查：尝试使用默认的dgsvr进行权限检查
- 第三方协议网关并发检查：如果默认网关检查失败，并发请求所有配置的第三方协议网关进行权限检查
权限检查结果返回：只要有一个协议网关返回权限允许，apisvr就向EMQX返回允许操作的响应
操作执行：EMQX执行设备的订阅或发布操作

2.2 数据上报流程

数据采集：设备采集传感器数据或状态信息
数据封装：按照协议格式封装数据，生成消息Token
数据发送：通过MQTT协议将数据发送到指定主题
消息路由：dgsvr接收消息，根据topic路由到相应处理模块
数据处理：dmsvr处理设备数据：
- 协议脚本执行：调用UpBeforeTrans执行设备/产品级脚本，进行消息预处理
- 格式转换：将设备数据转换为统一格式
- 数据校验：验证数据合法性和完整性
数据持久化：
- 状态数据存储到MySQL
- 时序数据存储到TDengine
客户端推送：通过WebSocket/HTTP通知客户端设备状态变更
后续处理：调用UpAfterTrans执行设备/产品级脚本，进行消息后处理

2.3 命令下发流程

客户端请求：客户端通过API网关发送设备控制命令
权限验证：apisvr验证用户权限和设备访问权限
命令路由：apisvr将命令转发到dmsvr
命令封装：dmsvr封装命令，生成唯一消息Token
命令处理：
- 协议脚本执行：调用DownBeforeTrans执行设备/产品级脚本，进行命令预处理
- 格式转换：将命令转换为设备可识别的格式
命令下发：dgsvr通过MQTT将命令发送到设备
命令执行：设备执行命令并返回执行结果
结果处理：
- 命令结果处理：dmsvr处理设备返回的执行结果
- 协议脚本执行：调用DownAfterTrans执行设备/产品级脚本，进行命令后处理
结果反馈：结果通过原路径返回给客户端

2.4 设备管理流程

设备注册：管理员通过客户端注册新设备，生成设备ID和密钥
设备绑定：将设备绑定到特定用户或项目
设备配置：配置设备参数、上报频率、告警阈值等
固件升级：
- 上传新固件到平台
- 创建升级任务
- 设备接收升级通知并下载固件
- 执行升级并返回结果
设备监控：实时监控设备状态、连接情况和数据上报

3. 核心服务详解

3.1 设备网关服务 (dgsvr)

功能：

设备连接管理
设备认证和授权
消息路由和转发
设备在线状态监控
异常设备处理

实现细节：

基于MQTT协议处理设备通信
支持设备批量连接和高并发
实现设备心跳检测和重连机制
提供设备消息的可靠传输保障

3.2 设备管理服务 (dmsvr)

功能：

设备生命周期管理
设备数据处理和存储
设备命令下发和执行结果处理
固件升级管理
设备分组和权限管理
动态协议脚本执行

实现细节：

注册多个gRPC服务处理不同功能
支持设备物模型定义和数据解析
实现设备数据的批量处理和聚合
提供设备告警规则配置和触发

3.2.1 协议脚本机制

概述：设备管理服务实现了动态协议脚本机制，允许在设备消息处理的各个阶段执行自定义脚本，实现消息的灵活转换和处理。脚本基于Go语言语法，使用yaegi解释器执行。

核心组件：

ScriptTrans：脚本转换核心结构体，管理脚本缓存和执行环境
ScriptInfo：脚本元数据，包含名称、优先级、内容等信息
脚本缓存：按产品和设备级别缓存不同类型的脚本

脚本执行点：

UpBeforeTrans：设备消息上传前处理
UpAfterTrans：设备消息上传后处理
DownBeforeTrans：命令下发前处理
DownAfterTrans：命令下发后处理

执行流程：

主要特性：

多级脚本支持：同时支持产品级和设备级脚本
优先级控制：脚本按优先级顺序执行
线程安全：使用读写锁保证并发安全
内置函数库：提供gjson、json、utils等常用函数
日志记录：脚本执行过程可记录详细日志
定期刷新：脚本每10分钟自动刷新，确保配置更新
租户隔离：支持多租户环境下的脚本隔离

脚本示例：

// 设备消息转换脚本示例
func Handle(ctx context.Context, msg *deviceMsg.PublishMsg) *deviceMsg.PublishMsg {
    // 使用gjson解析消息内容
    temperature := gjson.Get(string(msg.Payload), "temperature").Float()
    humidity := gjson.Get(string(msg.Payload), "humidity").Float()
    
    // 进行数据转换
    adjustedTemp := temperature + 2.0
    adjustedHumidity := humidity * 0.95
    
    // 使用sjson更新消息内容
    newPayload, _ := sjson.Set(string(msg.Payload), "temperature", adjustedTemp)
    newPayload, _ = sjson.Set(newPayload, "humidity", adjustedHumidity)
    
    msg.Payload = []byte(newPayload)
    return msg
}

3.3 API网关服务 (apisvr)

功能：

客户端接口服务
用户认证和权限控制
接口请求路由和转发
接口调用监控和统计

实现细节：

基于RESTful API设计
支持WebSocket实时通信
实现细粒度的权限控制
提供接口文档和SDK支持

4. 数据流转

4.1 数据在各服务间的流转

设备到云端：设备 → MQTT → dgsvr → NATS → dmsvr →
- 协议脚本执行：UpBeforeTrans（消息预处理）→
- 数据处理：格式转换、数据校验 →
- 数据持久化：数据库
- 后续处理：UpAfterTrans（消息后处理）
云端到设备：客户端 → apisvr → dmsvr →
- 协议脚本执行：DownBeforeTrans（命令预处理）→
- NATS → dgsvr → MQTT → 设备 →
- 命令执行：设备执行命令 →
- 结果返回：MQTT → dgsvr → NATS → dmsvr →
- 协议脚本执行：DownAfterTrans（命令后处理）→
- apisvr → 客户端
服务间通信：使用NATS实现异步消息通信，提高系统解耦和可扩展性

4.2 数据存储设计

数据类型	存储方式	说明
设备信息	MySQL	设备基本信息、配置参数
用户信息	MySQL	用户账号、权限、设备绑定关系
设备状态	MySQL	设备当前状态、在线状态
时序数据	TDengine	传感器数据、历史轨迹、性能指标
日志数据	MySQL/文件	操作日志、设备日志、系统日志
固件文件	MinIO	设备固件、升级包

5. 扩展与部署

5.1 扩展能力

服务扩展：各服务可独立扩展，支持水平扩容
协议扩展：支持自定义协议插件，方便接入不同类型设备
功能扩展：支持模块化开发，可按需添加新功能

5.2 部署模式

5.2.1 单体部署

所有服务打包为一个可执行文件
适合小规模应用、开发测试环境
部署简单，资源占用小

5.2.2 微服务部署

各服务独立部署、独立扩展
适合大规模应用、生产环境
提高系统可用性和可扩展性

5.2.3 集群部署

服务节点集群化，实现高可用
数据存储采用主从复制或集群模式
负载均衡，提高系统性能和可靠性

6. 安全设计

6.1 通信安全

MQTT协议支持TLS加密
数据传输采用AES-CTR加密算法
消息完整性验证和防篡改

6.2 认证与授权

设备认证采用设备ID+密钥方式
用户认证支持多种方式（账号密码、OAuth等）
细粒度的权限控制，基于角色和资源

6.3 数据安全

敏感数据加密存储
数据访问审计和日志记录
定期数据备份和恢复机制

7. 监控与运维

7.1 系统监控

服务运行状态监控
设备连接状态监控
消息队列监控
数据库性能监控

7.2 日志管理

服务日志集中管理
设备日志收集和分析
操作日志审计

7.3 故障处理

自动故障检测和报警
服务自动恢复机制
设备异常处理策略

8. 总结

联犀物联网平台采用先进的分层架构设计，实现了设备、云端服务和客户端的高效协同。平台具有良好的扩展性、可靠性和安全性，支持多种部署模式，可适应不同规模的物联网应用场景。核心服务之间通过消息中间件实现解耦，提高了系统的灵活性和可维护性。设备-云-客户端的流程设计确保了数据的可靠传输和处理，为物联网应用提供了坚实的技术基础。

更新日志

2026/8/4 07:04

查看所有更新日志

7e927-文档站全面重构：目录重排、首页重写、案例独立成站、应用市场下线于 2026/8/4
bddea-docs: 更新文档结构、添加新内容并优化现有文档于 2025/12/28

物模型

AI交互

后端架构