Offline Data Logging and Store-and-Forward in Industrial IoT Gateways

Quick Answer

偏远气象站、农业站、水文站和水质站通常依赖蜂窝网络，弱信号、运营商维护或供电问题都可能造成中断；客户服务器本身也可能宕机。如果没有本地保留机制，系统可能恰好丢失暴雨、洪水或设备故障期间最关键的数据。

不同网关可能使用内部 Flash、外接 TF 卡、USB 或嵌入式数据库。不要把“总内存/Flash 容量”直接等同于“可用于历史数据的容量”，因为操作系统和分区会占用空间。同样，网关有 USB 也不代表 USB 一定可以做持续实时数据流，有些型号只是用于备份或人工导出。

为什么离线能力很重要

本地数据记录 vs 离线缓存

数据存在哪里？

数据库文件和 CSV 文件不是一回事

某些固件会把数据保存在 SQLite 类数据库文件中，这对嵌入式系统写入和索引很高效，但用户可能需要数据库工具再导出 CSV。另一些数据记录型产品或固件可以直接导出 CSV。采购时必须把“支持 USB 存储”和“USB 可以直接导出 CSV”看成两个独立要求。

CSV 对科研和维护很方便，因为 Excel 和多数分析软件都能直接打开；数据库文件则更适合设备端持续写入和管理。

如何估算可以保存多少天

不能只根据“传感器数量”估算。真正决定容量的是单条记录大小和采样周期。包含 15 个长字段名的 JSON 与紧凑数据库/二进制记录大小可能差很多，最安全的方法是先用最终配置生成一条真实记录，再测量字节数。

规划公式可以写成：保存天数 ≈ 可用字节数 ÷ 单条记录字节数 ÷ 每天记录条数；每天记录条数 = 86400 ÷ 采样间隔（秒）。同时要为索引、元数据和文件系统预留空间。

例子：10 分钟和 15 分钟采样差多少？

10 分钟采样一次，每组数据每天产生 144 条记录；15 分钟采样一次，则每天 96 条。采样间隔变长会显著延长本地存储时间，但采样周期必须由被测过程决定。例如洪水水位、快速天气过程需要更短周期；土壤水分或长期环境趋势可以相对更长。

Store-and-Forward 应该怎样工作？

理想流程是：网关正常采样 → 尝试上传 → 发现网络或服务器不可用 → 把未发送记录写入本地 → 继续采样 → 自动重连 → 通信恢复后补传积压数据。实际项目中常见做法是一条条快速续传。

如果客户数据库对严格时间顺序、去重或“补历史数据时是否同时发实时数据”有硬性要求，需要用最终固件专门测试。“支持离线缓存”并不能自动定义所有补传策略。

MQTT 与 HTTP 的离线行为可能不同

遥测系统经常支持断网缓存，但不同协议可能走不同重试逻辑。如果客户明确要求 HTTP POST 在断网后必须全部缓存并恢复后补传，就应该用最终 HTTP 固件单独测试，不能因为 MQTT 已验证离线缓存，就默认 HTTP 完全相同。

完全不联网的科研/现场记录

有些科研项目根本不需要外网：传感器接数据记录器，连续运行几周，工作人员定期通过 USB/TF 取数据。此时选型重点从 4G 转向本地存储可靠性、时钟/时间戳准确性、传感器供电、数据格式和导出便利性。

RFQ/采购技术要求里应该问什么

• 正常历史数据和未发送缓存分别存在哪种介质？
• 应用实际可用存储空间是多少？
• 保留策略按天数、记录条数、字节数还是存储占比？
• 本地使用什么文件/数据库格式？
• 用户能否直接导出 CSV，还是需要转换？
• 4G 或服务器故障后是否自动重连？
• 恢复后是否自动补传缓存记录？
• 补传顺序如何，如何处理重复记录？
• 补传历史时是否还能继续采样/发送实时数据？
• 客户能否自行安装 TF/USB，要求什么文件系统格式？

离线可靠性验收测试

• 在线运行并确认时间戳、采样和上传正常。
• 在传感器/网关保持供电的情况下断开蜂窝/网络上行。
• 等待多个采样周期，使本地积累历史数据。
• 恢复连接并确认网关自动重连。
• 对比服务器数据与本地时间戳，确认断网期间数据已经补齐。
• 如果要求断电保护，在离线期间进一步对网关断电重启测试。
• 导出本地历史，确认维护取数和文件格式。
• 交付时记录固件、存储介质以及已验证的保留/补传规则。

常见问答Q1. IoT 网关中的 Store-and-Forward 是什么？

A1. 当数据发送失败时先在本地保存，通信恢复后自动把积压数据重新发送。

Q2. 本地数据记录和离线缓存是一回事吗？

A2. 不是。本地记录是持续历史；离线缓存专门保护未能成功上传的记录。

Q3. 没有互联网，网关还能存数据吗？

A3. 选用支持本地 Flash、TF、USB 等记录功能的型号就可以。

Q4. USB 可以用作实时数据输出吗？

A4. 不一定。很多网关的 USB 主要用于备份或人工导出历史，而不是持续实时流。

Q5. 本地数据一定是 CSV 吗？

A5. 不一定。有些固件使用数据库文件，后续再转成 CSV。项目必须明确最终需要的格式。

Q6. 如何计算网关能保存多少天？

A6. 先测一条真实记录大小，根据采样周期算每天记录数，再用可用容量除以每天数据量，并留出系统开销余量。

Q7. 网络恢复后缓存数据一定会自动补传吗？

A7. 需要在相应协议和固件中启用并支持离线缓存，验证后才能确认。

Q8. 服务器宕机和 4G 断网需要分别测试吗？

A8. 需要。两者都会导致上传失败，但重连和重试路径可能不同，应分别验收。