Registro de dados offline e armazenamento e encaminhamento em gateways industriais IoT

Por que a capacidade offline é importante

Estações remotas de clima, agricultura, hidrologia e qualidade da água dependem frequentemente de redes celulares que podem ser interrompidas por sinal fraco, manutenção do operador ou problemas de energia. O servidor do cliente também pode estar offline. Sem retenção local, um sistema de monitoramento pode perder exatamente os dados necessários para analisar uma tempestade, inundação ou falha de equipamento.

Registro de dados local versus cache offline

Onde os dados são armazenados

Diferentes classes de gateway usam Flash interno, cartões TF externos, unidades USB ou bancos de dados incorporados. Não assume que a especificação da memória principal é igual ao espaço disponível para dados históricos; o sistema operacional e o particionamento reduzem a capacidade utilizável. Da mesma forma, um gateway compatível com USB pode usar a unidade USB para backup em vez de streaming contínuo em tempo real.

Arquivos de banco de dados versus arquivos CSV

Alguns firmware armazenam registros em um arquivo de banco de dados local no estilo SQLite. Isto é eficiente para o gateway, mas pode exigir uma ferramenta de banco de dados para exportar CSV. Outros produtos de registro de dados ou versões de firmware podem exportar CSV diretamente. Para aquisição, “armazenamento USB suportado” e “USB exporta CSV diretamente” devem ser tratados como dois requisitos diferentes.

O CSV é atrativo para pesquisa e manutenção porque pode ser aberto por software de planilha e importado para ferramentas de análise. O armazenamento de banco de dados geralmente é melhor para o sistema embarcado porque lida com registros indexados e gravações incrementais de maneira mais confiável.

Como estimar a duração do armazenamento

Não estima a retenção apenas a partir do número de sensores. A fórmula útil é baseada no tamanho do registro e no intervalo de amostragem. Um registro JSON com quinze nomes de campos curtos pode ter um tamanho muito diferente de um binário compacto ou registro de banco de dados. O método mais seguro é gerar um registro real da configuração pretendida e medi-lo.

Uma fórmula de planejamento aproximada é: duração do armazenamento = bytes utilizáveis ​​÷ bytes por registro ÷ registros por dia. Registros por dia = 86.400 segundos ÷ intervalo de amostragem em segundos. Adicione margem para índices, metadados e sobrecarga do sistema de arquivos.

Exemplo: amostragem de 10 minutos vs 15 minutos

Em um intervalo de 10 minutos, um conjunto de canais gera 144 registros por dia. Em intervalos de 15 minutos, gera 96 ​​registros por dia. Aumentar o intervalo, portanto, amplia significativamente a retenção, mas o intervalo correto deve ser baseado no processo físico. O nível de inundação ou eventos climáticos rápidos podem exigir intervalos mais curtos do que a monitorização da humidade do solo ou das tendências ambientais a longo prazo.

Como deve funcionar o armazenamento e encaminhamento

Um fluxo de trabalho robusto é: o gateway coleta amostras dos sensores, tenta fazer upload, detecta que a rede ou servidor está indisponível, grava o registro não enviado no armazenamento local, continua a coleta, depois se reconecta automaticamente e retransmite o backlog quando a comunicação retorna. Implementações de campo podem reenviar registros rapidamente, um por um.

Se a ordem cronológica estrita, a desduplicação ou a publicação simultânea em tempo real forem importantes para o banco de dados do cliente, verifique esses detalhes com o firmware exato. “Cache offline compatível” não define automaticamente todas as políticas de reprodução.

O comportamento offline do MQTT e do HTTP pode ser diferente

Armazenar e encaminhar é comumente implementado para telemetria, mas o caminho real de nova tentativa pode diferir de acordo com o protocolo. Se um projeto exigir especificamente que os dados HTTP POST sejam armazenados em cache e reenviados após uma interrupção, teste esse caminho exato do firmware HTTP em vez de assumir que um recurso de cache MQTT verificado se comporta de forma idêntica.

Pesquisa e registro de campo somente offline

Alguns projetos não necessitam de nenhuma rede externa. Um instituto de pesquisa pode conectar sensores a um registrador de dados, deixar a estação operando por semanas e recuperar dados periodicamente com USB ou armazenamento TF. Nesse caso, a prioridade de seleção muda de desempenho 4G para confiabilidade de armazenamento local, precisão de carimbo de data/hora, potência do sensor, formato de dados e facilidade de exportação.

Perguntas para colocar no RFQ

1. Qual meio de armazenamento é usado para histórico normal e cache não enviado?
2. Quanto armazenamento utilizável está disponível para o aplicativo?
3. A retenção é limitada por dias, registros, bytes ou porcentagem de armazenamento?
4. Qual formato de arquivo/banco de dados é usado localmente?
5. Um usuário pode exportar CSV diretamente ou é necessária uma conversão?
6. O gateway se reconecta automaticamente após falha no 4G ou no servidor?
7. Os registros armazenados em cache são reenviados automaticamente após a recuperação?
8. Qual é a ordem de reprodução e como os registros duplicados são tratados?
9. O gateway pode continuar a amostragem enquanto o backlog está sendo reenviado?
10. Um cliente pode instalar seu próprio cartão TF ou unidade USB e qual formato é necessário?

Teste de aceitação para confiabilidade offline

1. Execute o sistema on-line e confirme os carimbos de data/hora normais e faça o upload.
2. Desconecte o uplink de celular/rede enquanto deixa os sensores e o gateway alimentados.
3. Permita que vários ciclos de amostragem se acumulem localmente.
4. Restaure a conectividade e verifique a reconexão automática.
5. Compare o banco de dados do servidor com os carimbos de data/hora locais para confirmar se o período ausente foi recuperado.
6. Desligue e ligue o gateway durante uma interrupção se for necessária resiliência contra perda de energia.
7. Exporte o histórico local para verificar o acesso à manutenção e o formato do arquivo.
8. Documente o firmware, o meio de armazenamento e o comportamento testado de retenção/reprodução para transferência.

Perguntas frequentes

Q1: O que é armazenar e encaminhar em um gateway IoT?

A1: É o processo de armazenar telemetria localmente quando a entrega falha e retransmitir automaticamente o backlog após a comunicação ser restaurada.

Q2: O registro de dados local é igual ao cache offline?

A2: Não. O registro local é um histórico contínuo; o cache offline protege especificamente os registros que não puderam ser carregados.

Q3: Um gateway IoT pode armazenar dados sem acesso à Internet?

A3: Sim, se o modelo selecionado fornecer registro local em Flash, cartão TF, USB ou outro meio de armazenamento. Evidência de aceitação para integração do sistema de sensores: Registre a faixa acordada, a resposta ao alarme, a verificação da interface e a evidência de manutenção no arquivo de comissionamento ou aceitação.

Q4: O USB pode ser usado para saída de dados em tempo real?

A4: Não necessariamente. Em muitos gateways, o USB destina-se ao backup ou à exportação manual de histórico, em vez de um fluxo contínuo em tempo real.

Q5: Os dados locais sempre serão CSV?

A5: Não. Alguns firmwares usam um arquivo de banco de dados e exigem exportação CSV posterior. Especifique o formato necessário no projeto.

Q6: Como do calculo quantos dias o gateway pode armazenar?

A6: Meça o tamanho real do registro, calcule os registros por dia a partir do intervalo de amostragem e, em seguida, divida o armazenamento utilizável pelo volume diário de dados e inclua a margem de sobrecarga.

P7. Os dados armazenados em cache serão enviados automaticamente após o retorno da rede?

Q7: Os dados em cache serão enviados automaticamente quando a rede retornar?

A7: Quando a função de cache offline está habilitada e suportada pelo protocolo configurado, o gateway pode se reconectar e retransmitir os registros armazenados.

Resumo

Para Registro de dados offline e armazenamento e encaminhamento em gateways, a especificação deve relacionar condições do local, ajustes de interface, verificações de comissionamento e registros de manutenção. Nota de integração para integração do sistema de sensores: Confirme esses limites antes da aprovação do modelo e preserve as evidências medidas para diagnóstico e futura expansão.

Q8: A falha do servidor e a falha da rede 4G devem ser testadas separadamente?

A8: Sim. Ambas interrompem a entrega, mas a reconexão e as tentativas podem ocorrer de forma diferente e devem ser verificadas de maneira independente.