Ghi nhật ký dữ liệu ngoại tuyến và lưu trữ và chuyển tiếp trong cổng IoT công nghiệp

Tại sao khả năng ngoại tuyến lại quan trọng

Các trạm thời tiết, nông nghiệp, thủy văn và chất lượng nước ở xa thường phụ thuộc vào mạng di động và có thể bị gián đoạn do tín hiệu yếu, do nhà điều hành bảo trì hoặc gặp sự cố về điện. Máy chủ của khách hàng cũng có thể ngoại tuyến. Nếu không lưu giữ cục bộ, hệ thống giám sát có thể mất chính xác dữ liệu cần thiết để phân tích bão, lũ lụt hoặc lỗi thiết bị.

Ghi nhật ký dữ liệu cục bộ và bộ nhớ đệm ngoại tuyến

Nơi dữ liệu được lưu trữ

Các lớp cổng khác nhau sử dụng Flash bên trong, thẻ TF bên ngoài, ổ USB hoặc cơ sở dữ liệu nhúng. không cho rằng đặc tả bộ nhớ tiêu đề bằng dung lượng có sẵn cho dữ liệu lịch sử; hệ điều hành và phân vùng làm giảm dung lượng sử dụng. Tương tự, cổng có khả năng USB có thể sử dụng ổ USB để sao lưu thay vì phát trực tuyến theo thời gian thực liên tục.

Tệp cơ sở dữ liệu so với tệp CSV

Một số chương trình cơ sở lưu trữ các bản ghi trong tệp cơ sở dữ liệu kiểu SQLite cục bộ. Điều này hiệu quả đối với cổng nhưng có thể yêu cầu công cụ cơ sở dữ liệu để xuất CSV. Các sản phẩm ghi dữ liệu hoặc phiên bản chương trình cơ sở khác có thể xuất trực tiếp CSV. Để mua sắm, “Hỗ trợ lưu trữ USB” và “USB xuất CSV trực tiếp” phải được coi là hai yêu cầu khác nhau.

CSV rất hấp dẫn cho việc nghiên cứu và bảo trì vì nó có thể được mở bằng phần mềm bảng tính và được nhập vào các công cụ phân tích. Việc lưu trữ cơ sở dữ liệu thường tốt hơn cho hệ thống nhúng vì nó xử lý các bản ghi được lập chỉ mục và ghi tăng dần một cách đáng tin cậy hơn.

Cách ước tính thời lượng lưu trữ

không chỉ ước tính khả năng lưu giữ từ số lượng cảm biến. Công thức hữu ích dựa trên kích thước bản ghi và khoảng thời gian lấy mẫu. Bản ghi JSON với mười lăm tên trường ngắn có thể có kích thước rất khác với bản ghi cơ sở dữ liệu hoặc nhị phân nhỏ gọn. Phương pháp an toàn nhất là tạo một bản ghi thực từ cấu hình dự định và đo lường nó.

Công thức lập kế hoạch gần đúng là: thời lượng lưu trữ = byte có thể sử dụng → byte trên mỗi bản ghi → bản ghi mỗi ngày. Bản ghi mỗi ngày = 86.400 giây ` khoảng thời gian lấy mẫu tính bằng giây. Thêm lề cho chỉ mục, siêu dữ liệu và chi phí hệ thống tệp.

Ví dụ: Lấy mẫu 10 phút so với 15 phút

Trong khoảng thời gian 10 phút, một bộ kênh tạo ra 144 bản ghi mỗi ngày. Trong khoảng thời gian 15 phút, nó tạo ra 96 ​​bản ghi mỗi ngày. Do đó, việc tăng khoảng thời gian sẽ kéo dài thời gian lưu giữ một cách đáng kể, nhưng khoảng thời gian chính xác phải dựa trên quy trình vật lý. Mức độ lũ lụt hoặc các hiện tượng thời tiết nhanh có thể yêu cầu khoảng thời gian ngắn hơn so với việc theo dõi độ ẩm của đất hoặc theo dõi xu hướng môi trường dài hạn.

Lưu trữ và chuyển tiếp nên hoạt động như thế nào

Quy trình làm việc mạnh mẽ là: cổng lấy mẫu cảm biến, cố gắng tải lên, phát hiện mạng hoặc máy chủ không khả dụng, ghi bản ghi chưa gửi vào bộ nhớ cục bộ, tiếp tục thu thập, sau đó tự động kết nối lại và truyền lại hồ sơ tồn đọng khi liên lạc trở lại. Việc triển khai tại hiện trường có thể gửi lại từng bản ghi một cách nhanh chóng.

Nếu thứ tự thời gian nghiêm ngặt, việc sao chép hoặc xuất bản đồng thời theo thời gian thực là quan trọng đối với cơ sở dữ liệu khách hàng, hãy xác minh những chi tiết này bằng chương trình cơ sở chính xác. “Hỗ trợ bộ nhớ đệm ngoại tuyến” không tự động xác định mọi chính sách phát lại.

Hành vi ngoại tuyến MQTT và HTTP có thể khác nhau

Lưu trữ và chuyển tiếp thường được triển khai cho phép đo từ xa, nhưng đường dẫn thử lại thực tế có thể khác nhau tùy theo giao thức. Nếu một dự án đặc biệt yêu cầu dữ liệu HTTP POST được lưu vào bộ đệm và gửi lại sau khi ngừng hoạt động, hãy kiểm tra đường dẫn chương trình cơ sở HTTP chính xác đó thay vì giả định rằng tính năng bộ đệm MQTT đã được xác minh hoạt động giống hệt nhau.

Ghi nhật ký hiện trường và nghiên cứu chỉ ngoại tuyến

Một số dự án do không cần bất kỳ mạng bên ngoài nào. Viện nghiên cứu có thể kết nối các cảm biến với bộ ghi dữ liệu, để trạm hoạt động trong nhiều tuần và truy xuất dữ liệu định kỳ bằng bộ lưu trữ USB hoặc TF. Trong trường hợp này, mức độ ưu tiên lựa chọn thay đổi từ hiệu suất 4G sang độ tin cậy của bộ nhớ cục bộ, độ chính xác của dấu thời gian, sức mạnh cảm biến, định dạng dữ liệu và khả năng xuất dễ dàng.

Các câu hỏi cần đưa vào RFQ

1. Phương tiện lưu trữ nào được sử dụng cho lịch sử bình thường và bộ nhớ đệm chưa gửi?
2. Ứng dụng có bao nhiêu dung lượng lưu trữ có thể sử dụng?
3. Việc lưu giữ có bị giới hạn theo ngày, bản ghi, byte hoặc phần trăm dung lượng lưu trữ không?
4. Định dạng tệp/cơ sở dữ liệu nào được sử dụng cục bộ?
5. Người dùng có thể xuất trực tiếp CSV hay cần phải chuyển đổi?
6. Cổng có tự động kết nối lại sau khi 4G hoặc máy chủ bị lỗi không?
7. Các bản ghi được lưu trong bộ nhớ đệm có tự động được gửi lại sau khi khôi phục không?
8. Thứ tự phát lại là gì và các bản ghi trùng lặp được xử lý như thế nào?
9. Cổng có thể tiếp tục lấy mẫu trong khi hồ sơ tồn đọng đang được gửi lại không?
10. Khách hàng có thể cài đặt thẻ TF hoặc ổ USB của riêng mình không và yêu cầu định dạng gì?

Kiểm tra chấp nhận về độ tin cậy ngoại tuyến

1. Chạy hệ thống trực tuyến và xác nhận dấu thời gian bình thường và tải lên.
2. Ngắt kết nối đường lên di động/mạng trong khi vẫn để cảm biến và cổng được cấp nguồn.
3. Cho phép tích lũy cục bộ một số chu kỳ lấy mẫu.
4. Khôi phục kết nối và xác minh kết nối lại tự động.
5. So sánh cơ sở dữ liệu máy chủ với dấu thời gian cục bộ để xác nhận khoảng thời gian bị thiếu đã được khôi phục.
6. Bật nguồn cho cổng trong thời gian mất điện nếu cần có khả năng phục hồi khi mất điện.
7. Xuất lịch sử cục bộ để xác minh quyền truy cập bảo trì và định dạng tệp.
8. Ghi lại phần sụn, phương tiện lưu trữ và hành vi lưu giữ/phát lại đã được kiểm tra để chuyển giao.

Câu hỏi thường gặp

Q1: Lưu trữ và chuyển tiếp trong cổng IoT là gì?

A1: Đó là quá trình lưu trữ dữ liệu từ xa cục bộ khi giao hàng không thành công và tự động truyền lại hồ sơ tồn đọng sau khi liên lạc được khôi phục.

Q2: Việc ghi nhật ký dữ liệu cục bộ có giống như bộ nhớ đệm ngoại tuyến không?

A2: Không. Ghi nhật ký cục bộ là lịch sử liên tục; bộ nhớ đệm ngoại tuyến đặc biệt bảo vệ các bản ghi không thể tải lên được.

Q3: Cổng IoT có thể lưu trữ dữ liệu mà không cần truy cập internet không?

A3: Có, nếu kiểu máy đã chọn cung cấp tính năng ghi nhật ký cục bộ vào Flash, thẻ TF, USB hoặc phương tiện lưu trữ khác.

Q4: USB có thể được sử dụng để xuất dữ liệu thời gian thực không?

A4: Không nhất thiết phải như vậy. Trên nhiều cổng USB được thiết kế để sao lưu hoặc xuất lịch sử thủ công thay vì luồng thời gian thực liên tục.

Q5: Dữ liệu cục bộ có luôn ở dạng CSV không?

A5: Không. Một số chương trình cơ sở sử dụng tệp cơ sở dữ liệu và yêu cầu xuất CSV sau. Chỉ định định dạng cần thiết trong dự án.

Q6: do tôi tính toán cổng có thể lưu trữ bao nhiêu ngày?

A6: Đo kích thước bản ghi thực, tính toán các bản ghi mỗi ngày từ khoảng thời gian lấy mẫu, sau đó chia dung lượng lưu trữ có thể sử dụng cho khối lượng dữ liệu hàng ngày và bao gồm cả chi phí dự phòng.

Q7: Dữ liệu được lưu trong bộ nhớ đệm có được tự động gửi sau khi mạng hoạt động trở lại không?

A7: Khi chức năng bộ đệm ngoại tuyến được bật và hỗ trợ bởi giao thức đã định cấu hình, cổng có thể kết nối lại và truyền lại các bản ghi được lưu trữ.

Q8: Tôi có nên kiểm tra riêng tình trạng ngừng hoạt động của máy chủ và ngừng hoạt động của 4G không?

A8: Đúng. Cả hai đều có thể ngừng phân phối nhưng hoạt động kết nối lại và thử lại có thể khác nhau và cần được xác minh độc lập.

Tóm tắt

Đối với Ghi nhật ký dữ liệu ngoại tuyến và lưu trữ, thông số dự án phải liên kết điều kiện hiện trường, cài đặt giao diện, phép thử chạy thử và hồ sơ bảo trì. Rà soát hiện trường cho tích hợp hệ thống cảm biến: Hãy xác nhận các ranh giới đó trước khi duyệt model và lưu bằng chứng nghiệm thu để chẩn đoán cũng như mở rộng hệ thống.