Tính kịp thời của dữ liệu ảnh hưởng giá trị sử dụng thế nào?

Khoảng cách này chỉ trở thành vấn đề khi nó đủ lớn để làm thay đổi kết luận hoặc hành động. Dữ liệu chậm vài phút có thể không chấp nhận được với một quy trình biến động liên tục, nhưng dữ liệu chậm vài ngày vẫn có thể hữu ích cho một phân tích dài hạn. Chính mục đích sử dụng quyết định dữ liệu cần mới đến mức nào.

Tính kịp thời quyết định dữ liệu còn phù hợp với thời điểm sử dụng

Tính kịp thời phản ánh liệu dữ liệu có được cập nhật và sẵn sàng đủ sớm để đại diện cho trạng thái mà người dùng cần biết hay không. Government Data Quality Framework của Vương quốc Anh cũng xác định tính kịp thời theo mục đích sử dụng: độ trễ từ lúc thu thập đến khi dữ liệu khả dụng phải phù hợp với nhu cầu thực tế.

Điểm quan trọng là giá trị sử dụng mang tính thời điểm. Một bản ghi không nhất thiết trở nên sai khi nó cũ đi. Nó có thể vẫn mô tả chính xác điều đã xảy ra, nhưng không còn thích hợp để đại diện cho tình trạng hiện tại.

Ví dụ, một số điện thoại liên hệ khẩn cấp cũ vẫn là dữ liệu lịch sử chính xác nếu đó đúng là số được đăng ký trước đây. Tuy nhiên, khi cần liên hệ ở thời điểm hiện tại, bản ghi đó gần như không còn giá trị nếu người dùng đã đổi số. Trong ví dụ của Government Data Quality Framework, một thay đổi thông tin liên hệ có SLA cập nhật trong 2 ngày nhưng thực tế mất 3 ngày sẽ vi phạm yêu cầu về tính kịp thời.

Do đó, tác động của tính kịp thời có thể hiểu qua ba trạng thái:

·         Dữ liệu còn nằm trong khoảng thời gian chấp nhận được → tiếp tục phù hợp với mục đích sử dụng

·         Dữ liệu bắt đầu chậm hơn tốc độ thay đổi của thực tế → độ tin cậy của quyết định giảm

·         Dữ liệu đã vượt quá ngưỡng chấp nhận → dù bản ghi không sai về lịch sử, nó không nên được dùng như mô tả hiện trạng

Ngưỡng giữa ba trạng thái này không có một con số chung cho mọi loại dữ liệu.

Giá trị sử dụng giảm thế nào khi dữ liệu trở nên lỗi thời?

Cơ chế mất giá trị bắt đầu từ độ lệch thời gian. Dữ liệu được ghi nhận tại thời điểm t0​, trong khi quyết định được đưa ra ở thời điểm t1​. Nếu đối tượng đã thay đổi trong khoảng t0​ đến t1​, dữ liệu và thực tế hiện tại không còn cùng biểu diễn một trạng thái.

Mức độ ảnh hưởng phụ thuộc trước hết vào tốc độ thay đổi của đối tượng. Với dữ liệu ít biến động, độ trễ tương đối lớn chưa chắc tạo ra khác biệt đáng kể. Với dữ liệu thay đổi nhanh, cùng một độ trễ có thể khiến kết quả sử dụng sai lệch rõ rệt.

Chẳng hạn, một bản ghi tồn kho cho biết còn 20 đơn vị hàng. Con số đó có thể chính xác lúc hệ thống ghi nhận. Nếu nhiều giao dịch đã xảy ra sau đó nhưng dữ liệu chưa được đồng bộ, người dùng đang ra quyết định dựa trên trạng thái quá khứ. Vấn đề không phải con số 20 đã được ghi sai, mà là thời điểm mà con số đó còn đại diện cho thực tế đã qua.

Từ cơ chế này, dữ liệu chậm có thể làm giảm giá trị sử dụng theo nhiều cách:

·         Bỏ sót một thay đổi đã xảy ra sau lần cập nhật cuối

·         Phản ánh sai trạng thái hiện hành dù dữ liệu lịch sử vẫn đúng

·         Làm phân tích dựa trên một bối cảnh không còn tồn tại

·         Khiến hành động được thực hiện quá muộn so với thời điểm thông tin còn hữu ích

·         Tạo ra sự tự tin sai nếu người dùng không biết dữ liệu đã bao lâu chưa được cập nhật

Vì thế, tuổi dữ liệu chỉ có ý nghĩa khi đặt cạnh tốc độ biến động của đối tượng và thời hạn mà quyết định còn có hiệu lực.

Khi nào dữ liệu được xem là đủ kịp thời?

Không thể xác định tính kịp thời chỉ bằng một tiêu chuẩn như “dữ liệu phải theo thời gian thực”. Ngưỡng phù hợp phải được thiết lập từ mục đích sử dụng.

Có thể kiểm tra một tập dữ liệu theo một logic đơn giản: độ tuổi thực tế của dữ liệu có nhỏ hơn hoặc bằng mức độ trễ tối đa mà mục đích sử dụng cho phép hay không?

Nếu một quy trình cần trạng thái không quá 30 phút nhưng dữ liệu mới nhất đã 2 giờ tuổi, dữ liệu không đạt yêu cầu kịp thời của quy trình đó. Nếu cùng dữ liệu được sử dụng để tổng hợp xu hướng theo quý, độ trễ 2 giờ gần như không tạo ra khác biệt có ý nghĩa.

Điều này cũng giải thích tại sao “real-time” không phải mục tiêu mặc định. Một hệ thống cập nhật theo giây không tự động tạo nhiều giá trị hơn hệ thống cập nhật theo giờ nếu quyết định chỉ được thực hiện mỗi ngày. Phần độ mới vượt quá nhu cầu không làm tăng tương ứng giá trị sử dụng.

Eurostat cũng coi timeliness là một tiêu chí chất lượng riêng và đánh giá nó dựa trên khoảng thời gian giữa dữ liệu khả dụng với hiện tượng mà dữ liệu mô tả. Các bộ dữ liệu khác nhau vì thế có thể có độ trễ chấp nhận được rất khác nhau.

Dữ liệu mới hơn có phải luôn giá trị hơn?

Không. Tăng tính kịp thời có thể tạo ra một đánh đổi với những thuộc tính chất lượng khác.

Dữ liệu được công bố hoặc truyền đi rất nhanh có thể chưa trải qua đầy đủ quá trình kiểm tra, đối soát hoặc bổ sung thông tin. Ngược lại, chờ quá lâu để hoàn thiện mọi bước kiểm soát có thể khiến dữ liệu chính xác hơn nhưng mất thời điểm sử dụng có giá trị nhất.

Government Data Quality Framework lưu ý trực tiếp rằng tính kịp thời có thể phải đánh đổi với độ chính xác hoặc lượng dữ liệu có sẵn, vì việc thu thập và xử lý nhanh hơn có thể giới hạn dữ liệu thu được hoặc thời gian dành cho đảm bảo chất lượng.

Do đó, mục tiêu hợp lý không phải là đạt độ trễ thấp nhất có thể, mà là đạt độ trễ đủ thấp trong khi vẫn giữ mức chính xác, đầy đủ và tin cậy cần thiết cho quyết định.

Một phiên bản dữ liệu sơ bộ có thể thích hợp khi tốc độ phản ứng quan trọng hơn sai số nhỏ. Với quyết định cần độ chính xác cao và không nhạy với vài giờ hoặc vài ngày chậm trễ, phiên bản đã được kiểm tra đầy đủ có thể có giá trị sử dụng lớn hơn.

Tính kịp thời vì thế phải được xem như một điều kiện “phù hợp với mục đích”, không phải một cuộc đua làm cho mọi nguồn dữ liệu trở thành thời gian thực.

Đo tính kịp thời thế nào để biết dữ liệu còn dùng được?

Đánh giá thực tế nên bắt đầu từ các mốc thời gian có thể quan sát, thay vì nhận xét chung rằng dữ liệu “khá mới” hoặc “hơi cũ”.

Một số chỉ số có thể sử dụng gồm:

·         Data age: Khoảng thời gian từ thời điểm dữ liệu đại diện cho sự kiện hoặc trạng thái đến thời điểm dữ liệu được sử dụng

·         Processing latency: Khoảng thời gian từ lúc sự kiện xảy ra hoặc dữ liệu được thu thập đến lúc dữ liệu sẵn sàng cho người dùng

·         Refresh interval: Khoảng cách giữa hai lần cập nhật liên tiếp

·         Freshness SLA: Ngưỡng tuổi dữ liệu hoặc độ trễ tối đa mà một quy trình chấp nhận

·         Tỷ lệ đáp ứng SLA: Tỷ lệ bản ghi hoặc lần cập nhật hoàn thành trong ngưỡng đã cam kết

·         Punctuality: Mức chênh giữa thời điểm phát hành thực tế và thời điểm phát hành đã định

Cần phân biệt tính kịp thời với đúng hạn. Một báo cáo có thể phát hành đúng lịch nhưng dữ liệu bên trong vẫn quá cũ đối với mục đích hiện tại; ngược lại, một nguồn có thể chậm lịch công bố nhưng dữ liệu vẫn đủ mới cho một nhu cầu ít nhạy với thời gian. Eurostat cũng tách riêng hai khái niệm này và định nghĩa punctuality theo độ chênh giữa ngày phát hành thực tế và ngày dự kiến.

Để biến các chỉ số thành tiêu chí sử dụng, có thể thực hiện theo trình tự:

1.    Xác định thời điểm hoặc trạng thái mà quyết định cần phản ánh

2.    Xác định tốc độ thay đổi của đối tượng dữ liệu

3.    Đặt ngưỡng tuổi dữ liệu hoặc độ trễ tối đa còn chấp nhận được

4.    Đo tuổi dữ liệu, độ trễ và chu kỳ cập nhật thực tế

5.    Kiểm tra đồng thời độ chính xác và độ đầy đủ cần thiết

6.    Chỉ sử dụng dữ liệu cho quyết định hiện tại khi các điều kiện chất lượng quan trọng đều nằm trong ngưỡng chấp nhận

Cách đánh giá này chuyển tính kịp thời của dữ liệu từ một nhận xét định tính thành một yêu cầu có thể kiểm tra. Quan trọng hơn, nó cho biết chính xác dữ liệu còn dùng được cho nhiệm vụ nào và đến thời điểm nào, thay vì gắn nhãn chung rằng một tập dữ liệu là mới hay cũ.

Tính kịp thời ảnh hưởng đến giá trị sử dụng bằng cách quyết định dữ liệu còn đại diện đủ sát thực tế tại thời điểm ra quyết định hay không. Dữ liệu càng chậm so với tốc độ thay đổi của đối tượng và chu kỳ hành động, nguy cơ mất giá trị càng lớn; nhưng dữ liệu mới hơn không mặc nhiên tốt hơn nếu tốc độ đó không cần thiết hoặc phải đánh đổi quá nhiều về độ chính xác và độ đầy đủ.

Vì vậy, thời điểm dữ liệu thực sự có giá trị là khi độ trễ của nó vẫn nằm trong ngưỡng mà mục đích sử dụng chấp nhận được. Thay vì yêu cầu mọi dữ liệu phải theo thời gian thực, nên xác định rõ ngưỡng freshness cho từng quyết định và kiểm tra dữ liệu có đáp ứng ngưỡng đó trước khi sử dụng.