Tính nhất quán dữ liệu được hiểu như thế nào?

Vì vậy, khi xem xét sai lệch giữa các nguồn, câu hỏi quan trọng không phải chỉ là “giá trị có giống nhau không?”, mà là “các giá trị này có được kỳ vọng phải tương đương trong cùng điều kiện hay không?”. Đây là nền tảng để phân biệt xung đột dữ liệu thực sự với khác biệt do định dạng, đơn vị, phiên bản hoặc thời điểm cập nhật.

Tính nhất quán dữ liệu phản ánh sự không mâu thuẫn

Tính nhất quán dữ liệu là mức độ mà các biểu diễn dữ liệu liên quan không mâu thuẫn với nhau trong một ngữ cảnh đã xác định. Ngữ cảnh đó thường bao gồm đối tượng được mô tả, ý nghĩa của trường dữ liệu, quy tắc nghiệp vụ, đơn vị đo và thời điểm hiệu lực.

Điểm cốt lõi nằm ở quan hệ giữa các dữ liệu. Một giá trị đứng riêng lẻ chưa cho biết nó có nhất quán hay không. Chỉ khi đặt cạnh một giá trị, quy tắc hoặc quan hệ mà nó phải phù hợp, ta mới có cơ sở đánh giá. Chẳng hạn, số điện thoại “0901234567” và “ 84901234567” có thể biểu diễn cùng một số sau khi chuẩn hóa mã quốc gia; khác chuỗi ký tự nhưng không nhất thiết là xung đột.

Tính nhất quán cũng có thể được kiểm tra trong cùng một nguồn. Nếu trường “ngày kết thúc” sớm hơn “ngày bắt đầu”, hoặc mã tỉnh không phù hợp với địa chỉ đã lưu theo quy tắc nghiệp vụ, dữ liệu có thể tự mâu thuẫn ngay cả khi không có nguồn thứ hai để đối chiếu.

Khi nào hai nguồn có thể được so sánh về tính nhất quán?

Trước khi kết luận hai nguồn bất nhất, cần xác lập một khung so sánh chung. Ít nhất năm điều kiện thường phải được kiểm tra:

1.    Cùng đối tượng: Bản ghi phải đại diện cho cùng khách hàng, sản phẩm, hợp đồng hoặc sự kiện; tên giống nhau nhưng khác mã định danh chưa đủ để ghép

2.    Cùng ý nghĩa thuộc tính: Hai trường mang nhãn giống nhau phải có cùng định nghĩa; “doanh thu” có thể là doanh thu gộp ở hệ thống này nhưng doanh thu thuần ở hệ thống khác

3.    Cùng đơn vị và quy ước biểu diễn: Tiền tệ, đơn vị đo, múi giờ, định dạng ngày, mã quốc gia hoặc cách làm tròn phải được chuẩn hóa trước khi so sánh

4.    Cùng mốc thời gian hoặc phiên bản: Một địa chỉ cập nhật hôm nay không nhất thiết phải trùng với ảnh chụp dữ liệu từ tuần trước

5.    Cùng quy tắc nghiệp vụ: Các hệ thống phải được đánh giá theo quy tắc tương thích; nếu một nguồn lưu trạng thái chi tiết còn nguồn kia gom thành nhóm, khác biệt có thể đến từ cách phân loại

Nếu thiếu một trong các điều kiện này, chênh lệch quan sát được chưa đủ để chứng minh có lỗi nhất quán. Vì thế, đối chiếu dữ liệu chỉ bằng phép so sánh chuỗi hoặc so sánh giá trị thô có thể tạo ra nhiều cảnh báo không phản ánh xung đột thực sự.

Những dạng sai lệch thường gặp giữa các nguồn

Sai lệch giữa các nguồn không chỉ là hai ô dữ liệu có giá trị khác nhau. Có thể phân loại theo bản chất của xung đột để xác định nguyên nhân và cách kiểm tra tiếp theo.

Mỗi dạng sai lệch đòi hỏi cách xử lý khác nhau. Khác biệt biểu diễn thường cần chuẩn hóa; lệch thời gian cần kiểm tra thời điểm hiệu lực; còn xung đột giá trị thực sự cần xác định nguồn có thẩm quyền hoặc quy tắc quyết định.

Cách nhận diện sai lệch mà không kết luận nhầm

Chuẩn hóa điều kiện so sánh

Bước đầu tiên là xác định khóa dùng để nhận diện cùng một đối tượng và ánh xạ đúng các trường tương ứng giữa các nguồn. Sau đó mới chuẩn hóa những yếu tố có thể làm hai giá trị trông khác nhau dù ý nghĩa tương đương, chẳng hạn kiểu dữ liệu, khoảng trắng, chữ hoa–thường, đơn vị đo, mã danh mục, múi giờ hoặc quy ước số điện thoại.

Chuẩn hóa không có nghĩa là ép mọi dữ liệu thành một giá trị giống nhau. Mục đích là loại bỏ khác biệt hình thức để phần chênh lệch còn lại phản ánh đúng khả năng mâu thuẫn về nội dung.

Đối chiếu bằng quy tắc có thể kiểm chứng

Sau khi các bản ghi đủ điều kiện so sánh, có thể kiểm tra bằng quy tắc rõ ràng: bằng nhau tuyệt đối, tương đương sau ánh xạ, nằm trong sai số cho phép, tuân thủ quan hệ giữa các trường hoặc phù hợp với một nguồn chuẩn đã xác định.

Nếu cần lượng hóa, có thể dùng tỷ lệ vi phạm nhất quán:

Tỷ lệ vi phạm = Số bản ghi vi phạm quy tắc nhất quán / Tổng số bản ghi đủ điều kiện so sánh × 100%

Chỉ số này giúp theo dõi mức độ sai lệch theo thời gian hoặc giữa các tập dữ liệu, nhưng không có một ngưỡng “đạt” chung cho mọi tổ chức. Ngưỡng chấp nhận phải xuất phát từ mức rủi ro, mục đích sử dụng dữ liệu và quy tắc nghiệp vụ cụ thể.

Phân biệt chênh lệch hợp lệ với xung đột thực sự

Mỗi trường hợp lệch nên được kiểm tra thêm về thời điểm hiệu lực, nguồn phát sinh, lịch sử thay đổi và quy tắc ánh xạ. Nếu nguồn A ghi giá trị trước khi một sự kiện xảy ra còn nguồn B ghi sau sự kiện, hai bản ghi có thể đều đúng trong phạm vi thời gian của mình.

Xung đột thực sự xuất hiện khi hai dữ liệu được kỳ vọng phải tương đương trong cùng điều kiện nhưng lại đưa ra kết quả không thể đồng thời đúng theo quy tắc đã đặt ra. Việc đánh giá vì thế phải dựa trên ngữ cảnh, thay vì mặc định “khác nhau là sai”.

Tính nhất quán khác độ chính xác và tính cập nhật ra sao?

Tính nhất quán trả lời câu hỏi “các dữ liệu liên quan có mâu thuẫn với nhau không?”, còn độ chính xác trả lời “dữ liệu có phản ánh đúng thực tế hoặc giá trị tham chiếu hay không?”. Hai nguồn có thể cùng ghi sai ngày sinh của một khách hàng; khi đó chúng nhất quán với nhau nhưng không chính xác.

Tính cập nhật liên quan đến việc dữ liệu có phản ánh trạng thái đủ mới cho mục đích sử dụng hay không. Một bản ghi cũ không tự động là bất nhất. Nó trở thành vấn đề nhất quán khi hệ thống yêu cầu các nguồn phải đại diện cho cùng một thời điểm hoặc phiên bản nhưng một nguồn chưa được đồng bộ.

Tính đầy đủ cũng khác với tính nhất quán. Một trường bị thiếu cho thấy thiếu thông tin; chỉ khi sự thiếu đó vi phạm quan hệ hoặc quy tắc cần có giữa các dữ liệu thì nó mới đồng thời tạo ra vấn đề nhất quán. Phân biệt các thuộc tính này giúp tránh gộp mọi lỗi chất lượng dữ liệu thành một nhãn duy nhất và chọn sai cách xử lý.

Nên xử lý thế nào khi các nguồn cho kết quả khác nhau?

Khi phát hiện xung đột, không nên mặc định chọn giá trị xuất hiện ở nhiều nguồn hơn hoặc giá trị cập nhật gần nhất. Quyết định cần dựa trên quyền sở hữu dữ liệu, phạm vi nghiệp vụ, thời điểm hiệu lực và lịch sử phát sinh của từng giá trị. Nguồn có thẩm quyền cho một thuộc tính có thể khác nguồn có thẩm quyền cho thuộc tính khác.

Ví dụ, CRM có thể là nơi nhân viên chăm sóc cập nhật thông tin liên hệ, trong khi hệ thống hóa đơn là nguồn chính thức cho dữ liệu đã dùng để phát hành chứng từ. Nếu địa chỉ giữa hai hệ thống khác nhau, trước tiên phải xác định đang hỏi “địa chỉ liên hệ hiện tại” hay “địa chỉ trên hóa đơn tại thời điểm phát hành”. Chỉ khi định nghĩa đích rõ ràng mới có thể chọn giá trị phù hợp.

Mỗi xung đột cũng nên giữ lại dấu vết về nguồn, thời điểm, quy tắc đối chiếu và lý do chọn hoặc loại một giá trị. Nhờ đó có thể phân biệt lỗi nhập liệu, lỗi ánh xạ, chậm đồng bộ và khác biệt nghiệp vụ hợp lệ, thay vì sửa trực tiếp một trường rồi làm mất thông tin về nguyên nhân.

Tính nhất quán dữ liệu chỉ có ý nghĩa trong một khung so sánh xác định. Muốn nhận diện sai lệch chính xác, cần bảo đảm dữ liệu đang nói về đúng đối tượng, đúng thuộc tính, đúng đơn vị, đúng thời điểm và cùng quy tắc diễn giải trước khi coi khác biệt là lỗi. Dữ liệu nhất quán chưa chắc chính xác, còn hai nguồn khác nhau chưa chắc bất nhất; giá trị của việc kiểm tra nằm ở khả năng phân biệt xung đột thực sự với khác biệt hợp lệ và xác định đúng nguồn có thẩm quyền cho từng ngữ cảnh.