Chất lượng dữ liệu là gì và được đánh giá theo tiêu chí nào?

Điểm quan trọng là chất lượng dữ liệu mang tính đa chiều và phụ thuộc ngữ cảnh. Một tập dữ liệu có thể đạt yêu cầu cho báo cáo tổng hợp nhưng chưa đủ tin cậy để tính hóa đơn, kiểm soát rủi ro hoặc thực hiện một giao dịch quan trọng. Đánh giá đúng vì thế cần chuyển yêu cầu sử dụng thành các quy tắc và chỉ số đo cụ thể.

Chất lượng dữ liệu là gì?

Theo cách tiếp cận của quản lý chất lượng dữ liệu, chất lượng không phải một thuộc tính đơn lẻ mà là mức độ dữ liệu thỏa mãn các nhu cầu đã xác định hoặc ngầm định trong điều kiện sử dụng nhất định. Cách hiểu này tương thích với mô hình chất lượng dữ liệu của ISO/IEC 25012:2008: dữ liệu cần được đánh giá bằng nhiều đặc tính thay vì một chỉ số duy nhất.

Ví dụ, hồ sơ khách hàng có thể ghi đúng họ tên và số điện thoại tại thời điểm thu thập. Nếu số điện thoại đã thay đổi nhưng hệ thống không cập nhật, dữ liệu vẫn có độ chính xác lịch sử nhưng không còn đủ tính hiện thời cho một chiến dịch liên hệ. Ngược lại, một trường dữ liệu có đúng định dạng chưa chắc đã đúng về thực tế: chuỗi 0900000000 có thể vượt qua quy tắc định dạng số điện thoại nhưng vẫn là số không thuộc khách hàng đó.

Do đó, ba câu hỏi phải được tách biệt: dữ liệu có đúng không, có đạt quy tắc không và có phù hợp để sử dụng không. Ba trạng thái này có liên quan nhưng không đồng nhất.

Vì sao chất lượng dữ liệu phải gắn với mục đích sử dụng?

Không tồn tại một mức chất lượng duy nhất phù hợp cho mọi nghiệp vụ. Giá trị của từng tiêu chí phụ thuộc vào quyết định sẽ được đưa ra từ dữ liệu và hậu quả nếu dữ liệu sai.

Với danh sách gửi thông báo, việc thiếu một số trường không quan trọng có thể chấp nhận được, trong khi địa chỉ liên hệ và trạng thái đồng ý nhận thông tin phải đạt yêu cầu. Với dữ liệu thanh toán, mã giao dịch, số tiền và định danh khách hàng thường cần mức kiểm soát nghiêm ngặt hơn vì một bản ghi sai hoặc trùng có thể trực tiếp tạo ra giao dịch không chính xác.

Điều này dẫn đến nguyên tắc fitness for use: dữ liệu được xem là đủ chất lượng khi nó đáp ứng các yêu cầu cần thiết cho mục tiêu sử dụng đã xác định, với mức rủi ro chấp nhận được. Vì thế, một ngưỡng như 90%, 95% hay 99% không thể tự động được coi là “tốt” nếu chưa biết tiêu chí nào đang được đo và dữ liệu đó phục vụ việc gì.

Một trường định danh bắt buộc có thể cần 100% không trùng lặp, trong khi một thuộc tính phục vụ phân tích phụ trợ có thể chấp nhận tỷ lệ thiếu nhất định. Ngưỡng đánh giá phải xuất phát từ yêu cầu nghiệp vụ, mức độ quan trọng của trường dữ liệu và hậu quả của lỗi.

Các tiêu chí cốt lõi để đánh giá chất lượng dữ liệu

Trong vận hành, có thể chuyển khái niệm chất lượng dữ liệu thành sáu chiều đo thực hành. Đây không phải danh sách tiêu chí duy nhất áp dụng cho mọi tổ chức, nhưng chúng giúp phần lớn các lỗi dữ liệu phổ biến trở nên có thể đo lường.

Các tiêu chí này không thể thay thế lẫn nhau. Completeness cao không chứng minh Accuracy cao; một bảng có thể điền đủ 100% trường nhưng chứa nhiều giá trị sai. Tương tự, Validity chỉ chứng minh dữ liệu vượt qua các rule đã đặt ra, không chứng minh giá trị đó đúng với thế giới thực.

Accuracy thường khó đo hơn Validity vì cần một nguồn tham chiếu đáng tin cậy để xác minh. Validity có thể được kiểm tra tự động bằng kiểu dữ liệu, danh mục cho phép hoặc quy tắc nghiệp vụ, trong khi Accuracy đôi khi đòi hỏi đối chiếu với hệ thống nguồn, chứng từ hoặc nguồn xác thực độc lập.

ISO/IEC 25012 đánh giá chất lượng dữ liệu như thế nào?

ISO/IEC 25012:2008 cung cấp một mô hình rộng hơn sáu tiêu chí vận hành ở trên. Tiêu chuẩn xác định 15 đặc tính chất lượng và xem xét chúng theo hai góc độ: đặc tính vốn có của chính dữ liệu và đặc tính phụ thuộc vào hệ thống nơi dữ liệu được sử dụng.

Cách phân loại này cho thấy chất lượng dữ liệu rộng hơn việc phát hiện ô trống hoặc giá trị sai. Một tập dữ liệu có thể chính xác và đầy đủ nhưng vẫn khó sử dụng nếu người dùng không thể hiểu ý nghĩa trường dữ liệu, không truy vết được nguồn gốc hoặc không thể truy cập dữ liệu khi cần.

Mô hình ISO/IEC 25012 cũng giúp phân biệt chất lượng của bản thân dữ liệu với những yếu tố chịu ảnh hưởng từ môi trường hệ thống. Chẳng hạn, tính chính xác của ngày sinh thuộc về dữ liệu, trong khi khả năng khôi phục dữ liệu sau sự cố phụ thuộc nhiều vào hệ thống quản lý dữ liệu.

Sáu tiêu chí thực hành không nên được ánh xạ một-một với 15 đặc tính của ISO/IEC 25012. Chúng phục vụ hai mức mục đích khác nhau: bộ tiêu chí vận hành giúp thiết lập rule và KPI dễ hơn, còn mô hình tiêu chuẩn giúp kiểm tra phạm vi chất lượng có đang bị nhìn quá hẹp hay không. ISO/IEC 25012 cũng không cung cấp một ngưỡng phần trăm chung để tuyên bố mọi tập dữ liệu là đạt hoặc không đạt.

Cách đo và chấm điểm chất lượng dữ liệu

Một phép đo có ý nghĩa cần bắt đầu từ yêu cầu nghiệp vụ, sau đó mới chọn metric. Nếu làm ngược lại, tổ chức có thể tạo ra nhiều chỉ số đẹp nhưng không phản ánh rủi ro thực tế của dữ liệu.

Có thể thực hiện theo bốn bước:

1.    Xác định phạm vi và dữ liệu quan trọng: Chọn tập dữ liệu, trường dữ liệu hoặc Critical Data Element cần kiểm soát và xác định mục đích sử dụng

2.    Chuyển yêu cầu thành rule: Xác định điều kiện nào được xem là đúng, đủ, hợp lệ, nhất quán, đúng hạn hoặc duy nhất

3.    Đặt metric và ngưỡng chấp nhận: Tính tỷ lệ đạt rule và xác định ngưỡng dựa trên mức độ quan trọng, SLA hoặc mức rủi ro có thể chấp nhận

4.    Đánh giá theo từng chiều trước khi tổng hợp: Kiểm tra các tiêu chí riêng biệt, sau đó mới dùng trọng số hoặc điểm tổng hợp nếu cần

Giả sử một tập dữ liệu khách hàng được đánh giá với Accuracy 98%, Completeness 96%, Consistency 94%, Timeliness 90%, Validity 99% và Uniqueness 99,5%. Nếu tổ chức đặt trọng số lần lượt là 30%, 20%, 15%, 15%, 10% và 10%, điểm tổng hợp sẽ là:

Data Quality Score = 98 × 0,30 96 × 0,20 94 × 0,15 90 × 0,15 99 × 0,10 99,5 × 0,10 = 96,05%

Con số 96,05% chỉ có ý nghĩa trong mô hình chấm điểm đã định nghĩa. Nó không phải bằng chứng tự động cho thấy dữ liệu “tốt”. Nếu Uniqueness của mã khách hàng được quy định phải đạt 100% vì trùng định danh có thể gây giao dịch sai, mức 99,5% vẫn có thể khiến tập dữ liệu không đạt dù điểm tổng hợp cao.

Vì vậy, điểm tổng hợp nên đi cùng critical rule. Các vi phạm nghiêm trọng có thể được thiết kế thành điều kiện loại trực tiếp thay vì để điểm tốt ở những tiêu chí khác bù trừ. Cách này ngăn một chỉ số trung bình che khuất lỗi có tác động lớn.

Một giới hạn khác là metric chỉ tốt bằng rule và nguồn tham chiếu của nó. Nếu quy tắc kiểm tra sai, tỷ lệ Validity cao không có nhiều giá trị. Nếu nguồn dùng để kiểm tra Accuracy cũng chứa lỗi, kết quả đối chiếu không thể chứng minh chắc chắn dữ liệu đích là chính xác.

Khi nào dữ liệu đủ tin cậy để sử dụng?

Dữ liệu đủ tin cậy khi các đặc tính quan trọng đối với mục đích sử dụng đã đạt ngưỡng chấp nhận và những lỗi còn lại không tạo ra mức rủi ro vượt giới hạn mà nghiệp vụ cho phép. Đây là một quyết định dựa trên điều kiện sử dụng, không phải nhãn “đạt chất lượng” có hiệu lực vĩnh viễn.

Để đi đến quyết định đó, cần xem đồng thời ba lớp. Thứ nhất, các critical data element phải đạt rule bắt buộc. Thứ hai, những chiều chất lượng liên quan trực tiếp đến quyết định phải đạt ngưỡng, chẳng hạn Accuracy cho tính toán tài chính hoặc Timeliness cho dữ liệu vận hành thời gian gần thực. Thứ ba, nguồn gốc, thời điểm đo và phạm vi kiểm tra phải đủ rõ để người sử dụng biết kết quả chất lượng còn hiệu lực trong điều kiện nào.

Chất lượng cũng cần được theo dõi theo thời gian. Một tập dữ liệu đạt ngưỡng hôm nay có thể suy giảm sau khi nguồn nhập thay đổi, hệ thống tích hợp gặp lỗi hoặc dữ liệu không được cập nhật đúng hạn. Vì thế, kiểm tra chất lượng có giá trị hơn khi được gắn với rule có chủ sở hữu, tần suất đo và cơ chế cảnh báo thay vì chỉ thực hiện một lần.

Quan trọng nhất, không nên rút gọn chất lượng dữ liệu thành một câu hỏi “dữ liệu có đúng không?”. Câu hỏi thực tế phải là: dữ liệu có đủ chính xác, đầy đủ, nhất quán, hợp lệ, kịp thời và phù hợp để hỗ trợ quyết định cụ thể với mức rủi ro chấp nhận được hay không?

Chất lượng dữ liệu là mức độ dữ liệu đáp ứng yêu cầu sử dụng trong một bối cảnh xác định, vì vậy phải được đánh giá đa chiều. Accuracy, Completeness, Consistency, Validity, Timeliness và Uniqueness là những tiêu chí thực hành hữu ích để lượng hóa lỗi, trong khi ISO/IEC 25012 cung cấp mô hình rộng hơn gồm các đặc tính vốn có và phụ thuộc hệ thống.

Một kết quả đáng tin cậy không đến từ việc đạt một điểm tổng hợp cao, mà từ việc chọn đúng tiêu chí, đặt rule và ngưỡng phù hợp với nghiệp vụ, kiểm soát các lỗi trọng yếu và hiểu rõ giới hạn của phép đo. Dữ liệu chỉ thực sự “đủ tốt” khi chất lượng của nó phù hợp với quyết định mà dữ liệu sẽ hỗ trợ.