Tính đầy đủ của dữ liệu có ý nghĩa gì trong quản trị?

Điểm này trực tiếp ảnh hưởng đến khả năng đánh giá và ra quyết định. Khi các bản ghi hoặc trường dữ liệu quan trọng bị thiếu, phép tính có thể vẫn chạy và báo cáo vẫn có thể được tạo, nhưng kết quả có thể chỉ mô tả phần dữ liệu còn lại thay vì toàn bộ đối tượng cần quản lý. Vì vậy, quản trị tính đầy đủ là cách kiểm soát rủi ro “ra quyết định trên một bức tranh bị khuyết”, đồng thời làm rõ mức độ có thể tin cậy và sử dụng của dữ liệu trong từng bối cảnh.

Tính đầy đủ bảo đảm điều gì trong quản trị dữ liệu?

Trong quản trị, tính đầy đủ đóng vai trò như một điều kiện sử dụng dữ liệu. Các mô hình chất lượng dữ liệu như ISO/IEC 25012 đặt chất lượng trong quan hệ với nhu cầu sử dụng; vì vậy tổ chức phải xác định trước bản ghi nào phải xuất hiện, trường nào bắt buộc, trường nào chỉ cần trong một số điều kiện và trường nào là tùy chọn.

Khi các yêu cầu này rõ ràng, tính đầy đủ trở thành một cơ chế kiểm soát: nó cho biết dữ liệu đầu vào đã đủ để thực hiện một phép đánh giá, áp dụng một quy tắc nghiệp vụ, lập báo cáo hay ra quyết định hay chưa. Nếu một hồ sơ tín dụng thiếu thu nhập, một hồ sơ khách hàng thiếu mã định danh hoặc một giao dịch thiếu giá trị tiền tệ, vấn đề không chỉ nằm ở “ô trống”; chính dữ liệu bị thiếu có thể làm cho phép đánh giá không còn đủ căn cứ.

Ý nghĩa quản trị vì thế nằm ở khả năng chuyển một yêu cầu nghiệp vụ thành điều kiện chất lượng có thể kiểm tra. Thay vì hỏi chung chung “dữ liệu có đầy đủ không?”, tổ chức cần hỏi “dữ liệu có đủ cho mục đích này, với những trường và bản ghi bắt buộc này hay không?”.

Dữ liệu thiếu làm sai lệch đánh giá và quyết định ra sao?

Dữ liệu thiếu có thể làm sai kết luận theo nhiều cơ chế khác nhau. Trước hết, thiếu bản ghi làm thay đổi độ bao phủ của tập dữ liệu. Nếu một báo cáo cần phản ánh 10.000 giao dịch nhưng hệ thống chỉ nhận được 9.500, số liệu tổng hợp đang dựa trên 95% giao dịch kỳ vọng. Nếu 500 giao dịch thiếu phân bố ngẫu nhiên, tác động có thể nhỏ; nếu chúng tập trung ở một chi nhánh, nhóm khách hàng hoặc khoảng thời gian nhất định, kết quả có thể lệch có hệ thống.

Thiếu trường dữ liệu tạo một dạng rủi ro khác. Một bản ghi vẫn tồn tại nhưng thiếu thuộc tính quyết định có thể không được phân loại đúng, không đi qua đầy đủ quy tắc kiểm soát hoặc bị loại khỏi phép tính. Khi đó, mẫu thực sự được dùng để đánh giá có thể khác đáng kể so với mẫu ban đầu mà người ra quyết định tưởng mình đang xem.

Tính đầy đủ còn ảnh hưởng khả năng so sánh. Nếu tháng này 99% bản ghi có giá trị cho một trường nhưng tháng trước chỉ 80%, việc so sánh trung bình giữa hai tháng có thể phản ánh cả thay đổi nghiệp vụ lẫn thay đổi trong độ bao phủ dữ liệu. Một chỉ số quản trị tốt vì thế không chỉ báo “có bao nhiêu dữ liệu”, mà còn cho biết dữ liệu thiếu ở đâu và thiếu theo mẫu nào.

Đo tính đầy đủ của dữ liệu như thế nào?

Phép đo chỉ có ý nghĩa khi xác định đúng mẫu số — tức số lượng dữ liệu được kỳ vọng phải hiện diện. Công thức cơ bản có thể biểu diễn như sau:

Tỷ lệ đầy đủ = Số phần tử bắt buộc có dữ liệu / Tổng số phần tử bắt buộc được kỳ vọng × 100%

Ở cấp bản ghi, nếu dự kiến phải có 300 hồ sơ nhưng chỉ nhận được 294 hồ sơ, độ đầy đủ về bản ghi là 98%. Ở cấp trường dữ liệu, nếu 1.000 khách hàng đều bắt buộc phải có mã định danh nhưng chỉ 970 hồ sơ có giá trị, độ đầy đủ của trường đó là 97%.

Không nên gộp tất cả trường vào một tỷ lệ duy nhất nếu mức độ quan trọng khác nhau. Một trường “biệt danh” có thể để trống mà không ảnh hưởng quyết định, trong khi trường “mã khách hàng”, “số tiền giao dịch” hoặc “ngày hiệu lực” có thể là điều kiện bắt buộc. Vì vậy, mẫu số nên loại các trường hợp thực sự “không áp dụng” và tập trung vào các giá trị được yêu cầu theo quy tắc nghiệp vụ.

Cũng cần phân biệt ba góc đo thường gặp. Độ đầy đủ ở cấp thuộc tính hỏi “trường bắt buộc có giá trị hay không”; ở cấp bản ghi hỏi “các hồ sơ phải tồn tại đã xuất hiện đủ hay chưa”; còn ở cấp thực thể hỏi “mỗi đối tượng quản lý đã có đủ bộ thông tin thiết yếu để sử dụng hay chưa”. Ba góc nhìn này có thể cho kết quả khác nhau và nên được dùng theo mục đích quyết định.

Đầy đủ không đồng nghĩa với chính xác hay hợp lệ

Một dữ liệu có thể đầy đủ nhưng vẫn sai. Nếu 100% hồ sơ đều có số điện thoại nhưng nhiều số thuộc về người khác, độ đầy đủ cao không làm tăng độ chính xác. Tương tự, một trường ngày tháng có thể luôn được điền nhưng chứa giá trị không đúng định dạng hoặc nằm ngoài miền cho phép; đó là vấn đề về tính hợp lệ.

Ngược lại, những giá trị đang hiện diện có thể rất chính xác nhưng tập dữ liệu vẫn thiếu nhiều bản ghi cần thiết. Khi đó, tổ chức có “dữ liệu đúng về phần đã có” nhưng chưa có đủ độ bao phủ để suy ra kết luận cho toàn bộ đối tượng cần đánh giá.

Đây là một ranh giới quan trọng trong quản trị dữ liệu: tính đầy đủ trả lời câu hỏi “có đủ dữ liệu cần thiết hay chưa?”, còn tính chính xác trả lời “giá trị có phản ánh đúng thực tế hay không?” và tính hợp lệ trả lời “giá trị có tuân thủ quy tắc, định dạng hoặc miền cho phép hay không?”. Một quyết định đáng tin cậy thường cần nhiều chiều chất lượng cùng đạt yêu cầu, không thể dùng tỷ lệ đầy đủ để thay thế cho các chiều còn lại.

Mức độ đầy đủ bao nhiêu mới là đủ?

Không có một tỷ lệ duy nhất phù hợp cho mọi tập dữ liệu. Ngưỡng chấp nhận phải phụ thuộc vào mục đích sử dụng, mức độ quan trọng của trường dữ liệu và hậu quả nếu dữ liệu bị thiếu. Một trường là điều kiện pháp lý hoặc điều kiện để phê duyệt giao dịch có thể được đặt yêu cầu 100% trong phạm vi áp dụng, trong khi một thuộc tính phục vụ phân tích bổ sung có thể chấp nhận mức thấp hơn.

Vì vậy, tỷ lệ tổng thể cao chưa chắc đã tốt. Một tập dữ liệu đạt 98% đầy đủ vẫn có thể không dùng được nếu 2% còn thiếu nằm đúng ở trường quyết định đối với các hồ sơ rủi ro cao. Ngược lại, nhiều ô trống ở các trường tùy chọn chưa chắc làm giảm chất lượng cho mục đích nghiệp vụ hiện tại.

Ngưỡng cũng cần được đánh giá theo phân đoạn, không chỉ theo toàn bộ tập dữ liệu. Nếu tỷ lệ chung là 97% nhưng một nguồn dữ liệu chỉ đạt 70%, một khu vực thiếu dữ liệu có hệ thống hoặc một giai đoạn bị mất bản ghi, số trung bình toàn cục có thể che khuất vấn đề. Quy tắc đúng là đặt ngưỡng theo mức độ quan trọng phạm vi áp dụng mục đích sử dụng, rồi theo dõi phần thiếu theo nguồn, thời gian và nhóm đối tượng.

Biến chỉ số đầy đủ thành quy tắc quản trị thế nào?

Một chỉ số completeness chỉ có giá trị quản trị khi gắn với trách nhiệm và hành động. Tổ chức có thể triển khai theo chuỗi sau:

1.    Xác định dữ liệu quan trọng: Chỉ rõ bản ghi, trường và thực thể nào bắt buộc cho từng mục đích nghiệp vụ

2.    Định nghĩa quy tắc đầy đủ: Mô tả khi nào dữ liệu được coi là có mặt, khi nào được phép “không áp dụng” và cách xử lý giá trị rỗng hoặc mã mặc định

3.    Đặt ngưỡng theo mức độ ảnh hưởng: Trường quyết định, trường pháp lý hoặc trường dùng làm khóa nhận diện thường cần yêu cầu nghiêm hơn trường mô tả bổ sung

4.    Theo dõi theo nguồn và phân đoạn: Đo không chỉ tỷ lệ tổng mà cả nơi phát sinh thiếu dữ liệu để phát hiện thiếu có hệ thống

5.    Gắn chủ sở hữu và phản ứng: Quy định ai chịu trách nhiệm khi chỉ số xuống dưới ngưỡng, khi nào cần cảnh báo, chặn xử lý hoặc sửa quy trình thu thập

6.    Công bố giới hạn sử dụng: Người dùng báo cáo cần biết trường nào thiếu, tỷ lệ thiếu và phạm vi bị ảnh hưởng trước khi diễn giải kết quả

Cách tiếp cận này biến tính đầy đủ từ một thống kê kỹ thuật thành một điều kiện sử dụng dữ liệu. Nó cũng phù hợp với tư duy quản trị dữ liệu của DAMA: chất lượng dữ liệu cần được quản lý bằng trách nhiệm, quy tắc và kiểm soát chứ không chỉ bằng hoạt động làm sạch sau khi lỗi đã xuất hiện.

Quan trọng nhất, khi một chỉ số xuống dưới ngưỡng, câu hỏi quản trị không nên dừng ở “điền thêm dữ liệu”. Cần xác định nguyên nhân: dữ liệu chưa được thu thập, bị mất khi tích hợp, quy tắc bắt buộc chưa được áp dụng, hay trường đó thực tế không cần cho mọi đối tượng. Sửa đúng nguyên nhân mới giúp độ đầy đủ bền vững thay vì chỉ cải thiện con số trong một lần kiểm tra.

Tính đầy đủ của dữ liệu có ý nghĩa vì nó cho biết tổ chức có đang đánh giá và ra quyết định trên đủ phần dữ liệu cần thiết hay không. Thiếu dữ liệu có thể làm thay đổi độ bao phủ, loại bỏ các trường hợp quan trọng khỏi phép tính hoặc che giấu khác biệt giữa các nhóm, từ đó làm suy yếu kết luận dù hệ thống vẫn tạo được báo cáo.

Do đó, quản trị tốt không đặt mục tiêu “100% mọi ô đều có giá trị”. Mục tiêu đúng là xác định dữ liệu nào bắt buộc cho từng mục đích, đo độ đầy đủ trên đúng phạm vi, đặt ngưỡng theo mức độ ảnh hưởng và công khai giới hạn khi dữ liệu chưa đạt yêu cầu. Khi được dùng theo cách đó, tính đầy đủ trở thành một kiểm soát trực tiếp đối với độ tin cậy của đánh giá và quyết định, nhưng vẫn phải được xem cùng tính chính xác, hợp lệ và các chiều chất lượng liên quan.