Dữ liệu chủ là gì và có vai trò như thế nào?

Dữ liệu chủ cần được hiểu theo bản chất nghiệp vụ, không phải theo nơi lưu trữ. Nó mô tả những thực thể cốt lõi được nhiều quy trình và hệ thống cùng tham chiếu. Trong quản trị dữ liệu, phiên bản có thẩm quyền được xác lập cùng định nghĩa, quy tắc chất lượng và trách nhiệm quản lý chung; mô hình này không bắt buộc mọi dữ liệu phải nằm trong một kho vật lý.

Dữ liệu chủ là gì?

Dữ liệu chủ, hay master data, là dữ liệu mô tả các thực thể nghiệp vụ cốt lõi mà tổ chức cần nhận diện và sử dụng lặp lại trong nhiều quy trình. Các thực thể điển hình gồm khách hàng, sản phẩm, nhà cung cấp, nhân sự, tài sản hoặc địa điểm. SAP mô tả master data là dữ liệu cốt lõi về những thực thể quan trọng của doanh nghiệp, được chia sẻ giữa nhiều hệ thống và quy trình, đồng thời thường thay đổi ít thường xuyên hơn dữ liệu giao dịch. IBM cũng xem master data là dữ liệu cốt lõi mô tả các thực thể như khách hàng, sản phẩm và địa điểm.

Một trường dữ liệu không trở thành master data chỉ vì nó “quan trọng”. Điểm nhận diện nằm ở việc dữ liệu có đại diện cho một thực thể dùng chung và được nhiều hoạt động tham chiếu hay không. Một đơn hàng phát sinh theo từng giao dịch nhưng vẫn phải tham chiếu tới khách hàng, sản phẩm, địa chỉ hoặc đơn vị bán hàng đã được nhận diện nhất quán; các thực thể được tham chiếu lặp lại đó mới là ứng viên điển hình của dữ liệu chủ.

Từ “chủ” mô tả vai trò có thẩm quyền của dữ liệu đối với một thực thể, không phải yêu cầu lưu toàn bộ dữ liệu trong một cơ sở dữ liệu trung tâm.

ISO 8000 dành riêng một chuỗi tiêu chuẩn cho chất lượng master data. ISO 8000-100:2016 bao quát các khía cạnh quản lý chất lượng, chỉ số chất lượng và những yêu cầu đối với dữ liệu cũng như tổ chức khi quản lý master data.

Dữ liệu chủ khác dữ liệu giao dịch và dữ liệu tham chiếu ở đâu?

Ba nhóm này có thể cùng xuất hiện trong một quy trình nhưng giữ chức năng khác nhau. Dữ liệu chủ trả lời “đối tượng là ai hoặc là gì”, dữ liệu giao dịch ghi nhận “điều gì đã xảy ra”, còn dữ liệu tham chiếu cung cấp “bộ giá trị chuẩn nào được dùng để phân loại hoặc mã hóa”.

Mỗi nhóm cần cách kiểm soát khác nhau. Dữ liệu giao dịch có tần suất phát sinh cao và cần bảo toàn lịch sử sự kiện; dữ liệu tham chiếu cần kiểm soát danh mục giá trị chuẩn; còn dữ liệu chủ phải giải quyết câu hỏi nhận diện thực thể, trùng lặp, quyền sở hữu, chất lượng thuộc tính và việc sử dụng nhất quán giữa hệ thống.

Một bảng mã tiền tệ có thể được dùng rộng khắp nhưng về bản chất vẫn là reference data; một hóa đơn có giá trị lớn cũng không trở thành master data vì nó vẫn là bản ghi giao dịch. Vì thế, phạm vi master data không nên được xác định bằng mức độ quan trọng hoặc mức độ dùng chung đơn thuần.

Vì sao dữ liệu chủ cần được quản trị thống nhất?

Khi một thực thể được tạo độc lập ở nhiều hệ thống, sai khác thường xuất hiện dưới ba dạng: trùng bản ghi, khác chuẩn biểu diễn và khác định nghĩa nghiệp vụ. Cùng một khách hàng có thể mang nhiều mã khác nhau; tên nhà cung cấp có thể được viết theo nhiều chuẩn; một thuộc tính “khách hàng hoạt động” có thể được các phòng ban hiểu theo những điều kiện khác nhau. Mỗi hệ thống có thể vẫn vận hành đúng theo logic riêng nhưng toàn tổ chức không còn cùng cách hiểu về thực thể.

Sai khác ở tầng thực thể lan sang cả vận hành lẫn phân tích. Một giao dịch dùng mã sản phẩm sai có thể làm lệch tồn kho hoặc báo cáo; hai hệ thống ghi nhận cùng một khách hàng dưới hai bản ghi khác nhau có thể khiến phân tích khách hàng bị chia nhỏ. IBM nêu phân mảnh, dữ liệu trùng và không chính xác giữa các ứng dụng như những vấn đề quản trị dữ liệu chủ (master data management - MDM) cần xử lý; SAP cũng nêu rằng sai khác trong dữ liệu được dùng lại giữa nhiều hệ thống có thể dẫn đến lỗi vận hành, báo cáo và quyết định.

Quản trị thống nhất không xóa mọi khác biệt kỹ thuật giữa hệ thống. Nó xác định định nghĩa có thẩm quyền, bản ghi nào đại diện đúng cho thực thể, thuộc tính nào cần chuẩn hóa, ai chịu trách nhiệm phê duyệt thay đổi và các hệ thống sẽ nhận phiên bản đã được kiểm soát bằng cách nào.

Dữ liệu chủ giữ vai trò gì trong quản trị dữ liệu?

DAMA International mô tả quản trị dữ liệu (data governance) là cơ chế thiết lập trách nhiệm, chính sách và quyền quyết định để dữ liệu được quản lý đúng cách. Với dữ liệu chủ, các nguyên tắc đó được chuyển thành định nghĩa thực thể, quy tắc chất lượng, quyền sở hữu và quy trình thay đổi áp dụng xuyên hệ thống.

Chuẩn hóa ý nghĩa và quy tắc của dữ liệu cốt lõi

Quản trị dữ liệu chủ phải xác định thực thể nào đang được quản trị và thực thể đó có nghĩa gì trong nghiệp vụ. Các quyết định này được cụ thể hóa qua định nghĩa, mã định danh, thuộc tính bắt buộc, quy tắc tạo mới, quy tắc thay đổi và quan hệ giữa các thực thể.

Nếu “khách hàng” được bộ phận bán hàng hiểu là bất kỳ người có thông tin liên hệ, trong khi tài chính chỉ công nhận đối tượng đã có giao dịch, hai hệ thống có thể cùng đúng theo quy trình riêng nhưng không thể đối chiếu trực tiếp. Quản trị dữ liệu chủ phải làm rõ định nghĩa và quyền quyết định cho những khác biệt như vậy, nhờ đó các bộ phận cùng dùng một ngôn ngữ nghiệp vụ khi trao đổi dữ liệu.

Kiểm soát chất lượng và tính nhất quán giữa hệ thống

Các quy tắc chất lượng có thể được gắn trực tiếp với thực thể dữ liệu chủ: trường nào bắt buộc, định dạng nào hợp lệ, bản ghi nào bị trùng, nguồn nào có ưu tiên và thay đổi nào cần phê duyệt. Cách kiểm soát này xử lý sai lệch ở lớp thực thể thay vì chỉ phát hiện chúng khi đã xuất hiện trong báo cáo.

Khi nhiều hệ thống cùng tham chiếu một phiên bản đã được chuẩn hóa, cùng một lỗi không phải được sửa lặp lại tại từng điểm sử dụng. Ngược lại, sai lệch ở master data có thể được sao chép sang nhiều giao dịch, báo cáo và ứng dụng. Master data management và data quality vì thế liên quan chặt chẽ nhưng không đồng nhất: MDM quản lý bản sắc và phiên bản của thực thể, còn quản lý chất lượng đặt ra và giám sát tiêu chí để dữ liệu phù hợp mục đích sử dụng.

Tạo điểm tham chiếu chung cho vận hành, phân tích và kiểm soát

Muốn nối dữ liệu giữa các hệ thống, tổ chức phải biết các bản ghi khác nhau đang nói về cùng một thực thể nào. Dữ liệu chủ cung cấp lớp nhận diện này. Khi mã khách hàng, sản phẩm hoặc nhà cung cấp được đối sánh và quản trị nhất quán, giao dịch từ nhiều hệ thống có thể được liên kết về cùng đối tượng nghiệp vụ.

Chính sách, quyền sở hữu và quy tắc chất lượng được phản ánh trong bản ghi mà hệ thống vận hành, kho dữ liệu, báo cáo và các ứng dụng khác cùng sử dụng. Tuy nhiên, dữ liệu chủ không tự bảo đảm một báo cáo hay mô hình phân tích là đúng; nó chỉ cung cấp lớp thực thể nhất quán. Độ đúng cuối cùng còn phụ thuộc vào dữ liệu giao dịch, logic biến đổi, siêu dữ liệu (metadata) và các kiểm soát khác.

Dữ liệu chủ tạo nguồn thông tin thống nhất như thế nào?

“Nguồn thông tin thống nhất” thường được diễn đạt bằng các khái niệm single source of truth, authoritative record hoặc golden record. Cốt lõi của mô hình này là cơ chế xác định phiên bản nào đáng tin cậy và cách các hệ thống khác sử dụng phiên bản đó, chứ không phải chỉ tồn tại một bản ghi vật lý.

Hợp nhất và đối sánh các bản ghi về cùng thực thể

Các bản ghi từ nhiều nguồn được đưa vào cơ chế đối sánh. Những trường như mã định danh, tên, địa chỉ, số đăng ký hoặc thuộc tính nghiệp vụ được chuẩn hóa và so sánh để xác định các bản ghi nào thực chất thuộc cùng một đối tượng. IBM mô tả MDM là cách kết nối và đối sánh các bản ghi liên quan để tạo ra thực thể chính xác trên nhiều nguồn dữ liệu.

Đối sánh vẫn cần quy tắc nghiệp vụ. Hai bản ghi giống nhau về tên chưa chắc là một thực thể; hai bản ghi viết khác nhau vẫn có thể là cùng một thực thể. Vì thế, quy tắc đối sánh (matching), tiêu chí tin cậy và xử lý ngoại lệ phải gắn với bối cảnh của từng miền dữ liệu (domain).

Xác lập bản ghi có thẩm quyền

Sau khi nhận diện các bản ghi cùng thực thể, tổ chức cần hòa giải khác biệt: thuộc tính nào lấy từ nguồn nào, giá trị nào mới nhất hoặc có độ tin cậy cao hơn, bản ghi nào là trùng và thay đổi nào cần được phê duyệt. Kết quả là một bản ghi hoặc chế độ xem có thẩm quyền dùng làm chuẩn tham chiếu.

Microsoft Purview mô tả MDM như một thành phần nền tảng của data governance và dùng tập master data đã khử trùng lặp làm “golden standard” để kiểm tra độ tin cậy của tài sản dữ liệu. Golden record vì thế không chỉ là kết quả kỹ thuật của việc hợp nhất dữ liệu; nó còn phải phản ánh quy tắc chuẩn hóa, chất lượng và quyền quản trị.

Phân phối và đồng bộ cho các hệ thống sử dụng

Các hệ thống tiêu thụ phải có cách tìm, nhận và sử dụng phiên bản có thẩm quyền. Vì vậy, MDM thường đi kèm cơ chế xuất bản, API, đồng bộ hoặc tích hợp để các ứng dụng nghiệp vụ tham chiếu master data đã được kiểm soát. SAP Master Data Governance mô tả việc tạo, thay đổi và phân phối master data như các chức năng gắn với quản trị tập trung.

Single source of truth không đồng nghĩa với một cơ sở dữ liệu duy nhất. Trong kiến trúc phân tán, nhiều hệ thống vẫn có thể giữ bản sao phục vụ vận hành, miễn là tổ chức xác định rõ nguồn có thẩm quyền, quy tắc đồng bộ và cách xử lý xung đột. Nguồn thống nhất trước hết là sự thống nhất về thẩm quyền và ngữ nghĩa, sau đó mới là lựa chọn kiến trúc lưu trữ.

Điều kiện để dữ liệu chủ phát huy vai trò trong quản trị dữ liệu

Nền tảng MDM có thể hỗ trợ đối sánh và phân phối dữ liệu, nhưng không tự quyết định “khách hàng chuẩn là gì”, nguồn nào có quyền ưu tiên hay ai chịu trách nhiệm khi hai hệ thống xung đột. Những quyết định này thuộc data governance.

Mỗi miền dữ liệu chủ cần xác định rõ thực thể được quản trị, mã định danh, thuộc tính bắt buộc và các quan hệ cần duy trì. Trách nhiệm cũng phải rõ: data owner hoặc vai trò được ủy quyền chịu trách nhiệm quyết định đối với định nghĩa và chính sách, còn data steward hoặc vai trò tương đương theo dõi chất lượng, ngoại lệ và thay đổi trong thực tế. Nếu thiếu chủ thể chịu trách nhiệm, “golden record” dễ trở thành một bản sao dữ liệu nữa thay vì nguồn có thẩm quyền.

Quy tắc chất lượng và khả năng truy vết cần được kiểm soát bằng tiêu chí rõ ràng. ISO 8000-100:2016 đặt master data trong một khung chất lượng có yêu cầu đối với cả dữ liệu và tổ chức; ISO 8000-110:2021 bổ sung yêu cầu về cú pháp, mã hóa ngữ nghĩa và sự phù hợp với đặc tả dữ liệu khi trao đổi master data dạng dữ liệu đặc tính (characteristic data). Các tiêu chuẩn này không quy định một kiến trúc MDM duy nhất, nhưng cho thấy chất lượng master data cần ngữ nghĩa và tiêu chí có thể kiểm soát thay vì chỉ dựa vào đánh giá cảm tính.

Sau khi chuẩn hóa, cách dữ liệu chủ được sử dụng vẫn phải nằm trong cơ chế quản trị. Nếu hệ thống nguồn tiếp tục tự tạo mã mới ngoài quy tắc, hoặc hệ thống tiêu thụ không đồng bộ thay đổi, tính nhất quán sẽ nhanh chóng mất đi. Định nghĩa, quyền sở hữu, chất lượng, quy trình thay đổi và cơ chế phân phối vì thế phải được quản trị như một chuỗi liên tục.

Không phải mọi dữ liệu đều nên được đưa vào phạm vi master data. Chỉ những thực thể cốt lõi có giá trị dùng chung và cần nhận diện nhất quán mới phù hợp với phạm vi này; nếu mở rộng quá rộng, tổ chức có thể tạo thêm một lớp quản trị nặng nề mà không cải thiện tương xứng tính nhất quán của dữ liệu.

Dữ liệu chủ là lớp dữ liệu mô tả những thực thể cốt lõi được nhiều hệ thống và quy trình cùng sử dụng, như khách hàng, sản phẩm, nhà cung cấp hoặc địa điểm. Vai trò của nó trong quản trị dữ liệu là tạo điểm tham chiếu có thẩm quyền để tổ chức thống nhất định nghĩa, kiểm soát chất lượng, quản lý trách nhiệm và liên kết dữ liệu giữa các hệ thống.

Giá trị “nguồn thông tin thống nhất” không đến từ việc dồn mọi dữ liệu vào một nơi, mà từ cơ chế nhận diện, đối sánh, chuẩn hóa, phê duyệt và phân phối master data theo cùng quy tắc. Khi phạm vi, quyền sở hữu, chất lượng và vòng đời được quản trị rõ ràng, dữ liệu chủ trở thành nền tảng giúp các bộ phận cùng nói về một thực thể theo cùng một cách và sử dụng dữ liệu đáng tin cậy hơn.