Vòng đời dữ liệu gồm những giai đoạn nào?

Không có một số lượng giai đoạn duy nhất áp dụng cho mọi tổ chức. Một số mô hình gộp xử lý với phân tích, một số tách lưu trữ khỏi bảo tồn, trong khi mô hình khác coi chia sẻ và tái sử dụng là một giai đoạn riêng. Để dễ theo dõi trong thực tế, vòng đời dữ liệu có thể quy về 7 giai đoạn: tạo hoặc thu thập → xử lý → lưu trữ và bảo vệ → sử dụng và phân tích → chia sẻ và tái sử dụng → lưu giữ dài hạn → kết thúc vòng đời.

Vòng đời dữ liệu gồm những giai đoạn nào?

Bảy giai đoạn dưới đây mô tả đầy đủ đường đi phổ biến của một tập dữ liệu. Chúng không nhất thiết diễn ra theo đường thẳng; dữ liệu sau khi được sử dụng hoặc tái sử dụng có thể phát sinh phiên bản mới và quay lại bước xử lý.

Tạo hoặc thu thập dữ liệu

Vòng đời bắt đầu khi dữ liệu được tạo mới hoặc được tiếp nhận từ một nguồn có sẵn. Dữ liệu có thể phát sinh từ biểu mẫu, giao dịch, thiết bị cảm biến, ứng dụng, hệ thống nghiệp vụ, hoạt động nghiên cứu hoặc nguồn dữ liệu bên ngoài.

Ở bước này, việc biết dữ liệu đến từ đâu quan trọng không kém bản thân dữ liệu. Nguồn, thời điểm thu thập, phương thức tạo, chủ thể chịu trách nhiệm và mục đích sử dụng ban đầu tạo thành ngữ cảnh để những người sử dụng sau này đánh giá dữ liệu có phù hợp với nhu cầu của họ hay không.

Một tập dữ liệu được thu thập nhiều nhưng không xác định rõ mục đích hoặc nguồn gốc có thể làm tăng chi phí quản lý mà chưa chắc tạo thêm giá trị. Vì vậy, thu thập không nên được hiểu đơn giản là “càng nhiều càng tốt”.

Xử lý và chuẩn bị dữ liệu

Dữ liệu thô hiếm khi có thể đưa ngay vào sử dụng. Nó thường phải trải qua các bước như kiểm tra định dạng, phát hiện lỗi, loại bản ghi trùng, chuẩn hóa đơn vị, biến đổi cấu trúc, kết hợp nhiều nguồn hoặc bổ sung thông tin mô tả.

Mục đích của xử lý là đưa dữ liệu về trạng thái phù hợp với công việc tiếp theo. Nếu dữ liệu sẽ dùng để lập báo cáo, yêu cầu về cấu trúc có thể khác dữ liệu dùng cho phân tích thống kê hoặc trao đổi giữa các hệ thống.

Quá trình xử lý cũng có thể tạo ra dữ liệu mới. Chẳng hạn, tập dữ liệu tổng hợp được tính từ dữ liệu giao dịch ban đầu là một tài sản dữ liệu riêng và cần được quản lý cùng thông tin về nguồn gốc cũng như cách nó được tạo ra.

Lưu trữ và bảo vệ dữ liệu

Sau khi được thu thập hoặc xử lý, dữ liệu cần được lưu tại môi trường cho phép truy cập khi cần. Đó có thể là cơ sở dữ liệu, hệ thống tệp, kho dữ liệu, nền tảng đám mây hoặc một hệ thống chuyên dụng.

Lưu trữ không chỉ là chọn nơi đặt tệp. Tổ chức còn phải xác định ai được truy cập, dữ liệu nào cần mức bảo vệ cao hơn, cơ chế sao lưu và khôi phục ra sao, cũng như cách kiểm soát những bản sao được tạo trong quá trình làm việc.

Mức bảo vệ nên tương ứng với tính nhạy cảm, giá trị và hậu quả nếu dữ liệu bị mất, thay đổi hoặc truy cập trái phép. Vì vậy, hai tập dữ liệu có dung lượng tương đương vẫn có thể cần chính sách lưu trữ hoàn toàn khác nhau.

Sử dụng và phân tích dữ liệu

Đây là giai đoạn dữ liệu trực tiếp tạo ra giá trị. Người dùng hoặc hệ thống có thể truy vấn dữ liệu, tính toán chỉ số, lập báo cáo, phân tích xu hướng, kiểm tra giả thuyết hoặc đưa dữ liệu vào một quy trình ra quyết định.

Dữ liệu chỉ hữu ích khi phù hợp với mục đích sử dụng cụ thể. Một tập dữ liệu chính xác ở thời điểm thu thập vẫn có thể trở nên không phù hợp nếu đã quá cũ, thiếu trường cần thiết hoặc được sử dụng cho một mục đích khác xa ngữ cảnh ban đầu.

Do đó, quyền truy cập và chất lượng dữ liệu phải tiếp tục được kiểm soát ở giai đoạn sử dụng. Việc dữ liệu đã được lưu an toàn không đồng nghĩa mọi cách sử dụng dữ liệu đều phù hợp.

Chia sẻ, phân phối và tái sử dụng dữ liệu

Dữ liệu có thể được chuyển cho bộ phận khác, đối tác, khách hàng, nhà nghiên cứu hoặc một hệ thống khác. Việc chia sẻ có thể diễn ra qua báo cáo, tệp xuất, giao diện lập trình, kho dữ liệu dùng chung hoặc các cơ chế trao đổi khác.

Khi dữ liệu rời khỏi ngữ cảnh ban đầu, thông tin mô tả trở nên đặc biệt quan trọng. Người nhận cần hiểu dữ liệu biểu thị điều gì, được tạo vào thời điểm nào, đã trải qua những bước xử lý nào và có giới hạn sử dụng nào.

Tái sử dụng cũng có thể mở ra một vòng đời mới. Một tập dữ liệu cũ được kết hợp với nguồn mới để tạo sản phẩm phân tích khác sẽ tiếp tục đi qua các bước xử lý, lưu trữ, sử dụng và quản lý tương ứng.

Lưu giữ và bảo tồn dài hạn

Không phải dữ liệu ngừng được sử dụng thường xuyên là dữ liệu hết giá trị. Một số tập dữ liệu cần được giữ để phục vụ đối chiếu, nghiên cứu sau này, nghĩa vụ lưu giữ, kiểm toán hoặc bảo toàn hồ sơ.

Ở trạng thái này, mục tiêu chuyển từ truy cập thường xuyên sang duy trì khả năng tìm thấy, đọc và khôi phục dữ liệu trong khoảng thời gian cần thiết. Dữ liệu có thể được chuyển khỏi hệ thống vận hành sang môi trường lưu giữ phù hợp hơn về chi phí và mục đích.

Lưu giữ dài hạn khác với sao lưu. Sao lưu chủ yếu giúp phục hồi dữ liệu khi hệ thống gặp sự cố, trong khi lưu trữ dài hạn nhằm giữ một tài sản dữ liệu có chủ đích trong một khoảng thời gian xác định. Một bản sao lưu vì thế không tự động trở thành kho lưu trữ hồ sơ.

Kết thúc vòng đời dữ liệu

Khi dữ liệu không còn giá trị sử dụng cần thiết và không còn lý do phải tiếp tục lưu giữ, tổ chức có thể đưa dữ liệu đến giai đoạn kết thúc. Tùy loại dữ liệu và môi trường lưu trữ, việc này có thể bao gồm xóa, tiêu hủy an toàn, loại khỏi kho lưu giữ hoặc chuyển giao trách nhiệm quản lý.

Điểm quan trọng là quyết định kết thúc phải dựa trên tiêu chí rõ ràng, thay vì chỉ vì dữ liệu “đã cũ”. Giá trị sử dụng trong tương lai, nghĩa vụ lưu giữ, yêu cầu hợp đồng, mức độ nhạy cảm và chi phí tiếp tục bảo quản đều có thể ảnh hưởng đến quyết định.

Xóa một bản ghi khỏi ứng dụng cũng chưa chắc đồng nghĩa dữ liệu đã biến mất hoàn toàn. Bản sao, dữ liệu xuất, môi trường dự phòng hoặc các hệ thống liên quan có thể vẫn còn giữ thông tin. Vì thế, quá trình kết thúc cần xét đến toàn bộ nơi dữ liệu thực sự tồn tại.

Vì sao các mô hình vòng đời dữ liệu có số giai đoạn khác nhau?

Vòng đời dữ liệu là một mô hình quản lý chứ không phải một chuỗi bước kỹ thuật cố định. Số giai đoạn thay đổi vì mỗi mô hình phục vụ một mục tiêu khác nhau. Môi trường nghiên cứu có thể tách riêng phân tích và công bố; hệ thống doanh nghiệp có thể nhấn mạnh lưu trữ, sử dụng và chia sẻ; quản trị hồ sơ lại quan tâm nhiều hơn đến thời hạn lưu giữ và xử lý cuối vòng đời.

Sự khác nhau chủ yếu nằm ở cách gộp hoặc tách hoạt động. “Xử lý” và “phân tích” có thể là hai giai đoạn riêng hoặc một giai đoạn. “Sử dụng”, “chia sẻ” và “tái sử dụng” cũng có thể được nhóm chung. Tương tự, “lưu giữ” và “tiêu hủy” đôi khi được đặt chung trong một giai đoạn cuối vòng đời.

Vì vậy, không nên đánh giá một mô hình chỉ dựa vào việc nó có năm, sáu hay bảy bước. Quan trọng hơn là mô hình đó có bao quát được nguồn gốc dữ liệu, quá trình biến đổi, nơi lưu giữ, cách sử dụng, trách nhiệm bảo vệ và quyết định cuối vòng đời hay không.

Vòng đời cũng không nhất thiết tuyến tính. Kết quả phân tích có thể cho thấy cần thu thập thêm dữ liệu; dữ liệu được tái sử dụng có thể tạo ra một tập dữ liệu mới; dữ liệu đã lưu giữ lâu dài cũng có thể được đưa trở lại môi trường hoạt động. Chính khả năng quay lại các bước trước là lý do khái niệm này được gọi là “vòng đời” thay vì một quy trình một chiều.

Những hoạt động nào phải duy trì xuyên suốt vòng đời dữ liệu?

Một số nhiệm vụ không thuộc riêng một giai đoạn mà phải theo dữ liệu từ lúc hình thành đến khi kết thúc. Nếu chỉ thực hiện chúng ở một điểm duy nhất, dữ liệu có thể mất ngữ cảnh hoặc trở nên khó kiểm soát khi di chuyển giữa các hệ thống.

·         Metadata và nguồn gốc dữ liệu: Ghi lại dữ liệu là gì, đến từ đâu, đã được thay đổi như thế nào và phiên bản nào đang được sử dụng

·         Quản lý chất lượng: Theo dõi tính đầy đủ, nhất quán, hợp lệ và mức độ phù hợp với mục đích sử dụng

·         Bảo mật, sao lưu và khôi phục: Kiểm soát truy cập, bảo vệ dữ liệu khỏi mất mát hoặc thay đổi trái phép và duy trì khả năng phục hồi

·         Quyền sở hữu và trách nhiệm quản lý: Xác định ai chịu trách nhiệm đối với dữ liệu, ai được quyết định quyền truy cập, thời gian lưu giữ và cách xử lý cuối vòng đời

Các nhiệm vụ này liên kết các giai đoạn với nhau. Ví dụ, nếu quá trình xử lý không được ghi lại, người phân tích khó biết dữ liệu đã bị biến đổi ra sao. Nếu không xác định trách nhiệm lưu giữ từ sớm, đến cuối vòng đời tổ chức có thể không biết tập dữ liệu nào được phép xóa và tập nào vẫn phải bảo tồn.

Quản lý theo vòng đời vì thế không có nghĩa chỉ tạo một sơ đồ các bước. Giá trị thực tế nằm ở việc gắn trách nhiệm, kiểm soát và quyết định cụ thể với dữ liệu trong suốt thời gian nó tồn tại.

Khi nào dữ liệu thực sự kết thúc vòng đời?

Dữ liệu bước vào cuối vòng đời khi nhu cầu sử dụng chủ động giảm hoặc chấm dứt. Tuy nhiên, “không còn dùng thường xuyên” chưa phải điều kiện đủ để xóa dữ liệu. Trước tiên cần xác định dữ liệu còn giá trị tham chiếu, nghĩa vụ lưu giữ hoặc khả năng tái sử dụng hay không.

Nếu vẫn cần giữ nhưng tần suất truy cập thấp, dữ liệu phù hợp hơn với trạng thái lưu giữ hoặc bảo tồn dài hạn. Nếu không còn giá trị cần thiết và không còn yêu cầu phải giữ, dữ liệu mới có thể được đưa vào quy trình xóa hoặc tiêu hủy.

Cách tiếp cận này tạo ra hai nhánh rõ ràng ở cuối vòng đời: preserve khi dữ liệu còn lý do để tồn tại và discard khi lý do đó đã hết. Việc xác định nhánh nào phù hợp cần dựa trên giá trị dữ liệu, yêu cầu lưu giữ, rủi ro nếu tiếp tục giữ và khả năng cần sử dụng lại.

Điểm cuối cũng không phải lúc nào là vĩnh viễn. Dữ liệu được bảo tồn có thể được lấy ra để phân tích lại, kết hợp với nguồn khác hoặc tạo một sản phẩm dữ liệu mới. Khi đó, nó quay trở lại các hoạt động xử lý và sử dụng, tiếp tục một chu kỳ mới thay vì đơn giản đi từ “sinh ra” đến “xóa bỏ” một lần duy nhất.

Vòng đời dữ liệu có thể được hiểu ngắn gọn là hành trình của dữ liệu từ tạo hoặc thu thập, xử lý, lưu trữ, sử dụng, chia sẻ, lưu giữ cho đến kết thúc. Số bước có thể thay đổi giữa các mô hình, nhưng bản chất không đổi: mỗi trạng thái của dữ liệu cần có mục đích, người chịu trách nhiệm và cách kiểm soát phù hợp.

Hiểu vòng đời theo cách này giúp tránh hai cực đoan thường gặp: giữ mọi dữ liệu vô thời hạn hoặc xóa dữ liệu chỉ vì không còn được sử dụng thường xuyên. Quản lý tốt là biết dữ liệu đang ở giai đoạn nào, còn giá trị gì, cần được bảo vệ đến mức nào và khi nào nên chuyển sang giai đoạn tiếp theo.