Giới thiệu

Dữ liệu thiếu là một trong những vấn đề phổ biến và gây khó chịu nhất trong phân tích dữ liệu. Các nhà phân tích thường dành 60–70% thời gian của họ cho việc làm sạch và tiền xử lý dữ liệu, trong đó việc xử lý các giá trị thiếu là một phần quan trọng. Quản lý dữ liệu thiếu kém có thể làm sai lệch kết quả, giảm sức mạnh thống kê và dẫn đến những hiểu biết sai lệch.

Mặc dù một cách tiếp cận là đơn giản là bỏ qua các giá trị thiếu, điều này có thể dẫn đến việc mất thông tin quý giá, đặc biệt khi tỷ lệ thiếu hụt là đáng kể. Thay vào đó, một giải pháp tinh vi hơn là imputation - thay thế các giá trị thiếu bằng các ước lượng có khả năng thống kê. Trong hướng dẫn này, chúng ta sẽ khám phá lý thuyết về dữ liệu thiếu, các chiến lược imputation khác nhau và cách thực hiện chúng trong R bằng cách sử dụng các gói mạnh mẽ như mice và VIM.

Hiểu về Dữ liệu Thiếu trong Phân Tích

Dữ liệu thiếu xảy ra vì nhiều lý do - người tham gia bỏ qua câu hỏi trong khảo sát, thiết bị không ghi lại các phép đo, hoặc giá trị được nhập không chính xác. Bất kể nguyên nhân là gì, những khoảng trống này có thể dẫn đến các mô hình sai lệch nếu không được xử lý đúng cách.

Nếu các giá trị thiếu đại diện cho dưới 5% của tập dữ liệu, đôi khi chúng có thể được bỏ qua mà không làm ảnh hưởng đáng kể đến kết quả. Tuy nhiên, khi tỷ lệ cao hơn, việc bỏ qua chúng có thể làm sai lệch các số liệu thống kê và giảm tính đại diện của mẫu. Đây là lúc imputation trở nên cần thiết.

Giá Trị Thiếu Là Gì?

Hãy tưởng tượng bạn thực hiện một cuộc khảo sát nơi người tham gia điền thông tin cá nhân. Đối với một người đã kết hôn, các trường như "tên vợ/chồng" và "số lượng trẻ em" được điền đầy đủ. Đối với một người chưa kết hôn, các trường này vẫn để trống - tạo ra các giá trị thiếu.

Các ví dụ khác bao gồm:

• Khoảng trống vô tình: Một người tham gia quên ghi độ tuổi của mình.
• Nhập dữ liệu sai: Một độ tuổi âm hoặc một tên được nhập vào trường ngày sinh.
• Bỏ qua có chủ ý: Các câu hỏi nhạy cảm (ví dụ: thu nhập, tình trạng sức khỏe) không được trả lời.

Vì sự thiếu hụt có thể xảy ra theo nhiều cách khác nhau, việc phân loại loại dữ liệu thiếu trước khi chọn chiến lược là rất quan trọng.

Các Loại Dữ Liệu Thiếu

Các giá trị thiếu rơi vào ba loại chính:

MCAR (Missing Completely at Random)

• Thiếu hụt không liên quan đến các biến quan sát hoặc không quan sát.
• Ví dụ: Một thiết bị trong phòng thí nghiệm ngẫu nhiên không ghi lại phép đo.
• Hiếm nhưng dễ xử lý nhất vì việc bỏ qua dữ liệu MCAR không làm sai lệch kết quả.

MAR (Missing At Random)

• Thiếu hụt chỉ phụ thuộc vào các biến quan sát.
• Ví dụ: Nam giới ít có khả năng trả lời khảo sát trầm cảm, bất kể mức độ trầm cảm thực tế của họ.
• Các nhà phân tích có thể impute giá trị với độ tin cậy hợp lý vì các mẫu là có thể giải thích.

NMAR (Not Missing At Random)

• Thiếu hụt phụ thuộc vào dữ liệu không quan sát hoặc giá trị bản thân.
• Ví dụ: Tên vợ/chồng thiếu có thể có nghĩa là người đó chưa kết hôn hoặc đã chọn không tiết lộ.
• Giá trị NMAR là những thách thức nhất và yêu cầu xử lý cẩn thận, thường cần có chuyên môn trong lĩnh vực.

Việc không xác định đúng loại dữ liệu thiếu có thể làm sai lệch kết quả. Ví dụ, việc xóa tất cả các bản ghi có tên vợ chồng thiếu có thể chỉ để lại những cá nhân đã kết hôn trong tập dữ liệu, tạo ra những hiểu biết sai lệch.

Các Phương Pháp Imputation Giá Trị Thiếu

Imputation liên quan đến việc điền các giá trị thiếu bằng các ước lượng bảo tồn các thuộc tính thống kê. Phương pháp được chọn phụ thuộc vào việc dữ liệu là số liệu hay phân loại.

Imputation Đơn Giản

• Imputation Trung Bình/Trung Vị: Đối với dữ liệu số, thay thế các giá trị thiếu bằng trung bình hoặc trung vị.
• Imputation Mode: Đối với dữ liệu phân loại, thay thế các giá trị thiếu bằng loại phổ biến nhất.
• Ưu điểm: Dễ thực hiện, duy trì kích thước tập dữ liệu.
• Nhược điểm: Giảm tính biến thiên và có thể làm sai lệch các mối quan hệ.

Imputation Ngữ Cảnh

• Trung Bình Di Chuyển: Trong chuỗi thời gian, thay thế các giá trị thiếu bằng trung bình của các quan sát gần kề.
• Mã Đặc Biệt: Sử dụng các giá trị thay thế ngoài phạm vi (ví dụ: tuổi = -1) để đánh dấu các giá trị thiếu.
• Ưu điểm: Duy trì cấu trúc tạm thời.
• Nhược điểm: Vẫn có thể làm sai lệch phương sai và phân phối.

Imputation Nâng Cao (Ưu tiên cho Mô Hình)

• Imputation dựa trên hồi quy.
• Imputation đa biến sử dụng các thuật toán như mice.
• Các phương pháp học máy (ví dụ: rừng ngẫu nhiên qua missForest).
• Những phương pháp này tạo ra các ước lượng thực tế hơn và bảo tồn các mối quan hệ thống kê.

Các Gói R Để Xử Lý Dữ Liệu Thiếu

R cung cấp nhiều gói được thiết kế riêng cho imputation:

• Hmisc – Imputation đơn giản với trung bình, trung vị và các lựa chọn ngẫu nhiên.
• Amelia – Imputation đa biến với bootstrapping, phù hợp cho dữ liệu cắt ngang và chuỗi thời gian.
• missForest – Imputation phi tham số sử dụng rừng ngẫu nhiên.
• mice – Imputation đa biến qua các phương trình chuỗi; được coi là tiêu chuẩn vàng.

Trong hướng dẫn này, chúng ta sẽ tập trung vào gói mice.

Sử Dụng Gói mice Trong R

Gói mice thực hiện imputation bằng cách xây dựng các mô hình cho từng biến có dữ liệu thiếu, sử dụng các biến khác làm biến dự đoán. Nó thực hiện nhiều imputation để nắm bắt sự không chắc chắn.

Ví dụ: Tập Dữ Liệu NHANES

Chúng ta sẽ sử dụng tập dữ liệu nhanes, chứa 25 quan sát và 4 biến: tuổi, BMI, tình trạng huyết áp cao và mức cholesterol.

# Tải các gói cần thiết
library(mice)  
library(VIM)  
library(lattice)

# Tải tập dữ liệu

data(nhanes)  
str(nhanes)

Tập dữ liệu cho thấy các giá trị thiếu trong BMI, huyết áp cao và cholesterol. Tuổi không có giá trị thiếu nhưng là phân loại (1 = 20–39, 2 = 40–59, 3 = 60+).

Khám Phá Các Mẫu Thiếu Hụt

Trước khi thực hiện imputation, hãy trực quan hóa dữ liệu thiếu:

# Hiểu các mẫu giá trị thiếu
md.pattern(nhanes)

# Trực quan hóa với VIM
aggr(nhanes, col=mdc(1:2), numbers=TRUE, sortVars=TRUE,  
labels=names(nhanes), cex.axis=.7, gap=3,  
ylab=c("Tỷ lệ thiếu hụt", "Mẫu thiếu hụt"))

Điều này cho thấy rằng 30–40% giá trị BMI, huyết áp cao và cholesterol là thiếu, với các mẫu thiếu hụt khác nhau.

Bạn cũng có thể sử dụng các biểu đồ margin để kiểm tra xem thiếu hụt có thể là MCAR không:

marginplot(nhanes\[, c("chl", "bmi")\], col = mdc(1:2), cex.numbers = 1.2, pch = 19)

Nếu các phân phối của các nhóm thiếu và quan sát là tương tự nhau, dữ liệu có thể là MCAR.

Imputation Các Giá Trị Thiếu Với mice

Bây giờ hãy thực hiện các imputation:

# Impute các giá trị thiếu
mice\_imputes <- mice(nhanes, m = 5, maxit = 40)

# Kiểm tra các phương pháp đã sử dụng
mice\_imputes$method

Vì tất cả các biến đều là số, mice sử dụng Predictive Mean Matching (PMM). Đối với các biến phân loại, nó sẽ sử dụng hồi quy logistic hoặc hồi quy đa biến Bayesian.

Các giá trị được imputed được lưu trữ trong 5 tập dữ liệu:

# Xem các giá trị imputed cho cholesterol
mice\_imputes$imp$chl

Để hoàn thiện một tập dữ liệu đã imputed:

# Tập dữ liệu hoàn chỉnh với các giá trị imputed
Imputed\_data <- complete(mice\_imputes, 5)

Đánh Giá Chất Lượng Imputation

Làm thế nào để biết rằng các imputation là tốt? mice cung cấp các biểu đồ chẩn đoán:

# So sánh các giá trị quan sát với giá trị imputed
xyplot(mice\_imputes, bmi ~ chl | .imp, pch = 20, cex = 1.4)

# Biểu đồ mật độ cho các giá trị imputed so với quan sát

densityplot(mice\_imputes)

Nếu các phân phối đỏ (imputed) gần giống với xanh (quan sát), các imputation là vững chắc.

Mô Hình Với Nhiều Tập Dữ Liệu Đã Imputed

Một lợi thế chính của mice là khả năng tạo ra nhiều tập dữ liệu đã imputed, cho phép mô hình hóa mạnh mẽ hơn. Thay vì phân tích một tập dữ liệu đã imputed duy nhất, bạn có thể kết hợp kết quả qua các imputation:

# Phù hợp mô hình qua tất cả các tập dữ liệu đã imputed
lm\_5\_model <- with(mice\_imputes, lm(chl ~ age + bmi + hyp))

# Kết hợp kết quả
combo\_5\_model <- pool(lm\_5\_model)  
summary(combo\_5\_model)

Cách tiếp cận này tích hợp sự không chắc chắn và ngăn ngừa việc đánh giá thấp tính biến thiên, dẫn đến những suy diễn đáng tin cậy hơn.

Kết Luận

Xử lý dữ liệu thiếu là một trong những bước quan trọng nhất trong tiền xử lý dữ liệu. Đơn giản chỉ cần bỏ qua các bản ghi không hoàn chỉnh có thể dẫn đến kết quả sai lệch, đặc biệt khi dữ liệu thiếu không ngẫu nhiên. Thay vào đó, imputation cung cấp một cách có nguyên tắc để điền các khoảng trống mà không làm giảm tính toàn vẹn của phân tích.

Chúng ta đã khám phá:

• Ba loại dữ liệu thiếu: MCAR, MAR, NMAR.
• Các phương pháp imputation đơn giản và nâng cao.
• Các gói R cho imputation, với cái nhìn sâu sắc vào gói mice.
• Các chẩn đoán và mô hình hóa sử dụng nhiều imputation.

Với các gói như mice, R cung cấp cho các nhà phân tích các công cụ mạnh mẽ để xử lý dữ liệu thiếu một cách hệ thống. Bằng cách xử lý đúng cách sự thiếu hụt, bạn đảm bảo rằng các mô hình không chỉ có tính thống kê mà còn gần gũi hơn với sự thật trong thế giới thực.

Thực hành tốt nhất

• Xác định loại dữ liệu thiếu: Trước khi chọn phương pháp imputation, hãy xác định loại dữ liệu thiếu để chọn phương pháp phù hợp.
• Kiểm tra tính khả thi của dữ liệu: Sử dụng các phương pháp trực quan hóa để kiểm tra mẫu dữ liệu thiếu.
• Thực hiện nhiều imputation: Sử dụng phương pháp tạo ra nhiều tập dữ liệu đã imputed để có kết quả đáng tin cậy.

Những cạm bẫy phổ biến

• Bỏ qua dữ liệu thiếu mà không phân tích: Việc không xem xét các giá trị thiếu có thể dẫn đến kết quả sai lệch.
• Lạm dụng imputation đơn giản: Chỉ sử dụng các phương pháp imputation đơn giản có thể không phản ánh đúng thực tế.

Mẹo hiệu suất

• Sử dụng gói phù hợp: Chọn gói imputation phù hợp với loại dữ liệu của bạn để tối ưu hóa hiệu suất.
• Kiểm tra thời gian xử lý: Đo thời gian thực hiện imputation để tối ưu hóa quy trình làm việc.

Khắc phục sự cố

• Giá trị không hợp lệ sau imputation: Nếu có giá trị không hợp lệ, kiểm tra lại phương pháp imputation đã sử dụng.
• Khó khăn trong việc mô hình hóa: Nếu mô hình trở nên phức tạp, cân nhắc sử dụng các phương pháp đơn giản hơn hoặc tăng cường dữ liệu để cải thiện độ chính xác.

Câu hỏi thường gặp (FAQ)

1. Imputation là gì?
   • Imputation là quá trình thay thế các giá trị thiếu bằng các ước lượng hợp lý.
2. Có những loại imputation nào?
   • Có nhiều loại imputation như imputation đơn giản, ngữ cảnh và nâng cao.
3. Gói R nào tốt nhất cho imputation?
   • Gói mice thường được coi là tiêu chuẩn vàng cho imputation.

Bài viết này ban đầu được xuất bản trên Perceptive Analytics.