Giới thiệu dữ liệu trống – missing data

Giới thiệu dữ liệu trống - missing data) Trong mỗi kỹ thuật thống kê, chúng ta cần biết chắc là đang thao tác trên các quan sát hợp lý không có quan sát trống (non-missing) hay có tồn tại các giá trị trống - missing data. Dữ liệu trống - missing data tác động đến tính thiên chệch, hiệu quả của các ước lượng thống kê. Do vậy, hiểu và quản lý các vấn đề dữ liệu trống - missing data là một việc rất quan trọng trong bất kì loại phân tích thống kê nào. Xử lí hiệu quả vấn đề dữ liệu trống - missing data có thể nâng cao độ tin cậy và tính vững của kết quả ước lượng. Bài viết sẽ trình bày giới thiệu vấn đề dữ liệu trống - missing data từ khái niệm, cách mã hóa và trình bày các giá trị trống - missing data. Ngoài ra, phần này cũng đi sâu phân biệt listwise vs pairwise trong hồi quy và cách tạo biến gen vs egen trong trường hợp dữ liệu tồn tại missing. Đây là bài viết đầu tiên trong chuỗi 3 bài viết về dữ liệu missing và các phương pháp xử lý missing, bao gồm: Các phương pháp xử lý missing Phương pháp thay thế lặp - MI Sử dụng đoạn code sau để nhập 7 quan sát sau vào Stata clear input id x1 x2 x3 1 1.5 1.4 1.6 2 -999 . 1.9 3 . 2.0 1.6 4 . . 2.2 5 1.9 -99 2 6 1.8 2.0 1.9 7 . . . end list save missing_data.dta, replace Chúng ta thấy bên cạnh các giá trị missing (.) thì các quan sát còn có các giá trị đặc biệt như -999 hoặc -99. Các giá trị mã hóa đặc biệt này có những ý nghĩa đặc trưng trong thu thập dữ liệu. Stata xem giá trị missing là giá trị lớn hơn bất kì giá trị nào trong tập dữ liệu. Stata cho phép chúng ta mã hóa các loại dữ liệu dạng số thành 27 loại vô cùng lớn được kí hiệu từ ".a" đến ".z" và "." 1.1. Mã hóa missing data Có 3 cách thông dụng để mã hóa các missing data này: Cách 1: sử dụng lệnh replace để thay thế các giá trị đặc biệt use missing_data.dta, clear replace x1 = .a if x1 ==-999 replace x1 = .b if x1 ==-99 codebook x1 list Cách 2: sử dụng lệnh mvdecode Ưu điểm của câu lệnh mvdecode là cho phép mã hóa nhiều biến cùng lúc, so với câu lệnh replace chỉ mã hóa lần lượt từng biến. use missing_data.dta, clear mvdecode x1 x2, mv(-999=.a \-99=.b) list Cách 3: sử dụng lệnh mvdecode với _all để mã hóa toàn bộ danh sách biến use missing_data.dta, clear mvdecode _all, mv(-999=.a \-99=.b) list GHI CHÚ Trong trường hợp chúng ta muốn trở về giá trị mã hóa đặc biệt ban đầu từ các giá trị missing thì sử dụng câu lệnh mvencode như sau: mvencode _all, mv(.a=-999 \.b=-99) 1.2. Trình bày missing trong tập dữ liệu Sử dụng tập dữ liệu missing_data.dta use missing_data.dta, clear mvdecode _all, mv(-999=.a \-99=.b) 2 câu lệnh sau sẽ mô tả số quan sát missing và không missing trong mỗi biến misstable sum misstable pattern, freq Câu lệnh misstable sum sẽ thể hiện cụ thể từng loại missing trong mỗi biến. Một cách khác để hiển thị nhanh số giá trị missing trong mỗi biến là sử dụng lệnh nmissing nmissing Theo đó, số giá trị missing ở các biến x1, x2, x3 lần lượt là 4, 4 và 1. Câu lệnh ngược lại npresent cho biết số quan sát hợp lí (non-missing) trong mỗi biến. npresent Ngoài ra, chúng ta có thể sử dụng hàm rowmiss và rownonmis như sau: egen miss = rowmiss(x1 - x3) egen nomiss = rownonmiss(x1 - x3) list 1.3. Phân biệt listwise vs pairwise; gen vs egen Các kỹ thuật thống kê cần xác định rõ đang xử lí trên đối tượng có hay không có missing data, bởi sự tồn tại missing data trong tập dữ liệu có thể làm thay đổi đáng kể các kết quả xử lý và phân tích số liệu. Tôi sẽ minh họa sự thay đổi này trong trường hợp tương quan và tạo biến. 1.3.1 Phân biệt listwise và pairwise Trong phân tích hồi quy, và đặc biệt là phân tích sự tương quan giữa các cặp biến chúng ta thường gặp tương quan "listwise" (câu lệnh pwcorr, với tùy chọn listwise) và tương quan "pairwise" (câu lệnh corr hoặc pwcorr không có tùy chọn listwise). Trường hợp listwise chỉ tính trên các quan sát không có giá trị missing hay nói cách khác, các quan sát có giá trị missing sẽ bị loại bỏ khỏi tính toán. Trường hợp pairwise sẽ tính toán trên các cặp giá trị hợp lệ (không có giá trị missing). Chỉ có các giá trị missing sẽ bị loại bỏ chứ không loại bỏ toàn bộ quan sát như listwise. Điều này sẽ được minh họa rõ hơn ở ví dụ bên dưới: use missing_data.dta, clear mvdecode _all, mv(-999=.a \-99=.b) pwcorr x1 x2 x3, obs Hoặc câu lệnh corr x1 - x3 pwcorr x1 x2 x3, listwise obs Ta thấy trong trường hợp pairwise thì có 3 cặp giá trị phù hợp giữa x1-x1, 2 cặp giá trị hợp lí giữa x1-x2, và 3 cặp giá trị hợp lí giữa x1-x3. Tương tự như vậy có 3 cặp giá trị hợp lí x2-x2 và 3 cặp giá trị hợp lí giữa x2-x3, cũng như 6 cặp giá trị hợp lí x3-x3. Tuy nhiên, do loại bỏ tất cả các quan sát có giá trị missing nên kết quả tương quan listwise thực tế chỉ tính cho 2 quan sát (id = 1 và id = 6). 1.3.2 Phân biệt gen và egen Cả gen và egen đều có ý nghĩa là tạo một biến mới, tuy nhiên cách sử dụng và ý nghĩa của gen với egen là hoàn toàn khác nhau. use missing_data.dta, clear mvdecode _all, mv(-999=.a \-99=.b) gen sum = x1 + x2 + x3 egen esum = rowtotal(x1 x2 x3) list Khi nào sử dụng gen và egen? Câu lệnh gen xem các giá trị missing là các vô cùng lớn, do vậy, tổng của ít nhất một quan sát với các quan sát còn lại sẽ là missing. Với id = 2 thì sum = .a + . + 1.9 = . hoặc ở id = 5 thì sum = 1.9 + .b + 2 = . Câu lệnh egen xem các giá trị missing có giá trị bằng 0 hay bỏ qua các giá trị của quan sát có giá trị missing trong tính toán. Với id = 2 thì esum = .a + . + 1.9 = 0 + 0 + 1.9 = 1.9 hoặc ở id = 5 thì esum = 1.9 + .b + 2 = 1.9 + 0 + 2 = 3.9 Lưu ý, ở id = 7 thì esum = . + . + . = 0 là phù hợp với ý nghĩa của egen, tuy nhiên, có lẽ không phù hợp với ý nghĩa missing. Trong trường hợp đó, sử dụng tùy chọn missing sau câu lệnh egen để thông báo cho Stata biết nếu một quan sát có giá trị missing ở tất cả các biến thì kết quả trả lời sẽ là giá trị missing chứ không phải giá trị 0. egen esum_m = rowtotal(x1 x2 x3) , missing list Điều này cũng tương tự với cách tính trung bình (hàm rowmean trong egen) gen avg = (x1 + x2 + x3)/3 egen eavg = rowmean(x1 - x3) list Xem tiếp: Các phương pháp xử lý missing Phương pháp thay thế lặp - MI