Xử lý giá trị trống trong SPSS

* Xử lý giá trị trống (Missing Values) bằng SPSS Syntax
* Tác giả: Thực hành kinh tế lượng
* Dữ liệu: loc-quan-sat.sav

* Mở file dữ liệu
GET FILE='/data/loc-quan-sat.sav'.

* Kiểm tra giá trị trống bằng Frequencies
FREQUENCIES VARIABLES=deviceowned color
  /FORMAT=NOTABLE
  /STATISTICS=STDDEV VARIANCE RANGE MINIMUM MAXIMUM MEAN MEDIAN MODE
  /ORDER=ANALYSIS.

* Phân tích pattern của giá trị trống
MISSING VALUES ANALYSIS VARIABLES=deviceowned color
  /MISSING MTYPE=MCAR
  /EM.

* Xử lý giá trị trống: Listwise deletion
FREQUENCIES VARIABLES=deviceowned color
  /MISSING=EXCLUDE.

* Xử lý giá trị trống: Pairwise deletion
CORRELATIONS /VARIABLES=deviceowned color
  /MISSING=PAIRWISE.

* Thay thế giá trị trống bằng mean substitution
TRANSFORM
  /REPLACE MISSING VALUES=deviceowned(MEAN)
  /REPLACE MISSING VALUES=color(MEAN).

* Thay thế giá trị trống bằng regression substitution  
TRANSFORM
  /REPLACE MISSING VALUES=deviceowned(REGRESSION)
  /REPLACE MISSING VALUES=color(REGRESSION).

* Lưu dataset sau khi xử lý
SAVE OUTFILE='/data/loc-quan-sat-processed.sav'.

// Xử lý giá trị trống (Missing Values) bằng Stata
// Tác giả: Thực hành kinh tế lượng
// Dữ liệu: loc-quan-sat.dta

* Mở dữ liệu
use "loc-quan-sat.dta", clear

* Kiểm tra giá trị trống
describe deviceowned color
summarize deviceowned color

* Tạo bảng missing values
misstable summarize deviceowned color

* Tạo pattern table cho missing values
misstable patterns deviceowned color

* Kiểm định MCAR (Missing Completely at Random)
// Cài đặt package nếu chưa có
// ssc install mcartest
mcartest deviceowned color

* Xử lý giá trị trống: Listwise deletion
* Tạo biến indicator cho complete cases
egen complete_case = rowmiss(deviceowned color)
replace complete_case = (complete_case == 0)

* Phân tích chỉ trên complete cases
summarize deviceowned color if complete_case == 1

* Xử lý giá trị trống: Pairwise deletion
pwcorr deviceowned color, obs

* Thay thế giá trị trống bằng mean substitution
foreach var in deviceowned color {
    summarize `var'
    replace `var' = r(mean) if missing(`var')
}

* Thay thế giá trị trống bằng regression substitution
* Ví dụ: dự đoán deviceowned dựa trên color
regress deviceowned color
predict deviceowned_pred if missing(deviceowned)
replace deviceowned = deviceowned_pred if missing(deviceowned)

* Multiple Imputation
// Cài đặt package nếu chưa có
// ssc install ice
ice deviceowned color, m(5) seed(12345)

* Lưu dataset
save "loc-quan-sat-processed.dta", replace

# Xử lý giá trị trống (Missing Values) bằng R
# Tác giả: Thực hành kinh tế lượng
# Dữ liệu: loc-quan-sat.csv

# Cài đặt và load các package cần thiết
packages <- c("VIM", "mice", "Hmisc", "dplyr", "naniar", "ggplot2")
for (pkg in packages) {
  if (!require(pkg, character.only = TRUE)) {
    install.packages(pkg)
    library(pkg, character.only = TRUE)
  }
}

# Đọc dữ liệu
data <- read.csv("loc-quan-sat.csv")

# Kiểm tra cấu trúc dữ liệu
str(data)
head(data)

# Kiểm tra giá trị trống
sapply(data, function(x) sum(is.na(x)))
summary(data)

# Tạo pattern table cho missing values
md.pattern(data[c("deviceowned", "color")])

# Visualize missing data pattern
library(VIM)
aggr_plot <- aggr(data[c("deviceowned", "color")], 
                  col = c('navyblue', 'red'), 
                  numbers = TRUE, 
                  sortVars = TRUE, 
                  labels = names(data[c("deviceowned", "color")]), 
                  cex.axis = .7, 
                  gap = 3, 
                  ylab = c("Histogram of missing data", "Pattern"))

# Kiểm định MCAR bằng Little's test
library(naniar)
# Lưu ý: Little's test yêu cầu dữ liệu numeric
data_numeric <- data[c("deviceowned", "color")]
data_numeric$deviceowned <- as.numeric(data_numeric$deviceowned)
data_numeric$color <- as.numeric(data_numeric$color)

# Thực hiện Little's test (cần package BaylorEdPsych)
if (!require(BaylorEdPsych)) {
  install.packages("BaylorEdPsych")
  library(BaylorEdPsych)
}
LittleMCAR(data_numeric)

# Xử lý giá trị trống: Complete case analysis (Listwise deletion)
data_complete <- na.omit(data[c("deviceowned", "color")])
nrow(data_complete)

# Thống kê mô tả cho complete cases
summary(data_complete)

# Xử lý giá trị trống: Pairwise deletion
cor(data[c("deviceowned", "color")], use = "pairwise.complete.obs")

# Thay thế giá trị trống bằng mean substitution
data_mean_imputed <- data
for (col in c("deviceowned", "color")) {
  data_mean_imputed[[col]][is.na(data_mean_imputed[[col]])] <- 
    mean(data_mean_imputed[[col]], na.rm = TRUE)
}

# Thay thế giá trị trống bằng regression substitution
library(Hmisc)
data_reg_imputed <- data
for (col in c("deviceowned", "color")) {
  data_reg_imputed[[col]] <- impute(data_reg_imputed[[col]], "random")
}

# Multiple Imputation bằng package mice
library(mice)
# Tạo 5 imputed datasets
imputed_data <- mice(data[c("deviceowned", "color")], m = 5, seed = 12345)

# Kiểm tra kết quả imputation
print(imputed_data)

# Thực hiện phân tích trên imputed data
fit <- with(imputed_data, lm(deviceowned ~ color))
pooled_results <- pool(fit)
summary(pooled_results)

# So sánh kết quả trước và sau imputation
print("Trước khi xử lý missing values:")
summary(data[c("deviceowned", "color")])

print("Sau khi mean imputation:")
summary(data_mean_imputed[c("deviceowned", "color")])

print("Sau khi multiple imputation:")
summary(complete(imputed_data, 1))

# Visualize kết quả imputation
densityplot(imputed_data)
stripplot(imputed_data, pch = 20, cex = 1.2)

# Lưu kết quả
write.csv(data_mean_imputed, "loc-quan-sat-mean-imputed.csv", row.names = FALSE)
write.csv(complete(imputed_data, 1), "loc-quan-sat-mi-imputed.csv", row.names = FALSE)

# Xử lý giá trị trống (Missing Values) bằng Python
# Tác giả: Thực hành kinh tế lượng
# Dữ liệu: loc-quan-sat.csv

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
import warnings
warnings.filterwarnings('ignore')

# Đọc dữ liệu
data = pd.read_csv('loc-quan-sat.csv')

# Kiểm tra thông tin cơ bản
print("Thông tin dữ liệu:")
print(data.info())
print("\nThống kê mô tả:")
print(data.describe())

# Kiểm tra giá trị trống
print("\nSố lượng giá trị trống:")
print(data[['deviceowned', 'color']].isnull().sum())

print("\nTỷ lệ giá trị trống:")
print(data[['deviceowned', 'color']].isnull().sum() / len(data) * 100)

# Tạo pattern table cho missing values
def missing_pattern(df):
    """Tạo bảng pattern cho missing values"""
    missing_data = df.isnull()
    patterns = missing_data.value_counts()
    return patterns

print("\nPattern của missing values:")
print(missing_pattern(data[['deviceowned', 'color']]))

# Visualize missing data
plt.figure(figsize=(12, 8))

# Heatmap của missing values
plt.subplot(2, 2, 1)
sns.heatmap(data[['deviceowned', 'color']].isnull(), 
            yticklabels=False, cbar=True, cmap='viridis')
plt.title('Heatmap của Missing Values')

# Bar plot của missing values
plt.subplot(2, 2, 2)
missing_counts = data[['deviceowned', 'color']].isnull().sum()
missing_counts.plot(kind='bar')
plt.title('Số lượng Missing Values theo biến')
plt.xticks(rotation=45)

# Missing values pattern
plt.subplot(2, 2, 3)
patterns = missing_pattern(data[['deviceowned', 'color']])
patterns.plot(kind='bar')
plt.title('Pattern của Missing Values')
plt.xticks(rotation=45)

plt.tight_layout()
plt.show()

# Kiểm định MCAR bằng Little's test (cần package impyute)
try:
    from impyute.diagnostics import mcar_test
    result = mcar_test(data[['deviceowned', 'color']].values)
    print(f"\nLittle's MCAR test p-value: {result}")
    if result < 0.05: print("Bác bỏ H0: Dữ liệu không MCAR") else: print("Chấp nhận H0: Dữ liệu có thể MCAR") except ImportError: print("Package impyute chưa được cài đặt") # Phương pháp 1: Complete case analysis (Listwise deletion) data_complete = data[['deviceowned', 'color']].dropna() print(f"\nSố quan sát sau listwise deletion: {len(data_complete)}") print("Thống kê mô tả sau listwise deletion:") print(data_complete.describe()) # Phương pháp 2: Pairwise deletion print("\nTương quan với pairwise deletion:") correlation_pairwise = data[['deviceowned', 'color']].corr() print(correlation_pairwise) # Phương pháp 3: Mean substitution imputer_mean = SimpleImputer(strategy='mean') data_mean_imputed = data[['deviceowned', 'color']].copy() data_mean_imputed_values = imputer_mean.fit_transform(data_mean_imputed) data_mean_imputed = pd.DataFrame(data_mean_imputed_values, columns=['deviceowned', 'color']) print("\nThống kê mô tả sau mean imputation:") print(data_mean_imputed.describe()) # Phương pháp 4: Median substitution imputer_median = SimpleImputer(strategy='median') data_median_imputed = data[['deviceowned', 'color']].copy() data_median_imputed_values = imputer_median.fit_transform(data_median_imputed) data_median_imputed = pd.DataFrame(data_median_imputed_values, columns=['deviceowned', 'color']) # Phương pháp 5: KNN Imputation imputer_knn = KNNImputer(n_neighbors=5) data_knn_imputed = data[['deviceowned', 'color']].copy() data_knn_imputed_values = imputer_knn.fit_transform(data_knn_imputed) data_knn_imputed = pd.DataFrame(data_knn_imputed_values, columns=['deviceowned', 'color']) # Phương pháp 6: Iterative Imputation (MICE equivalent) imputer_iterative = IterativeImputer(random_state=42) data_iterative_imputed = data[['deviceowned', 'color']].copy() data_iterative_imputed_values = imputer_iterative.fit_transform(data_iterative_imputed) data_iterative_imputed = pd.DataFrame(data_iterative_imputed_values, columns=['deviceowned', 'color']) # So sánh kết quả các phương pháp print("\nSo sánh kết quả các phương pháp imputation:") print("\nDữ liệu gốc:") print(data[['deviceowned', 'color']].describe()) print("\nMean imputation:") print(data_mean_imputed.describe()) print("\nKNN imputation:") print(data_knn_imputed.describe()) print("\nIterative imputation:") print(data_iterative_imputed.describe()) # Visualize kết quả imputation plt.figure(figsize=(15, 10)) # Histogram trước và sau imputation variables = ['deviceowned', 'color'] methods = ['Original', 'Mean', 'KNN', 'Iterative'] data_methods = [data[variables], data_mean_imputed, data_knn_imputed, data_iterative_imputed] for i, var in enumerate(variables): for j, (method, df) in enumerate(zip(methods, data_methods)): plt.subplot(2, 4, i*4 + j + 1) plt.hist(df[var].dropna(), bins=20, alpha=0.7, label=method) plt.title(f'{var} - {method}') plt.xlabel(var) plt.ylabel('Frequency') plt.tight_layout() plt.show() # Đánh giá chất lượng imputation def evaluate_imputation(original, imputed, method_name): """Đánh giá chất lượng imputation""" print(f"\n--- Đánh giá {method_name} ---") for col in original.columns: if original[col].isnull().sum() > 0:
            original_mean = original[col].mean()
            imputed_mean = imputed[col].mean()
            original_std = original[col].std()
            imputed_std = imputed[col].std()
            
            print(f"{col}:")
            print(f"  Mean: {original_mean:.2f} -> {imputed_mean:.2f}")
            print(f"  Std: {original_std:.2f} -> {imputed_std:.2f}")

evaluate_imputation(data[['deviceowned', 'color']], data_mean_imputed, "Mean Imputation")
evaluate_imputation(data[['deviceowned', 'color']], data_knn_imputed, "KNN Imputation")
evaluate_imputation(data[['deviceowned', 'color']], data_iterative_imputed, "Iterative Imputation")

# Lưu kết quả
data_mean_imputed.to_csv('loc-quan-sat-mean-imputed.csv', index=False)
data_knn_imputed.to_csv('loc-quan-sat-knn-imputed.csv', index=False)
data_iterative_imputed.to_csv('loc-quan-sat-iterative-imputed.csv', index=False)

print("\nCác file đã được lưu:")
print("- loc-quan-sat-mean-imputed.csv")
print("- loc-quan-sat-knn-imputed.csv")
print("- loc-quan-sat-iterative-imputed.csv")