Kiểm tra dữ liệu nhập SPSS

* Kiểm tra dữ liệu nhập bằng bảng tần suất trong SPSS
* Mở file dữ liệu
GET FILE='/data/loc-quan-sat.sav'.

* Hiển thị thông tin cơ bản về dataset
DISPLAY DICTIONARY.

* Tạo bảng tần suất cho tất cả các biến
FREQUENCIES VARIABLES=ALL
  /ORDER=ANALYSIS
  /STATISTICS=DEFAULT
  /BARCHART FREQ
  /HISTOGRAM
  /FORMAT=NOTABLE.

* Kiểm tra từng biến cụ thể (ví dụ với biến income)
FREQUENCIES VARIABLES=income
  /ORDER=VALUE
  /STATISTICS=DEFAULT MEAN MEDIAN MODE STDDEV VARIANCE
  /BARCHART FREQ
  /HISTOGRAM NORMAL.

* Kiểm tra missing values chi tiết
FREQUENCIES VARIABLES=ALL
  /FORMAT=NOTABLE
  /MISSING=INCLUDE
  /STATISTICS=DEFAULT.

* Tạo bảng crosstab để kiểm tra logic consistency
CROSSTABS
  /TABLES=income BY education
  /FORMAT=AVALUE TABLES
  /STATISTICS=CHISQ 
  /CELLS=COUNT ROW COLUMN TOTAL 
  /COUNT ROUND CELL.

* Sử dụng EXAMINE để phát hiện outliers
EXAMINE VARIABLES=income education age
  /PLOT BOXPLOT STEMLEAF HISTOGRAM NPPLOT
  /COMPARE GROUPS
  /STATISTICS DESCRIPTIVES EXTREME
  /CINTERVAL 95
  /MISSING LISTWISE
  /NOTOTAL.

* Tạo syntax để tìm kiếm giá trị cụ thể
* Ví dụ: tìm các quan sát có income = 6
SELECT IF (income = 6).
LIST CASES FROM 1 TO 10.
EXECUTE.

* Reset selection
SELECT IF NOT SYSMIS(income).
EXECUTE.

* Kiểm tra data integrity
AGGREGATE
  /OUTFILE=* MODE=ADDVARIABLES
  /BREAK=
  /N_VALID=N.

* Tạo báo cáo tóm tắt data quality
FREQUENCIES VARIABLES=ALL
  /FORMAT=NOTABLE
  /STATISTICS=MEAN MEDIAN MODE STDDEV MINIMUM MAXIMUM
  /ORDER=ANALYSIS.

* Export kết quả sang Excel để review
OUTPUT EXPORT
  /CONTENTS EXPORT=VISIBLE LAYERS=PRINTSETTING MODELVIEWS=PRINTSETTING
  /XLS DOCUMENTFILE='/output/data_screening_results.xls'
  /OPERATION=CREATEFILE.

* Kiểm tra dữ liệu nhập trong Stata
* Mở dữ liệu
use "/data/loc-quan-sat.dta", clear

* Hiển thị thông tin tổng quan về dataset
describe
codebook

* Kiểm tra missing values cho tất cả biến
misstable summarize

* Tạo bảng tần suất cho tất cả biến
foreach var of varlist _all {
    display "=== Frequency table for `var' ==="
    tabulate `var', missing
    display ""
}

* Kiểm tra biến income cụ thể
tabulate income, missing
summarize income, detail

* Kiểm tra giá trị ngoài phạm vi (ví dụ income > 5)
count if income > 5 & !missing(income)
list if income > 5 & !missing(income)

* Tạo indicator cho missing values
foreach var of varlist _all {
    generate miss_`var' = missing(`var')
    label variable miss_`var' "Missing indicator for `var'"
}

* Phân tích pattern missing
misstable patterns

* Kiểm tra data integrity
* Ví dụ: income phải từ 1-5
assert income >= 1 & income <= 5 if !missing(income) * Tạo biến flag cho các quan sát có vấn đề generate flag_problem = 0 replace flag_problem = 1 if income > 5 & !missing(income)
replace flag_problem = 1 if income < 1 & !missing(income)

* Liệt kê các quan sát có vấn đề
list if flag_problem == 1

* Kiểm tra consistency giữa các biến
tabulate income education, missing

* Tạo summary statistics
summarize, detail

* Tạo histogram để kiểm tra phân phối
foreach var of varlist income education age {
    histogram `var', discrete percent ///
        title("Distribution of `var'") ///
        xtitle("`var'") ytitle("Percent")
    graph export "`var'_histogram.png", replace
}

* Kiểm tra outliers bằng box plot
foreach var of varlist income education age {
    graph box `var', title("Box plot of `var'")
    graph export "`var'_boxplot.png", replace
}

* Tạo báo cáo data quality
estpost summarize _all
esttab using "data_quality_report.rtf", ///
    cells("count mean sd min max") ///
    title("Data Quality Report") replace

* Export dữ liệu đã clean để sử dụng
keep if flag_problem == 0
save "/data/cleaned_data.dta", replace

* Ghi log về các vấn đề đã phát hiện
file open logfile using "data_issues.txt", write replace
file write logfile "Data Quality Issues Found:" _n
file write logfile "=========================" _n
quietly count if flag_problem == 1
file write logfile "Number of problematic observations: " r(N) _n
file close logfile

# Kiểm tra dữ liệu nhập trong R
# Cài đặt và tải các package cần thiết
if (!require(foreign)) install.packages("foreign")
if (!require(dplyr)) install.packages("dplyr")
if (!require(VIM)) install.packages("VIM")
if (!require(Hmisc)) install.packages("Hmisc")
if (!require(psych)) install.packages("psych")
if (!require(ggplot2)) install.packages("ggplot2")
if (!require(gridExtra)) install.packages("gridExtra")

library(foreign)
library(dplyr)
library(VIM)
library(Hmisc)
library(psych)
library(ggplot2)
library(gridExtra)

# Đọc dữ liệu SPSS
data <- read.spss("/data/loc-quan-sat.sav", to.data.frame = TRUE)

# Hiển thị thông tin cơ bản về dataset
cat("THÔNG TIN CƠ BẢN VỀ DATASET\n")
cat("============================\n")
str(data)
cat("\nKích thước dữ liệu:", dim(data), "\n")
cat("Tên các biến:", names(data), "\n")

# Kiểm tra missing values
cat("\nPHÂN TÍCH MISSING VALUES\n")
cat("========================\n")
missing_summary <- data %>%
  summarise_all(~sum(is.na(.))) %>%
  gather(key = "Variable", value = "Missing_Count") %>%
  mutate(Missing_Percent = round(Missing_Count / nrow(data) * 100, 2)) %>%
  arrange(desc(Missing_Count))

print(missing_summary)

# Visualize missing pattern
VIM::aggr(data, col=c('navyblue','red'), 
          numbers=TRUE, sortVars=TRUE, 
          labels=names(data), cex.axis=.7, 
          gap=3, ylab=c("Histogram of missing data","Pattern"))

# Tạo bảng tần suất cho từng biến
cat("\nBẢNG TẦN SUẤT CHO TỪNG BIẾN\n")
cat("============================\n")

create_frequency_table <- function(var, var_name) {
  cat("\n--- Biến:", var_name, "---\n")
  
  # Basic frequency table
  freq_table <- table(var, useNA = "always")
  prop_table <- prop.table(freq_table) * 100
  
  result <- data.frame(
    Value = names(freq_table),
    Frequency = as.numeric(freq_table),
    Percent = round(as.numeric(prop_table), 2)
  )
  
  print(result)
  
  # Check for out-of-range values
  if (var_name == "income") {
    out_of_range <- sum(var > 5 | var < 1, na.rm = TRUE) if (out_of_range > 0) {
      cat("⚠️  CẢNH BÁO: Phát hiện", out_of_range, "giá trị ngoài phạm vi (1-5)\n")
      invalid_values <- var[var > 5 | var < 1]
      cat("Các giá trị không hợp lệ:", unique(invalid_values[!is.na(invalid_values)]), "\n")
    }
  }
  
  return(result)
}

# Áp dụng cho tất cả các biến
freq_results <- list()
for (i in 1:ncol(data)) {
  if (is.numeric(data[[i]]) || is.factor(data[[i]])) {
    freq_results[[names(data)[i]]] <- create_frequency_table(data[[i]], names(data)[i])
  }
}

# Phân tích chi tiết biến income
cat("\nPHÂN TÍCH CHI TIẾT BIẾN INCOME\n")
cat("==============================\n")
if ("income" %in% names(data)) {
  income_stats <- describe(data$income)
  print(income_stats)
  
  # Tìm các quan sát có giá trị income = 6
  problematic_obs <- which(data$income == 6) if (length(problematic_obs) > 0) {
    cat("\nCác quan sát có income = 6 (không hợp lệ):\n")
    cat("Vị trí (row numbers):", problematic_obs, "\n")
    
    # Hiển thị chi tiết các quan sát này
    problem_data <- data[problematic_obs, ]
    print(problem_data)
  }
}

# Tạo visualizations
cat("\nTẠO BIỂU ĐỒ KIỂM TRA DỮ LIỆU\n")
cat("==============================\n")

# Function để tạo histogram
create_histogram <- function(var, var_name) {
  if (is.numeric(var)) {
    ggplot(data.frame(x = var), aes(x = x)) +
      geom_histogram(bins = 20, fill = "lightblue", color = "black", alpha = 0.7) +
      labs(title = paste("Histogram của", var_name),
           x = var_name, y = "Tần số") +
      theme_minimal()
  } else {
    ggplot(data.frame(x = var), aes(x = x)) +
      geom_bar(fill = "lightblue", color = "black", alpha = 0.7) +
      labs(title = paste("Bar chart của", var_name),
           x = var_name, y = "Tần số") +
      theme_minimal() +
      theme(axis.text.x = element_text(angle = 45, hjust = 1))
  }
}

# Tạo plots cho các biến quan trọng
plots <- list()
important_vars <- c("income", "education", "age")
for (var in important_vars) {
  if (var %in% names(data)) {
    plots[[var]] <- create_histogram(data[[var]], var) } } # Hiển thị plots if (length(plots) > 0) {
  do.call(grid.arrange, c(plots, ncol = 2))
}

# Data quality assessment
cat("\nBÁO CÁO CHẤT LƯỢNG DỮ LIỆU\n")
cat("===========================\n")

quality_report <- data.frame(
  Variable = names(data),
  Data_Type = sapply(data, class),
  Missing_Count = sapply(data, function(x) sum(is.na(x))),
  Missing_Percent = round(sapply(data, function(x) sum(is.na(x))/length(x)*100), 2),
  Unique_Values = sapply(data, function(x) length(unique(x[!is.na(x)]))),
  Min_Value = sapply(data, function(x) if(is.numeric(x)) min(x, na.rm=TRUE) else NA),
  Max_Value = sapply(data, function(x) if(is.numeric(x)) max(x, na.rm=TRUE) else NA)
)

print(quality_report)

# Identify problematic variables
cat("\nCHỈ SỐ CHẤT LƯỢNG DỮ LIỆU\n")
cat("==========================\n")

high_missing <- quality_report$Variable[quality_report$Missing_Percent > 5]
if (length(high_missing) > 0) {
  cat("⚠️  Biến có tỷ lệ missing cao (>5%):", paste(high_missing, collapse = ", "), "\n")
}

# Check for potential outliers using IQR method
cat("\nKIỂM TRA OUTLIERS TIỀM NĂNG\n")
cat("============================\n")

check_outliers <- function(var, var_name) {
  if (is.numeric(var)) {
    Q1 <- quantile(var, 0.25, na.rm = TRUE)
    Q3 <- quantile(var, 0.75, na.rm = TRUE)
    IQR <- Q3 - Q1
    lower_bound <- Q1 - 1.5 * IQR
    upper_bound <- Q3 + 1.5 * IQR
    
    outliers <- var[var < lower_bound | var > upper_bound]
    outliers <- outliers[!is.na(outliers)] if (length(outliers) > 0) {
      cat("Biến", var_name, "có", length(outliers), "outliers tiềm năng\n")
      cat("Giá trị outliers:", unique(outliers), "\n")
    }
  }
}

for (i in 1:ncol(data)) {
  if (is.numeric(data[[i]])) {
    check_outliers(data[[i]], names(data)[i])
  }
}

# Export results
cat("\nXUẤT KẾT QUẢ\n")
cat("============\n")

# Save quality report
write.csv(quality_report, "data_quality_report.csv", row.names = FALSE)
write.csv(missing_summary, "missing_values_summary.csv", row.names = FALSE)

# Create a comprehensive report
sink("data_screening_report.txt")
cat("BÁO CÁO KIỂM TRA DỮ LIỆU NHẬP\n")
cat("==============================\n")
cat("Ngày tạo:", Sys.Date(), "\n")
cat("Số quan sát:", nrow(data), "\n")
cat("Số biến:", ncol(data), "\n\n")

cat("TÓM TẮT MISSING VALUES:\n")
print(missing_summary)

cat("\nTÓM TẮT CHẤT LƯỢNG DỮ LIỆU:\n")
print(quality_report)

if (length(high_missing) > 0) {
  cat("\nCẢNH BÁO:\n")
  cat("- Các biến có tỷ lệ missing cao:", paste(high_missing, collapse = ", "), "\n")
}

cat("\nKẾT LUẬN:\n")
cat("- Cần xem xét xử lý missing values cho các biến có tỷ lệ missing cao\n")
cat("- Kiểm tra và xử lý các giá trị ngoài phạm vi\n")
cat("- Xem xét loại bỏ hoặc xử lý outliers nếu cần thiết\n")
sink()

cat("Đã xuất báo cáo chi tiết vào file 'data_screening_report.txt'\n")

# Kiểm tra dữ liệu nhập trong Python
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
import pyreadstat
import warnings
warnings.filterwarnings('ignore')

# Thiết lập matplotlib cho tiếng Việt
plt.rcParams['font.family'] = 'DejaVu Sans'
plt.rcParams['figure.figsize'] = (12, 8)

print("KIỂM TRA DỮ LIỆU NHẬP - DATA SCREENING")
print("="*50)

# Đọc dữ liệu SPSS
try:
    data, meta = pyreadstat.read_sav('/data/loc-quan-sat.sav')
    print("✅ Đọc dữ liệu thành công")
except Exception as e:
    print(f"❌ Lỗi đọc dữ liệu: {e}")
    # Tạo dữ liệu mẫu cho demo
    np.random.seed(123)
    data = pd.DataFrame({
        'income': np.random.choice([1, 2, 3, 4, 5, 6], size=100, p=[0.2, 0.2, 0.2, 0.2, 0.15, 0.05]),
        'education': np.random.choice([1, 2, 3, 4], size=100),
        'age': np.random.normal(35, 10, 100).astype(int)
    })
    # Thêm một số missing values
    data.loc[np.random.choice(data.index, 5), 'income'] = np.nan

# Hiển thị thông tin cơ bản
print(f"\nTHÔNG TIN CƠ BẢN VỀ DATASET")
print("-" * 30)
print(f"Kích thước dữ liệu: {data.shape}")
print(f"Số quan sát: {data.shape[0]}")
print(f"Số biến: {data.shape[1]}")
print(f"Tên các biến: {list(data.columns)}")

# Hiển thị info chi tiết
print(f"\nCẤU TRÚC DỮ LIỆU:")
print(data.info())

# Kiểm tra missing values
print(f"\nPHÂN TÍCH MISSING VALUES")
print("=" * 30)

missing_summary = pd.DataFrame({
    'Biến': data.columns,
    'Missing_Count': data.isnull().sum(),
    'Missing_Percent': round(data.isnull().sum() / len(data) * 100, 2),
    'Data_Type': data.dtypes
})
missing_summary = missing_summary.sort_values('Missing_Count', ascending=False)
print(missing_summary)

# Visualize missing values
if missing_summary['Missing_Count'].sum() > 0:
    plt.figure(figsize=(10, 6))
    missing_data = data.isnull().sum()
    missing_data = missing_data[missing_data > 0]
    
    plt.subplot(1, 2, 1)
    missing_data.plot(kind='bar', color='salmon')
    plt.title('Số lượng Missing Values')
    plt.ylabel('Số quan sát')
    plt.xticks(rotation=45)
    
    plt.subplot(1, 2, 2)
    (missing_data / len(data) * 100).plot(kind='bar', color='lightcoral')
    plt.title('Tỷ lệ Missing Values (%)')
    plt.ylabel('Phần trăm')
    plt.xticks(rotation=45)
    
    plt.tight_layout()
    plt.show()

# Tạo bảng tần suất cho từng biến
print(f"\nBẢNG TẦN SUẤT CHO TỪNG BIẾN")
print("=" * 30)

def create_frequency_table(series, var_name):
    print(f"\n--- Biến: {var_name} ---")
    
    # Tạo bảng tần suất
    freq_table = series.value_counts(dropna=False).sort_index()
    percent_table = series.value_counts(normalize=True, dropna=False).sort_index() * 100
    
    result = pd.DataFrame({
        'Giá_trị': freq_table.index,
        'Tần_suất': freq_table.values,
        'Phần_trăm': round(percent_table.values, 2)
    })
    
    print(result)
    
    # Kiểm tra giá trị ngoài phạm vi cho biến income
    if var_name == 'income':
        out_of_range = series[(series > 5) | (series < 1)].dropna() if len(out_of_range) > 0:
            print(f"⚠️  CẢNH BÁO: Phát hiện {len(out_of_range)} giá trị ngoài phạm vi (1-5)")
            print(f"Các giá trị không hợp lệ: {list(out_of_range.unique())}")
            
            # Tìm vị trí các quan sát có vấn đề
            problematic_indices = series[(series > 5) | (series < 1)].index.tolist() print(f"Vị trí các quan sát có vấn đề: {problematic_indices}") return result # Áp dụng cho tất cả các biến frequency_results = {} for col in data.columns: if data[col].dtype in ['int64', 'float64', 'object', 'category']: frequency_results[col] = create_frequency_table(data[col], col) # Phân tích chi tiết biến income if 'income' in data.columns: print(f"\nPHÂN TÍCH CHI TIẾT BIẾN INCOME") print("=" * 30) income_stats = data['income'].describe() print(income_stats) # Tìm các quan sát có income = 6 problematic_obs = data[data['income'] == 6].index.tolist() if len(problematic_obs) > 0:
        print(f"\nCác quan sát có income = 6 (không hợp lệ):")
        print(f"Số lượng: {len(problematic_obs)}")
        print(f"Vị trí (index): {problematic_obs}")
        
        # Hiển thị chi tiết
        problem_data = data.loc[problematic_obs]
        print("\nDữ liệu chi tiết các quan sát có vấn đề:")
        print(problem_data)

# Tạo visualizations
print(f"\nTẠO BIỂU ĐỒ KIỂM TRA DỮ LIỆU")
print("=" * 30)

def create_distribution_plot(series, var_name):
    """Tạo biểu đồ phân phối cho biến"""
    fig, axes = plt.subplots(1, 2, figsize=(15, 5))
    
    # Histogram
    if series.dtype in ['int64', 'float64']:
        series.hist(bins=20, ax=axes[0], color='lightblue', edgecolor='black', alpha=0.7)
        axes[0].set_title(f'Histogram của {var_name}')
        axes[0].set_xlabel(var_name)
        axes[0].set_ylabel('Tần số')
        
        # Box plot
        series.plot(kind='box', ax=axes[1], color='lightgreen')
        axes[1].set_title(f'Box plot của {var_name}')
        axes[1].set_ylabel(var_name)
    else:
        # Bar chart cho categorical variables
        value_counts = series.value_counts()
        value_counts.plot(kind='bar', ax=axes[0], color='lightblue', edgecolor='black')
        axes[0].set_title(f'Bar chart của {var_name}')
        axes[0].set_xlabel(var_name)
        axes[0].set_ylabel('Tần số')
        axes[0].tick_params(axis='x', rotation=45)
        
        # Pie chart
        value_counts.plot(kind='pie', ax=axes[1], autopct='%1.1f%%')
        axes[1].set_title(f'Pie chart của {var_name}')
        axes[1].set_ylabel('')
    
    plt.tight_layout()
    plt.show()

# Tạo plots cho các biến quan trọng
important_vars = ['income', 'education', 'age']
for var in important_vars:
    if var in data.columns:
        create_distribution_plot(data[var], var)

# Data quality assessment
print(f"\nBÁO CÁO CHẤT LƯỢNG DỮ LIỆU")
print("=" * 30)

quality_report = pd.DataFrame({
    'Biến': data.columns,
    'Kiểu_dữ_liệu': data.dtypes,
    'Số_missing': data.isnull().sum(),
    'Tỷ_lệ_missing': round(data.isnull().sum() / len(data) * 100, 2),
    'Số_giá_trị_unique': data.nunique(),
    'Giá_trị_min': data.min(),
    'Giá_trị_max': data.max()
})

print(quality_report)

# Xác định các biến có vấn đề
print(f"\nCHỈ SỐ CHẤT LƯỢNG DỮ LIỆU")
print("=" * 30)

high_missing_vars = quality_report[quality_report['Tỷ_lệ_missing'] > 5]['Biến'].tolist()
if high_missing_vars:
    print(f"⚠️  Biến có tỷ lệ missing cao (>5%): {', '.join(high_missing_vars)}")

# Kiểm tra outliers
print(f"\nKIỂM TRA OUTLIERS TIỀM NĂNG")
print("=" * 30)

def detect_outliers_iqr(series, var_name):
    """Phát hiện outliers sử dụng phương pháp IQR"""
    if series.dtype in ['int64', 'float64']:
        Q1 = series.quantile(0.25)
        Q3 = series.quantile(0.75)
        IQR = Q3 - Q1
        lower_bound = Q1 - 1.5 * IQR
        upper_bound = Q3 + 1.5 * IQR
        
        outliers = series[(series < lower_bound) | (series > upper_bound)]
        
        if len(outliers) > 0:
            print(f"Biến {var_name} có {len(outliers)} outliers tiềm năng")
            print(f"Phạm vi hợp lệ: [{lower_bound:.2f}, {upper_bound:.2f}]")
            print(f"Giá trị outliers: {sorted(outliers.unique())}")
            return outliers.index.tolist()
    return []

outlier_indices = {}
for col in data.columns:
    if data[col].dtype in ['int64', 'float64']:
        outliers = detect_outliers_iqr(data[col], col)
        if outliers:
            outlier_indices[col] = outliers

# Tạo ma trận correlation để kiểm tra logic consistency
if len(data.select_dtypes(include=[np.number]).columns) > 1:
    print(f"\nMA TRẬN TƯƠNG QUAN")
    print("=" * 20)
    
    correlation_matrix = data.select_dtypes(include=[np.number]).corr()
    print(correlation_matrix)
    
    # Heatmap
    plt.figure(figsize=(10, 8))
    sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0,
                square=True, linewidths=0.5)
    plt.title('Ma trận tương quan giữa các biến số')
    plt.tight_layout()
    plt.show()

# Tạo báo cáo tổng hợp
print(f"\nTẠO BÁO CÁO TỔNG HỢP")
print("=" * 25)

# Export results
quality_report.to_csv('data_quality_report.csv', index=False)
missing_summary.to_csv('missing_values_summary.csv', index=False)

# Tạo báo cáo text chi tiết
with open('data_screening_report.txt', 'w', encoding='utf-8') as f:
    f.write("BÁO CÁO KIỂM TRA DỮ LIỆU NHẬP\n")
    f.write("=" * 35 + "\n")
    f.write(f"Ngày tạo: {pd.Timestamp.now().strftime('%Y-%m-%d %H:%M:%S')}\n")
    f.write(f"Số quan sát: {data.shape[0]}\n")
    f.write(f"Số biến: {data.shape[1]}\n\n")
    
    f.write("TÓM TẮT MISSING VALUES:\n")
    f.write(missing_summary.to_string(index=False))
    f.write("\n\n")
    
    f.write("TÓM TẮT CHẤT LƯỢNG DỮ LIỆU:\n")
    f.write(quality_report.to_string(index=False))
    f.write("\n\n")
    
    if high_missing_vars:
        f.write("CẢNH BÁO:\n")
        f.write(f"- Các biến có tỷ lệ missing cao: {', '.join(high_missing_vars)}\n")
    
    f.write("\nKẾT LUẬN VÀ KHUYẾN NGHỊ:\n")
    f.write("- Cần xem xét xử lý missing values cho các biến có tỷ lệ missing cao\n")
    f.write("- Kiểm tra và xử lý các giá trị ngoài phạm vi\n")
    f.write("- Xem xét loại bỏ hoặc xử lý outliers nếu cần thiết\n")
    f.write("- Đảm bảo logic consistency giữa các biến liên quan\n")

print("✅ Đã xuất các file báo cáo:")
print("   - data_quality_report.csv")
print("   - missing_values_summary.csv") 
print("   - data_screening_report.txt")

# Tạo summary dashboard
fig, axes = plt.subplots(2, 2, figsize=(15, 12))

# Missing values summary
missing_counts = data.isnull().sum()
missing_counts = missing_counts[missing_counts > 0]
if len(missing_counts) > 0:
    axes[0, 0].bar(range(len(missing_counts)), missing_counts.values, color='salmon')
    axes[0, 0].set_title('Missing Values by Variable')
    axes[0, 0].set_xticks(range(len(missing_counts)))
    axes[0, 0].set_xticklabels(missing_counts.index, rotation=45)
    axes[0, 0].set_ylabel('Count')
else:
    axes[0, 0].text(0.5, 0.5, 'No Missing Values', ha='center', va='center')
    axes[0, 0].set_title('Missing Values Summary')

# Data types distribution
dtype_counts = data.dtypes.value_counts()
axes[0, 1].pie(dtype_counts.values, labels=dtype_counts.index, autopct='%1.1f%%')
axes[0, 1].set_title('Distribution of Data Types')

# Variable count
axes[1, 0].bar(['Total Variables', 'Numeric Variables', 'Non-Numeric Variables'],
               [len(data.columns), 
                len(data.select_dtypes(include=[np.number]).columns),
                len(data.select_dtypes(exclude=[np.number]).columns)],
               color=['lightblue', 'lightgreen', 'lightyellow'])
axes[1, 0].set_title('Variable Type Summary')
axes[1, 0].set_ylabel('Count')

# Sample size and completeness
completeness = (1 - data.isnull().sum() / len(data)) * 100
axes[1, 1].hist(completeness, bins=10, color='lightcoral', edgecolor='black', alpha=0.7)
axes[1, 1].set_title('Data Completeness Distribution')
axes[1, 1].set_xlabel('Completeness (%)')
axes[1, 1].set_ylabel('Frequency')

plt.tight_layout()
plt.savefig('data_screening_dashboard.png', dpi=300, bbox_inches='tight')
plt.show()

print(f"\n{'='*50}")
print("KIỂM TRA DỮ LIỆU NHẬP HOÀN TẤT")
print(f"{'='*50}")