Nối dữ liệu với SPSS – Merging data

* Nối dữ liệu trong SPSS Syntax
* Tác giả: Thực hành kinh tế lượng
* Mục đích: Hướng dẫn nối dữ liệu với SPSS Syntax

* Mở file dữ liệu chính
GET FILE='hsb2.sav'.

* Phương pháp 1: Thêm quan sát (Add Cases)
* Nối thêm quan sát từ file khác
ADD FILES /FILE=*
  /FILE='hsb1.sav'.
EXECUTE.

* Lưu kết quả
SAVE OUTFILE='merged_cases.sav'.

* Phương pháp 2: Thêm biến không so khớp (Add Variables)
GET FILE='hsb2.sav'.
MATCH FILES /FILE=*
  /FILE='hsb1.sav'
  /BY id.
EXECUTE.

* Lưu kết quả
SAVE OUTFILE='merged_variables_simple.sav'.

* Phương pháp 3: Sắp xếp dữ liệu trước khi nối
* Sắp xếp file chính
GET FILE='hsb2.sav'.
SORT CASES BY id.
SAVE OUTFILE='hsb2_sorted.sav'.

* Sắp xếp file phụ
GET FILE='hsb.sav'.
SORT CASES BY id.
SAVE OUTFILE='hsb_sorted.sav'.

* Nối dữ liệu có so khớp - Both files provide cases
GET FILE='hsb2_sorted.sav'.
MATCH FILES /FILE=*
  /FILE='hsb_sorted.sav'
  /BY id.
EXECUTE.
SAVE OUTFILE='merged_both_files.sav'.

* Nối dữ liệu có so khớp - Table lookup (Non-active dataset is keyed table)
GET FILE='hsb2_sorted.sav'.
MATCH FILES /FILE=*
  /TABLE='hsb_sorted.sav'
  /BY id.
EXECUTE.
SAVE OUTFILE='merged_table_lookup.sav'.

* Kiểm tra kết quả sau khi nối
FREQUENCIES VARIABLES=id.
DESCRIPTIVES VARIABLES=math science socst.

* Tạo báo cáo tóm tắt
CROSSTABS /TABLES=female BY schtyp
  /CELLS=COUNT ROW COLUMN TOTAL.

* Nối dữ liệu trong Stata
* Tác giả: Thực hành kinh tế lượng
* Mục đích: Hướng dẫn các phương pháp nối dữ liệu

* Thiết lập thư mục làm việc
cd "C:/data"

* Phương pháp 1: Append - Thêm quan sát
* Mở file chính
use "hsb2.dta", clear

* Thêm quan sát từ file khác
append using "hsb1.dta"

* Kiểm tra kết quả
describe
summarize

* Lưu kết quả
save "merged_append.dta", replace

* Phương pháp 2: Merge - Nối có so khớp
* One-to-one merge (1:1)
use "hsb2.dta", clear
sort id
save "hsb2_sorted.dta", replace

use "hsb.dta", clear
sort id
save "hsb_sorted.dta", replace

* Thực hiện merge 1:1
use "hsb2_sorted.dta", clear
merge 1:1 id using "hsb_sorted.dta"

* Kiểm tra kết quả merge
tab _merge
list id math science socst if _merge != 3

* Giữ lại chỉ những quan sát matched
keep if _merge == 3
drop _merge

* Lưu kết quả
save "merged_1to1.dta", replace

* Many-to-one merge (m:1) - ví dụ nối thông tin trường học
use "students.dta", clear
sort school_id
merge m:1 school_id using "schools.dta"

* One-to-many merge (1:m) - ví dụ nối thông tin học sinh vào trường
use "schools.dta", clear
sort school_id
merge 1:m school_id using "students.dta"

* Many-to-many merge (m:m) - ít sử dụng, cần cẩn thận
use "dataset1.dta", clear
merge m:m id using "dataset2.dta"

* Các tùy chọn merge hữu ích
* keep() - chỉ giữ lại quan sát thỏa mãn điều kiện
use "hsb2_sorted.dta", clear
merge 1:1 id using "hsb_sorted.dta", keep(matched master)

* nogenerate - không tạo biến _merge
use "hsb2_sorted.dta", clear
merge 1:1 id using "hsb_sorted.dta", nogenerate

* update - cập nhật giá trị missing từ using file
use "hsb2_sorted.dta", clear
merge 1:1 id using "hsb_sorted.dta", update

* Kiểm tra chất lượng dữ liệu sau merge
duplicates report id
duplicates list id if _merge == 3

* Tạo báo cáo
tabulate female schtyp
summarize math science socst, detail

# Nối dữ liệu trong R
# Tác giả: Thực hành kinh tế lượng
# Mục đích: Hướng dẫn các phương pháp nối dữ liệu

# Tải các thư viện cần thiết
library(haven)      # Đọc file SPSS
library(dplyr)      # Xử lý dữ liệu
library(readr)      # Đọc file CSV
library(stringr)    # Xử lý chuỗi

# Đọc dữ liệu từ các file SPSS
hsb1 <- read_sav("hsb1.sav")
hsb2 <- read_sav("hsb2.sav")
hsb_full <- read_sav("hsb.sav")

# Kiểm tra cấu trúc dữ liệu
str(hsb1)
str(hsb2)
str(hsb_full)

# Phương pháp 1: rbind - Thêm quan sát (tương đương Add Cases)
# Chỉ giữ lại các cột chung
common_cols <- intersect(names(hsb1), names(hsb2))
hsb1_common <- hsb1[, common_cols]
hsb2_common <- hsb2[, common_cols]

# Nối theo hàng
merged_rows <- rbind(hsb1_common, hsb2_common)

cat("Kết quả nối theo hàng:\n")
cat("Số quan sát:", nrow(merged_rows), "\n")
cat("Số biến:", ncol(merged_rows), "\n")

# Phương pháp 2: cbind - Thêm biến (cần cẩn thận về thứ tự)
# Chỉ sử dụng khi chắc chắn về thứ tự quan sát
# Không khuyến khích trong thực tế

# Phương pháp 3: Merge/Join functions - Nối có so khớp
# Inner join - chỉ giữ quan sát có trong cả hai file
inner_merged <- merge(hsb2, hsb_full, by = "id", all = FALSE)

# Left join - giữ tất cả quan sát từ file trái
left_merged <- merge(hsb2, hsb_full, by = "id", all.x = TRUE)

# Right join - giữ tất cả quan sát từ file phải  
right_merged <- merge(hsb2, hsb_full, by = "id", all.y = TRUE)

# Full outer join - giữ tất cả quan sát từ cả hai file
full_merged <- merge(hsb2, hsb_full, by = "id", all = TRUE)

# Sử dụng dplyr (cú pháp hiện đại hơn)
# Inner join
inner_dplyr <- hsb2 %>%
  inner_join(hsb_full, by = "id")

# Left join
left_dplyr <- hsb2 %>%
  left_join(hsb_full, by = "id")

# Right join
right_dplyr <- hsb2 %>%
  right_join(hsb_full, by = "id")

# Full join
full_dplyr <- hsb2 %>%
  full_join(hsb_full, by = "id")

# Anti join - các quan sát trong hsb2 nhưng không có trong hsb_full
anti_dplyr <- hsb2 %>%
  anti_join(hsb_full, by = "id")

# Semi join - các quan sát trong hsb2 có trong hsb_full
semi_dplyr <- hsb2 %>%
  semi_join(hsb_full, by = "id")

# Merge với nhiều key variables
# multi_key_merge <- merge(df1, df2, by = c("var1", "var2"))

# Kiểm tra kết quả merge
check_merge_results <- function(original1, original2, merged) {
  cat("File 1 - Quan sát:", nrow(original1), "Biến:", ncol(original1), "\n")
  cat("File 2 - Quan sát:", nrow(original2), "Biến:", ncol(original2), "\n")
  cat("Merged - Quan sát:", nrow(merged), "Biến:", ncol(merged), "\n")
  
  # Kiểm tra missing values
  cat("Missing values trong merged data:\n")
  print(sapply(merged, function(x) sum(is.na(x))))
}

# Kiểm tra các kết quả
cat("=== INNER JOIN ===\n")
check_merge_results(hsb2, hsb_full, inner_dplyr)

cat("\n=== LEFT JOIN ===\n") 
check_merge_results(hsb2, hsb_full, left_dplyr)

cat("\n=== FULL JOIN ===\n")
check_merge_results(hsb2, hsb_full, full_dplyr)

# Xử lý các vấn đề phổ biến khi merge
# 1. Xử lý tên biến trùng lặp
merged_with_suffix <- merge(hsb2, hsb_full, 
                           by = "id", 
                           suffixes = c("_hsb2", "_full"))

# 2. Merge với tolerance cho số (nếu cần)
# Sử dụng thư viện fuzzyjoin cho fuzzy matching

# 3. Tạo biến indicator để theo dõi nguồn gốc
hsb2_with_source <- hsb2 %>%
  mutate(source = "hsb2")

hsb_full_with_source <- hsb_full %>%
  mutate(source = "full")

# Combine với indicator
combined_with_source <- bind_rows(hsb2_with_source, hsb_full_with_source)

# Validation và quality checks
validate_merge <- function(df) {
  cat("Kiểm tra chất lượng dữ liệu sau merge:\n")
  
  # Kiểm tra duplicates
  cat("Số ID trùng lặp:", sum(duplicated(df$id)), "\n")
  
  # Kiểm tra missing values
  missing_summary <- df %>%
    summarise_all(~sum(is.na(.))) %>%
    gather(variable, missing_count) %>%
    filter(missing_count > 0)
  
  if(nrow(missing_summary) > 0) {
    cat("Biến có missing values:\n")
    print(missing_summary)
  } else {
    cat("Không có missing values\n")
  }
  
  # Summary statistics
  cat("\nThống kê mô tả:\n")
  print(summary(df))
}

# Validate kết quả
validate_merge(inner_dplyr)

# Lưu kết quả
write_sav(inner_dplyr, "merged_inner_r.sav")
write_sav(left_dplyr, "merged_left_r.sav")  
write_sav(full_dplyr, "merged_full_r.sav")

# Tạo báo cáo merge
create_merge_report <- function(df, filename) {
  report <- list(
    n_observations = nrow(df),
    n_variables = ncol(df),
    variable_names = names(df),
    missing_summary = sapply(df, function(x) sum(is.na(x))),
    numeric_summary = summary(select_if(df, is.numeric))
  )
  
  # Lưu báo cáo
  saveRDS(report, paste0(filename, "_report.rds"))
  
  return(report)
}

# Tạo báo cáo cho các merge khác nhau
inner_report <- create_merge_report(inner_dplyr, "inner_merge")
left_report <- create_merge_report(left_dplyr, "left_merge")
full_report <- create_merge_report(full_dplyr, "full_merge")

cat("Hoàn thành quá trình nối dữ liệu và validation!\n")

# Nối dữ liệu trong Python
# Tác giả: Thực hành kinh tế lượng  
# Mục đích: Hướng dẫn các phương pháp nối dữ liệu

import pandas as pd
import numpy as np
import pyreadstat
import warnings
warnings.filterwarnings('ignore')

# Đọc dữ liệu từ file SPSS
print("Đọc dữ liệu từ các file SPSS...")

# Đọc các file dữ liệu
hsb1, meta1 = pyreadstat.read_sav("hsb1.sav")
hsb2, meta2 = pyreadstat.read_sav("hsb2.sav") 
hsb_full, meta_full = pyreadstat.read_sav("hsb.sav")

# Kiểm tra thông tin cơ bản
print("=== THÔNG TIN CƠ BẢN ===")
print(f"HSB1: {hsb1.shape[0]} quan sát, {hsb1.shape[1]} biến")
print(f"HSB2: {hsb2.shape[0]} quan sát, {hsb2.shape[1]} biến")  
print(f"HSB_FULL: {hsb_full.shape[0]} quan sát, {hsb_full.shape[1]} biến")

print(f"\nCác biến trong HSB1: {list(hsb1.columns)}")
print(f"Các biến trong HSB2: {list(hsb2.columns)}")
print(f"Các biến trong HSB_FULL: {list(hsb_full.columns)}")

# Phương pháp 1: concat - Thêm quan sát (tương đương Add Cases)
print("\n=== PHƯƠNG PHÁP 1: THÊM QUAN SÁT ===")

# Tìm các cột chung
common_columns = list(set(hsb1.columns) & set(hsb2.columns))
print(f"Các biến chung: {common_columns}")

# Chọn chỉ các cột chung
hsb1_common = hsb1[common_columns]
hsb2_common = hsb2[common_columns]

# Nối theo hàng (axis=0)
merged_concat = pd.concat([hsb1_common, hsb2_common], 
                         axis=0, 
                         ignore_index=True,
                         sort=False)

print(f"Kết quả nối theo hàng: {merged_concat.shape[0]} quan sát, {merged_concat.shape[1]} biến")

# Thêm cột để theo dõi nguồn gốc
hsb1_with_source = hsb1_common.copy()
hsb1_with_source['source'] = 'hsb1'

hsb2_with_source = hsb2_common.copy()  
hsb2_with_source['source'] = 'hsb2'

merged_with_source = pd.concat([hsb1_with_source, hsb2_with_source],
                              axis=0,
                              ignore_index=True)

# Phương pháp 2: Merge/Join - Nối có so khớp
print("\n=== PHƯƠNG PHÁP 2: NỐI CÓ SO KHỚP ===")

# Inner join - chỉ giữ quan sát có trong cả hai file
inner_merged = pd.merge(hsb2, hsb_full, on='id', how='inner')
print(f"Inner join: {inner_merged.shape[0]} quan sát, {inner_merged.shape[1]} biến")

# Left join - giữ tất cả quan sát từ file trái
left_merged = pd.merge(hsb2, hsb_full, on='id', how='left')
print(f"Left join: {left_merged.shape[0]} quan sát, {left_merged.shape[1]} biến")

# Right join - giữ tất cả quan sát từ file phải
right_merged = pd.merge(hsb2, hsb_full, on='id', how='right')  
print(f"Right join: {right_merged.shape[0]} quan sát, {right_merged.shape[1]} biến")

# Outer join - giữ tất cả quan sát từ cả hai file
outer_merged = pd.merge(hsb2, hsb_full, on='id', how='outer')
print(f"Outer join: {outer_merged.shape[0]} quan sát, {outer_merged.shape[1]} biến")

# Xử lý tên cột trùng lặp bằng suffixes
merged_with_suffixes = pd.merge(hsb2, hsb_full, 
                               on='id', 
                               how='inner',
                               suffixes=('_hsb2', '_full'))

# Merge với nhiều key columns (nếu cần)
# multi_key_merge = pd.merge(df1, df2, on=['key1', 'key2'], how='inner')

# Phương pháp 3: Join method của DataFrame
print("\n=== SỬ DỤNG JOIN METHOD ===")

# Set index trước khi join
hsb2_indexed = hsb2.set_index('id')
hsb_full_indexed = hsb_full.set_index('id')

# Inner join sử dụng join method
joined_inner = hsb2_indexed.join(hsb_full_indexed, 
                                how='inner', 
                                rsuffix='_full')

print(f"Join method (inner): {joined_inner.shape[0]} quan sát, {joined_inner.shape[1]} biến")

# Validation và kiểm tra chất lượng
def validate_merge(df, name):
    """Kiểm tra chất lượng dữ liệu sau merge"""
    print(f"\n=== VALIDATION: {name.upper()} ===")
    
    # Thông tin cơ bản
    print(f"Kích thước: {df.shape[0]} quan sát, {df.shape[1]} biến")
    
    # Kiểm tra duplicates trên ID
    if 'id' in df.columns:
        duplicates = df['id'].duplicated().sum()
        print(f"Số ID trùng lặp: {duplicates}")
    
    # Kiểm tra missing values
    missing_summary = df.isnull().sum()
    missing_cols = missing_summary[missing_summary > 0]
    
    if len(missing_cols) > 0:
        print("Biến có missing values:")
        for col, missing_count in missing_cols.items():
            percentage = (missing_count / len(df)) * 100
            print(f"  {col}: {missing_count} ({percentage:.1f}%)")
    else:
        print("Không có missing values")
    
    # Thống kê mô tả cho biến số
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    if len(numeric_cols) > 0:
        print(f"\nThống kê mô tả ({len(numeric_cols)} biến số):")
        print(df[numeric_cols].describe().round(2))

# Validate các kết quả merge
validate_merge(inner_merged, "Inner Merge")
validate_merge(left_merged, "Left Merge")  
validate_merge(outer_merged, "Outer Merge")

# Tạo function để so sánh kết quả merge
def compare_merge_methods(hsb2, hsb_full):
    """So sánh các phương pháp merge khác nhau"""
    
    results = {}
    
    # Thực hiện các loại merge
    methods = {
        'inner': 'inner',
        'left': 'left', 
        'right': 'right',
        'outer': 'outer'
    }
    
    for name, method in methods.items():
        merged = pd.merge(hsb2, hsb_full, on='id', how=method)
        results[name] = {
            'observations': merged.shape[0],
            'variables': merged.shape[1],
            'missing_values': merged.isnull().sum().sum(),
            'data': merged
        }
    
    # Tạo bảng so sánh
    comparison = pd.DataFrame({
        'Method': list(results.keys()),
        'Observations': [results[k]['observations'] for k in results.keys()],
        'Variables': [results[k]['variables'] for k in results.keys()],
        'Missing Values': [results[k]['missing_values'] for k in results.keys()]
    })
    
    print("\n=== SO SÁNH CÁC PHƯƠNG PHÁP MERGE ===")
    print(comparison.to_string(index=False))
    
    return results

# Thực hiện so sánh
merge_comparison = compare_merge_methods(hsb2, hsb_full)

# Advanced: Merge với điều kiện phức tạp
print("\n=== MERGE NÂNG CAO ===")

# Merge với tolerance (cho số liệu)
def merge_with_tolerance(df1, df2, key_col, tolerance=0.1):
    """Merge với dung sai cho biến số"""
    merged_list = []
    
    for idx, row in df1.iterrows():
        key_val = row[key_col]
        matches = df2[abs(df2[key_col] - key_val) <= tolerance]
        
        if not matches.empty:
            # Lấy match gần nhất
            closest_match = matches.iloc[0]
            merged_row = pd.concat([row, closest_match])
            merged_list.append(merged_row)
    
    return pd.DataFrame(merged_list)

# Merge conditional 
def conditional_merge(df1, df2, conditions):
    """Merge với điều kiện tùy chỉnh"""
    results = []
    
    for idx, row1 in df1.iterrows():
        for jdx, row2 in df2.iterrows():
            if all(conditions(row1, row2)):
                merged_row = pd.concat([row1, row2])
                results.append(merged_row)
                break
    
    return pd.DataFrame(results)

# Lưu kết quả ra file
print("\n=== LƯU KẾT QUẢ ===")

# Lưu ra SPSS format
pyreadstat.write_sav(inner_merged, "merged_inner_python.sav")
pyreadstat.write_sav(left_merged, "merged_left_python.sav")
pyreadstat.write_sav(outer_merged, "merged_outer_python.sav")

# Lưu ra CSV  
inner_merged.to_csv("merged_inner_python.csv", index=False)
left_merged.to_csv("merged_left_python.csv", index=False)

# Lưu ra Excel với nhiều sheet
with pd.ExcelWriter("merge_results_python.xlsx") as writer:
    inner_merged.to_excel(writer, sheet_name="Inner_Merge", index=False)
    left_merged.to_excel(writer, sheet_name="Left_Merge", index=False)  
    outer_merged.to_excel(writer, sheet_name="Outer_Merge", index=False)
    
    # Thêm sheet so sánh
    comparison_df = pd.DataFrame(merge_comparison).T
    comparison_df.to_excel(writer, sheet_name="Comparison")

# Tạo báo cáo tổng hợp
def create_merge_report(merge_results):
    """Tạo báo cáo tổng hợp về quá trình merge"""
    
    report = {
        'timestamp': pd.Timestamp.now(),
        'original_files': {
            'hsb1': hsb1.shape,
            'hsb2': hsb2.shape, 
            'hsb_full': hsb_full.shape
        },
        'merge_results': {}
    }
    
    for method, result in merge_results.items():
        report['merge_results'][method] = {
            'shape': (result['observations'], result['variables']),
            'missing_values': result['missing_values'],
            'data_quality_score': 100 - (result['missing_values'] / 
                                        (result['observations'] * result['variables']) * 100)
        }
    
    return report

# Tạo và lưu báo cáo
final_report = create_merge_report(merge_comparison)

# In báo cáo
print("\n=== BÁO CÁO TỔNG HỢP ===")
print(f"Thời gian thực hiện: {final_report['timestamp']}")
print("\nFile gốc:")
for file, shape in final_report['original_files'].items():
    print(f"  {file}: {shape[0]} quan sát × {shape[1]} biến")

print("\nKết quả merge:")
for method, stats in final_report['merge_results'].items():
    print(f"  {method}: {stats['shape'][0]} quan sát × {stats['shape'][1]} biến")
    print(f"    Missing values: {stats['missing_values']}")
    print(f"    Data quality score: {stats['data_quality_score']:.1f}%")

print("\nHoàn thành quá trình nối dữ liệu!")