Bảng tần suất – SPSS

* Thống kê mô tả dạng bảng tần suất bằng SPSS Syntax
* Tác giả: Thực hành kinh tế lượng
* Dữ liệu: 2-way-anova.sav

* Mở file dữ liệu
GET FILE='/data/2-way-anova.sav'.

* Phương pháp 1: Frequencies
FREQUENCIES VARIABLES=age edu sex liborcon
  /FORMAT=NOTABLE
  /STATISTICS=STDDEV VARIANCE RANGE MINIMUM MAXIMUM MEAN MEDIAN MODE SKEWNESS SESKEW KURTOSIS SEKURT
  /HISTOGRAM NORMAL
  /ORDER=ANALYSIS.

* Phương pháp 2: Explore
EXAMINE VARIABLES=age edu sex liborcon
  /PLOT BOXPLOT HISTOGRAM
  /COMPARE GROUPS
  /STATISTICS DESCRIPTIVES OUTLIERS
  /CINTERVAL 95
  /MISSING PAIRWISE
  /NOTOTAL.

* Phân tích theo nhóm
EXAMINE VARIABLES=age edu liborcon BY sex
  /PLOT BOXPLOT HISTOGRAM
  /COMPARE GROUPS
  /STATISTICS DESCRIPTIVES OUTLIERS
  /CINTERVAL 95
  /MISSING PAIRWISE
  /NOTOTAL.

// Thống kê mô tả dạng bảng tần suất bằng Stata
// Tác giả: Thực hành kinh tế lượng
// Dữ liệu: 2-way-anova.dta

* Mở dữ liệu
use "2-way-anova.dta", clear

* Mô tả cấu trúc dữ liệu
describe age edu sex liborcon

* Thống kê mô tả cơ bản
summarize age edu sex liborcon, detail

* Tạo bảng tần suất cho biến phân loại
tabulate sex, missing
tabulate liborcon, missing

* Phân tích phân phối
histogram age, normal
histogram edu, normal

* Phát hiện outliers
boxplot age
boxplot edu

* Thống kê mô tả theo nhóm
by sex, sort: summarize age edu liborcon, detail

* Tạo bảng so sánh theo nhóm
tabstat age edu liborcon, by(sex) statistics(mean median sd min max n)

* Kiểm tra missing data
misstable summarize age edu sex liborcon

# Thống kê mô tả dạng bảng tần suất bằng R
# Tác giả: Thực hành kinh tế lượng
# Dữ liệu: 2-way-anova.csv

# Cài đặt và load các package cần thiết
if (!require(psych)) install.packages("psych")
if (!require(Hmisc)) install.packages("Hmisc")
if (!require(dplyr)) install.packages("dplyr")
if (!require(ggplot2)) install.packages("ggplot2")

library(psych)
library(Hmisc)
library(dplyr)
library(ggplot2)

# Đọc dữ liệu
data <- read.csv("2-way-anova.csv") # Xem cấu trúc dữ liệu str(data) head(data) # Thống kê mô tả cơ bản (tương đương Frequencies) describe(data[c("age", "edu", "sex", "liborcon")]) # Thống kê mô tả chi tiết (tương đương Explore) summary(data[c("age", "edu", "sex", "liborcon")]) # Tạo bảng tần suất cho biến phân loại table(data$sex, useNA = "always") table(data$liborcon, useNA = "always") # Phân tích phân phối và histogram hist(data$age, main = "Histogram of Age", xlab = "Age", col = "lightblue") hist(data$edu, main = "Histogram of Education", xlab = "Education", col = "lightgreen") # Tạo boxplot để phát hiện outliers boxplot(data$age, main = "Boxplot of Age", ylab = "Age") boxplot(data$edu, main = "Boxplot of Education", ylab = "Education") # Thống kê mô tả theo nhóm data %>% group_by(sex) %>% 
  summarise(
    n = n(),
    mean_age = mean(age, na.rm = TRUE),
    median_age = median(age, na.rm = TRUE),
    sd_age = sd(age, na.rm = TRUE),
    mean_edu = mean(edu, na.rm = TRUE),
    median_edu = median(edu, na.rm = TRUE),
    sd_edu = sd(edu, na.rm = TRUE)
  )

# Tạo biểu đồ so sánh theo nhóm
ggplot(data, aes(x = factor(sex), y = age)) + 
  geom_boxplot() + 
  labs(title = "Age Distribution by Gender", x = "Gender", y = "Age")

# Kiểm tra missing data
sapply(data, function(x) sum(is.na(x)))

# Tạo bảng correlation
cor(data[c("age", "edu", "liborcon")], use = "complete.obs")

# Thống kê mô tả dạng bảng tần suất bằng Python
# Tác giả: Thực hành kinh tế lượng
# Dữ liệu: 2-way-anova.csv

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

# Đọc dữ liệu
data = pd.read_csv('2-way-anova.csv')

# Xem thông tin cơ bản về dữ liệu
print("Thông tin dữ liệu:")
print(data.info())
print("\n5 dòng đầu:")
print(data.head())

# Thống kê mô tả cơ bản (tương đương Frequencies)
print("\nThống kê mô tả cơ bản:")
print(data[['age', 'edu', 'sex', 'liborcon']].describe())

# Thống kê mô tả chi tiết (tương đương Explore)
print("\nThống kê mô tả chi tiết:")
for col in ['age', 'edu', 'sex', 'liborcon']:
    print(f"\n--- {col} ---")
    print(f"Mean: {data[col].mean():.2f}")
    print(f"Median: {data[col].median():.2f}")
    print(f"Mode: {data[col].mode().iloc[0]}")
    print(f"Std Dev: {data[col].std():.2f}")
    print(f"Skewness: {data[col].skew():.2f}")
    print(f"Kurtosis: {data[col].kurtosis():.2f}")

# Tạo bảng tần suất cho biến phân loại
print("\nBảng tần suất cho biến sex:")
print(data['sex'].value_counts(dropna=False))
print("\nBảng tần suất cho biến liborcon:")
print(data['liborcon'].value_counts(dropna=False))

# Tạo histogram
plt.figure(figsize=(12, 8))

plt.subplot(2, 2, 1)
plt.hist(data['age'], bins=20, alpha=0.7, color='skyblue', edgecolor='black')
plt.title('Histogram of Age')
plt.xlabel('Age')
plt.ylabel('Frequency')

plt.subplot(2, 2, 2)
plt.hist(data['edu'], bins=15, alpha=0.7, color='lightgreen', edgecolor='black')
plt.title('Histogram of Education')
plt.xlabel('Education')
plt.ylabel('Frequency')

plt.subplot(2, 2, 3)
plt.hist(data['sex'], bins=10, alpha=0.7, color='pink', edgecolor='black')
plt.title('Histogram of Sex')
plt.xlabel('Sex')
plt.ylabel('Frequency')

plt.subplot(2, 2, 4)
plt.hist(data['liborcon'], bins=10, alpha=0.7, color='orange', edgecolor='black')
plt.title('Histogram of Political Attitude')
plt.xlabel('Political Attitude')
plt.ylabel('Frequency')

plt.tight_layout()
plt.show()

# Tạo boxplot để phát hiện outliers
plt.figure(figsize=(12, 6))

plt.subplot(1, 2, 1)
plt.boxplot(data['age'].dropna())
plt.title('Boxplot of Age')
plt.ylabel('Age')

plt.subplot(1, 2, 2)
plt.boxplot(data['edu'].dropna())
plt.title('Boxplot of Education')
plt.ylabel('Education')

plt.tight_layout()
plt.show()

# Thống kê mô tả theo nhóm
print("\nThống kê mô tả theo giới tính:")
print(data.groupby('sex')[['age', 'edu', 'liborcon']].describe())

# Kiểm tra missing data
print("\nDữ liệu thiếu:")
print(data.isnull().sum())

# Tạo correlation matrix
print("\nMa trận tương quan:")
correlation_matrix = data[['age', 'edu', 'liborcon']].corr()
print(correlation_matrix)

# Phát hiện outliers bằng IQR method
def detect_outliers(data, column):
    Q1 = data[column].quantile(0.25)
    Q3 = data[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = data[(data[column] < lower_bound) | (data[column] > upper_bound)]
    return outliers

print("\nPhát hiện outliers:")
for col in ['age', 'edu']:
    outliers = detect_outliers(data, col)
    print(f"{col}: {len(outliers)} outliers detected")