Độ phù hợp hồi quy Stepwise
Sau khi sử dụng Stepwise thì ba biến có ý nghĩa thống kê được thêm vào mô hình gồm weight, foreign và length. Tôi sẽ sử dụng ba biến này làm ba biến giải thích trong câu lệnh nestreg tiếp theo theo đúng trật tự chúng hiển thị trong kết quả hồi quy Stepwise trên như sau:
. nestreg, quietly store(m): regress price weight foreign length if e(sample) Block 1: weight Block 2: foreign Block 3: length +-------------------------------------------------------------+ | | Block Residual Change | | Block | F df df Pr > F R2 in R2 | |-------+-----------------------------------------------------| | 1 | 29.42 1 72 0.0000 0.2901 | | 2 | 29.59 1 71 0.0000 0.4989 0.2088 | | 3 | 7.75 1 70 0.0069 0.5489 0.0499 | +-------------------------------------------------------------+
Kết quả là R – bình phương được cải thiện đáng kể ở mỗi bước thêm biến. Cụ thể bổ sung thêm biến foreign và length lần lượt là tăng R – bình phương thêm gần 0.21 và 0.05.
Giả sử, tôi muốn kiểm tra độ phù hợp của mô hình thông qua các chỉ số AIC/BIC thì trong trường hợp này, tôi sử dụng ước lượng tỉ lệ hợp lý cực đại (LR). Tôi có thể sử dụng câu lệnh nestreg để thực hiện ước lượng này như sau:
. nestreg, quietly lr: regress price weight foreign length if e(sample) Block 1: weight Block 2: foreign Block 3: length +----------------------------------------------------------------+ | Block | LL LR df Pr > LR AIC BIC | |-------+--------------------------------------------------------| | 1 | -683.0354 25.35 1 0.0000 1370.071 1374.679 | | 2 | -670.1448 25.78 1 0.0000 1346.29 1353.202 | | 3 | -666.2613 7.77 1 0.0053 1340.523 1349.739 | +----------------------------------------------------------------+
Ý NGHĨA VÀ CÁCH TÍNH TIÊU CHUẨN AIC, BIC
Akaike Information Criterion (AIC) và Bayesian Information Criterion (BIC) được tính
- AIC = −2(loglikelihood) + 2(số các hệ số ước lượng).
- BIC = −2(loglikelihood) + (log n)(số các hệ số ước lượng).
Đối với hồi quy tuyến tính, với giả định Gauss thì −2(loglikelihood) tỉ lệ với n*log(SSE/n). Vì thế tổng bình phương sai số chuẩn được giải thích bởi mô hình (SSE) càng nhỏ thì AIC và BIC càng lớn. Một mô hình đơn giản và đầy đủ phải là mô hình có trị số AIC hoặc BIC càng thấp càng tốt và các biến độc lập phải có ý nghĩa thống kê. Thành ra, vấn đề đi tìm một mô hình đơn giản và đầy đủ là thật sự đi tìm một (hay nhiều) mô hình với trị số AIC thấp nhất hay gần thấp nhất.
Như vậy, kết quả ước lượng theo tỉ lệ hợp lí cực đại bằng câu lệnh nestreg trên cho thấy độ phù hợp của mô hình ngày càng được cải thiện khi lần lượt bổ sung thêm các biến có ý nghĩa thống kê vào mô hình. Mô hình với 3 biến weight, foreign và length có độ phù hợp cao nhất ứng với các giá trị AIC/BIC nhỏ nhất.
Nguồn: The Stata Journal (2007, pp. 272–274)