R cách tính LogLikelihood AIC BIC trong phần mềm thống kê R, đây là những chỉ tiêu đánh giá ” chất lượng” của mô hình nghiên cứu theo phương pháp ước lượng cực đại của Likelihood, được dùng rất nhiều trong thống kê học, và ứng dụng nhiều trong các mô hình định lượng từ thông dụng đến đặc biệt. Trong bài viết này chúng ta sẽ tìm hiểu về các chỉ số Likelihood, AIC, BIC, HQ, SC.
LogLikelihood là gì ?
Thực ra, LogLikelihood = ln(Likelihood). Nên trong ví dụ này chúng ta nói là LogLikelihood hay Likelihood cũng được.
Trong thống kê , hàm Likelihood (thường được gọi đơn giản là khả năng, một số nơi gọi là ước lượng hợp lí ) đo lường mức độ phù hợp của mô hình thống kê với một mẫu dữ liệu cho các giá trị đã cho của các tham số chưa biết . Nó được hình thành từ phân phối xác suất chung của mẫu, nhưng chỉ được xem và sử dụng như một hàm của các tham số, do đó xử lý các biến ngẫu nhiên là cố định tại các giá trị quan sát được.
Hàm LogLikelihood mô tả một siêu mặt có đỉnh, nếu nó tồn tại, biểu thị sự kết hợp của các giá trị tham số mô hình nhằm tối đa hóa xác suất vẽ mẫu thu được. Quy trình lấy các đối số này của ước lượng hợp lí cực đại tối đa được gọi là ước lượng khả năng tối đa , để thuận tiện cho việc tính toán thường được thực hiện bằng cách sử dụng logarit tự nhiên của khả năng, được gọi là hàm khả năng log . Ngoài ra, hình dạng và độ cong của bề mặt khả năng thể hiện thông tin về độ ổn định của các ước tính, đó là lý do tại sao hàm khả năng thường được vẽ như là một phần của phân tích thống kê.
Trường hợp sử dụng khả năng lần đầu tiên được thực hiện bởi RA Fisher , người tin rằng đây là một khuôn khổ khép kín cho mô hình thống kê và suy luận. Sau đó, Barnard và Birnbaum đã lãnh đạo một trường phái tư tưởng ủng hộ nguyên tắc khả năng , quy định rằng tất cả các thông tin liên quan để suy luận được chứa trong hàm khả năng. Nhưng ngay cả trong thống kê thường xuyên và Bayes , chức năng khả năng đóng vai trò cơ bản
Công thức để tính Likelihood bằng tay là quá phực tạp, tuỳ từng model mà có cách tính khác nhau, trong ví dụ này chúng tôi hướng dẫn dẫn các bạn dùng hàm logLik() trong R cách tính LogLikelihood tương đối đơn giản và nhanh chóng.
hoiquy <-lm(y~x1 + x2)
logLik(hoiquy)
Akaike information criterion (AIC) là gì ?
Các tiêu chí thông tin Akaike ( AIC ) là một ước lượng của out-of-mẫu lỗi dự đoán và chất lượng do đó tương đối của mô hình thống kê cho một tập hợp dữ liệu. Đưa ra một tập hợp các mô hình cho dữ liệu, AIC ước tính chất lượng của từng mô hình, liên quan đến từng mô hình khác. Do đó, AIC cung cấp một phương tiện để lựa chọn mô hình .
AIC được thành lập trên lý thuyết thông tin . Khi một mô hình thống kê được sử dụng để thể hiện quá trình tạo ra dữ liệu, việc biểu diễn sẽ gần như không bao giờ chính xác; vì vậy một số thông tin sẽ bị mất bằng cách sử dụng mô hình để thể hiện quá trình. AIC ước tính lượng thông tin tương đối bị mất bởi một mô hình nhất định: mô hình mất càng ít thông tin thì chất lượng của mô hình đó càng cao.
Khi ước tính lượng thông tin bị mất bởi một mô hình, AIC đề cập đến sự đánh đổi giữa mức độ phù hợp của mô hình và sự đơn giản của mô hình. Nói cách khác, AIC thỏa thuận với cả hai nguy cơ overfitting và nguy cơ underfitting.
Tiêu chí thông tin Akaike được đặt theo tên của nhà thống kê người Nhật Hirotugu Akaike , người đã xây dựng nó. Bây giờ nó tạo thành cơ sở của một mô hình cho các nền tảng của thống kê ; tốt, nó được sử dụng rộng rãi cho suy luận thống kê .
Bài mới !
AIC = -2*LogLikelihood + 2*k = 2(k-LogLikelihood)
- (k là tham số của mô hình)
- trong R, thì dùng hàm AIC() là xong.
Nếu cở mẫu nhỏ thì chúng ta có thể tính AICc
Bayesian information criterion (BIC) là gì ?
Trong thống kê , tiêu chí thông tin Bayes ( BIC ) hoặc tiêu chí thông tin Schwarz (cũng là SIC , SBC , SBIC ) là một tiêu chí để lựa chọn mô hình trong số các mô hình hữu hạn; mô hình có BIC thấp nhất được ưa thích. Nó dựa một phần vào chức năng khả năng và nó liên quan chặt chẽ đến tiêu chí thông tin Akaike (AIC).
Khi lắp các mô hình, nó có thể làm tăng khả năng bằng cách thêm tham số, nhưng làm như vậy có thể dẫn đến overfitting . Cả BIC và AIC đều cố gắng giải quyết vấn đề này bằng cách đưa ra một điều khoản phạt cho số lượng tham số trong mô hình; thời hạn phạt trong BIC lớn hơn trong AIC. (R cách tính LogLikelihhood)
BIC được phát triển bởi Gideon E. Schwarz và được xuất bản trong một bài báo năm 1978, nơi ông đưa ra một lập luận Bayes cho việc áp dụng nó.
Ta có thể tính BIC theo công thức sau:
BIC = k*ln(n) - 2*LogLikelihood
- n: lượng quan sát
Trong R, ta dùng hàm BIC() luôn.
Hannan–Quinn information criterion (HQ hay HQC) là gì?
Công thức này gần giống như BIC cũng là để lựa chọn mô hình phù hợp.
HQ = 2[k*ln(ln(n))- LogLikelihood] .
Burnham & Anderson (2002, trang 287) nói rằng HQC, “trong khi thường được trích dẫn, dường như đã thấy ít sử dụng trong thực tế”. Họ cũng lưu ý rằng HQC, giống như BIC, nhưng không giống như AIC, không phải là công cụ ước tính của phân kỳ Kullback tựa Leibler . Claeskens & Hjort (2008, ch. 4) lưu ý rằng HQC, giống như BIC, nhưng không giống như AIC, không hiệu quả về mặt triệu chứng ; tuy nhiên, nó bỏ lỡ tỷ lệ ước tính tối ưu rất nhỏ ln(ln(n)) hệ số.
Schwarz criterion (SC) là gì ?
Đây cũng là một chỉ tiêu để lựa chọn model, theo công thức sau:
SC = k*ln(n) - 2*LogLikelihood
Ngoài ra để ước lượng các chỉ tiêu về sự phù hợp của mô hình, hay lựa chọn mô hình theo R cách tính LogLikelihood – sự hợp lí cực đại, còn nhiều chỉ tiêu khác nữa, trên đây chúng tôi chi xây dựng các bộ chi tiêu hiệu quả và thông dụng nhất.
Chúng tôi có dịch vụ hỗ trợ nghiên cứu khoa học, công bố bài báo quốc tế … nếu các bạn đang gặp khó khăn trong công việc nghiên cứu khoa học, đừng ngần ngại hãy liên hệ ngay với chúng tôi.
