tiếp tục bài trước về những sai sót trong phân tích dữ liệu. Bài này
tập trung vào những sai sót về diễn giải trị số P và vấn đề kiểm định giả
thuyết. NVT
Sai sót 6: Chỉ báo cáo kết quả qua trị số P
Một bài báo y khoa viết như sau: “The effect of the drug on lowering diastolic blood pressure was statistically significant (P<0.05).” Ở đây, trị số P có thể là 0.049; tức có ý nghĩa thống kê (vì thấp hơn 0.05), nhưng rất gần với 0.05 mà có thể diễn giải như là môt trị số P bằng [chẳng hạn như] 0.051, tức không có ý nghĩa thống kê! Ngoài ra, , chúng ta không biết ảnh hưởng của thuốc trong việc hạ huyết áp là bao nhiêu, tức là chúng ta không biết ảnh hưởng của thuốc có ý nghĩa lâm sàng hay không.
Một nghiên cứu khác viết “The mean diastolic blood pressure of the treatment group dropped from 110 to 92 mm Hg (P=0.02).” Cách trình bày này tốt hơn cách trình bày trên, nhưng vẫn chưa đầy đủ. Giá trị trước và sau điều trị được báo cáo rõ ràng, nhưng không nói đến độ khác biệt. Thật ra, thuốc giảm huyết áp 18 mm Hg, và có ý nghĩa thống kê (P = 0.02), nhưng tác giả không cho chúng ta biết khoảng tin cậy 95% của độ khác biệt trước và sau điều trị.
Một cách viết tốt hơn nữa là “The drug lowered diastolic blood pressure by a mean of 18 mm Hg, from 110 to 92 mm Hg (95% CI = 2 to 34 mm Hg; P=0.02).” Ở đây, tác giả cho chúng ta biết ba thông tin quan trọng: huyết áp trước và sau điều trị; mức độ ảnh hưởng và khoảng tin cậy 95%; và trị số P. Khoảng tin cậy 95% có thể diễn giải nôm na rằng nếu thuốc được thử nghiệm trên 100 mẫu tương tự như nghiên cứu đang báo cáo, thì tính trung bình huyết áp giảm từ 2 đến 34 mm Hg trong 95 mẫu. Chúng ta biết rằng một giảm huyết áp A chỉ 2 mm Hg chẳng có ý nghĩa lâm sàng, nhưng giảm đến 34 mm Hg thì quả có ý nghĩa lâm sàng. Do đó, mặc dù huyết áp giảm trung bình là có ý nghĩa thống kê, mức độ khác biết có thể không phải lúc nào cũng có ý nghĩa lâm sàng; nói cách khác, kết quả nghiên cứu gần như khó kết luận. Để có kết luận dứt khoát, có lẽ chúng ta cần thêm bệnh nhân sao cho tất cả khoảng tin cậy 95% đều có ý nghĩa lâm sàng.
Sai sót 7: Không kiểm định giả thiết trong phân tích
Bất cứ mô hình phân tích thống kê nào cũng đựa vào một số giả định (assumptions). Chẳng hạn như kiểm định t (t test) giả định rằng biến số phải tuân theo luật phân phối chuẩn, phương sai của hai nhóm so sánh phải tương đương nhau, các giá trị trong biến số phải độc lập với nhau, v.v. Tương tự, trong mô hình hồi qui tuyến tính, ngoài những giả định như kiểm định t, còn có giả định mối liên hệ giữa hai biến phụ thuộc và độc lập phải tuân theo hàm số tuyến tính. Trong phân tích sống sót (survival analysis), giả định proportionality cũng rất quan trọng, và nếu giả định này không đúng thì kết quả cũng có thể sai. Nếu biến số không đáp ứng các giả thiết này, thì kết quả phân tích có khi không hợp lí, thậm chí sai. Vì thế, việc kiểm định giả thiết trong phân tích rất quan trọng.
Một cách viết về giả định đã được kiểm tra có thể “The proportionality assumption was tested by evaluating the log minus log plot”, hoặc nếu dùng phương pháp khác thì “We tested the proportionality assumption by examining the odds of becoming pregnant in each discrete month when no contraception was used. Although the magnitude of the association was slightly less in the first month of follow-up compared with later months, we found that higher PBDE concentration was associated with decreased fecundability in every month.” (K Harley et al, Environ Health Perspect. 2010 August; 118(8): A330–A331).
Sai sót 8: Diển giải kết quả không có ý nghĩa thống kê như là một nghiên cứu negative.
Giả sử một nhà nghiên cứu so sánh huyết áp giữa hai nhóm, và kết quả không có ý nghĩa thống kê (statistically insignificant, P > 0.05). Nhà nghiên cứu phải quyết định sự không khác biệt đó có nghĩa là hai nhóm giống nhau (tương đương nhau), hay số liệu chưa đầy đủ để đi đến một kết luận chắc chắn hơn. Cần nói rằng một kết quả không có ý nghĩa thống kê không có nghĩa là hai nhóm giống nhau, mà chỉ có nghĩa là không thể bác bỏ giả thuyết vô hiệu. Giả thuyết vô hiệu (null hypothesis) là giả thuyết hai nhóm bằng nhau.
Nhiều nghiên cứu báo cáo kết quả không có ý nghĩa thống kê thường có power thấp, và do đó, không thể cung cấp câu trả lời dứt khoát. Nhà nghiên cứu có thể không “chứng minh” hai nhóm khác nhau, nhưng nhà nghiên cứu cũng không thể bác bỏ giả thuyết rằng hai nhóm có thể khác nhau. Người ta có câu Absence of proof is not proof of absence hay Absence of evidence is not evidence of absence (không có bằng chứng không có nghĩa là bằng chứng không có). Những nghiên cứu có power đầy đủ, một kết quả không có ý nghĩa thống kê có thể xem là một kết quả âm tính – negative (tức hai nhóm thật sự không khác nhau).
(Còn tiếp)
Sai sót 6: Chỉ báo cáo kết quả qua trị số P
Một bài báo y khoa viết như sau: “The effect of the drug on lowering diastolic blood pressure was statistically significant (P<0.05).” Ở đây, trị số P có thể là 0.049; tức có ý nghĩa thống kê (vì thấp hơn 0.05), nhưng rất gần với 0.05 mà có thể diễn giải như là môt trị số P bằng [chẳng hạn như] 0.051, tức không có ý nghĩa thống kê! Ngoài ra, , chúng ta không biết ảnh hưởng của thuốc trong việc hạ huyết áp là bao nhiêu, tức là chúng ta không biết ảnh hưởng của thuốc có ý nghĩa lâm sàng hay không.
Một nghiên cứu khác viết “The mean diastolic blood pressure of the treatment group dropped from 110 to 92 mm Hg (P=0.02).” Cách trình bày này tốt hơn cách trình bày trên, nhưng vẫn chưa đầy đủ. Giá trị trước và sau điều trị được báo cáo rõ ràng, nhưng không nói đến độ khác biệt. Thật ra, thuốc giảm huyết áp 18 mm Hg, và có ý nghĩa thống kê (P = 0.02), nhưng tác giả không cho chúng ta biết khoảng tin cậy 95% của độ khác biệt trước và sau điều trị.
Một cách viết tốt hơn nữa là “The drug lowered diastolic blood pressure by a mean of 18 mm Hg, from 110 to 92 mm Hg (95% CI = 2 to 34 mm Hg; P=0.02).” Ở đây, tác giả cho chúng ta biết ba thông tin quan trọng: huyết áp trước và sau điều trị; mức độ ảnh hưởng và khoảng tin cậy 95%; và trị số P. Khoảng tin cậy 95% có thể diễn giải nôm na rằng nếu thuốc được thử nghiệm trên 100 mẫu tương tự như nghiên cứu đang báo cáo, thì tính trung bình huyết áp giảm từ 2 đến 34 mm Hg trong 95 mẫu. Chúng ta biết rằng một giảm huyết áp A chỉ 2 mm Hg chẳng có ý nghĩa lâm sàng, nhưng giảm đến 34 mm Hg thì quả có ý nghĩa lâm sàng. Do đó, mặc dù huyết áp giảm trung bình là có ý nghĩa thống kê, mức độ khác biết có thể không phải lúc nào cũng có ý nghĩa lâm sàng; nói cách khác, kết quả nghiên cứu gần như khó kết luận. Để có kết luận dứt khoát, có lẽ chúng ta cần thêm bệnh nhân sao cho tất cả khoảng tin cậy 95% đều có ý nghĩa lâm sàng.
Sai sót 7: Không kiểm định giả thiết trong phân tích
Bất cứ mô hình phân tích thống kê nào cũng đựa vào một số giả định (assumptions). Chẳng hạn như kiểm định t (t test) giả định rằng biến số phải tuân theo luật phân phối chuẩn, phương sai của hai nhóm so sánh phải tương đương nhau, các giá trị trong biến số phải độc lập với nhau, v.v. Tương tự, trong mô hình hồi qui tuyến tính, ngoài những giả định như kiểm định t, còn có giả định mối liên hệ giữa hai biến phụ thuộc và độc lập phải tuân theo hàm số tuyến tính. Trong phân tích sống sót (survival analysis), giả định proportionality cũng rất quan trọng, và nếu giả định này không đúng thì kết quả cũng có thể sai. Nếu biến số không đáp ứng các giả thiết này, thì kết quả phân tích có khi không hợp lí, thậm chí sai. Vì thế, việc kiểm định giả thiết trong phân tích rất quan trọng.
Một cách viết về giả định đã được kiểm tra có thể “The proportionality assumption was tested by evaluating the log minus log plot”, hoặc nếu dùng phương pháp khác thì “We tested the proportionality assumption by examining the odds of becoming pregnant in each discrete month when no contraception was used. Although the magnitude of the association was slightly less in the first month of follow-up compared with later months, we found that higher PBDE concentration was associated with decreased fecundability in every month.” (K Harley et al, Environ Health Perspect. 2010 August; 118(8): A330–A331).
Sai sót 8: Diển giải kết quả không có ý nghĩa thống kê như là một nghiên cứu negative.
Giả sử một nhà nghiên cứu so sánh huyết áp giữa hai nhóm, và kết quả không có ý nghĩa thống kê (statistically insignificant, P > 0.05). Nhà nghiên cứu phải quyết định sự không khác biệt đó có nghĩa là hai nhóm giống nhau (tương đương nhau), hay số liệu chưa đầy đủ để đi đến một kết luận chắc chắn hơn. Cần nói rằng một kết quả không có ý nghĩa thống kê không có nghĩa là hai nhóm giống nhau, mà chỉ có nghĩa là không thể bác bỏ giả thuyết vô hiệu. Giả thuyết vô hiệu (null hypothesis) là giả thuyết hai nhóm bằng nhau.
Nhiều nghiên cứu báo cáo kết quả không có ý nghĩa thống kê thường có power thấp, và do đó, không thể cung cấp câu trả lời dứt khoát. Nhà nghiên cứu có thể không “chứng minh” hai nhóm khác nhau, nhưng nhà nghiên cứu cũng không thể bác bỏ giả thuyết rằng hai nhóm có thể khác nhau. Người ta có câu Absence of proof is not proof of absence hay Absence of evidence is not evidence of absence (không có bằng chứng không có nghĩa là bằng chứng không có). Những nghiên cứu có power đầy đủ, một kết quả không có ý nghĩa thống kê có thể xem là một kết quả âm tính – negative (tức hai nhóm thật sự không khác nhau).
(Còn tiếp)
Không có nhận xét nào:
Đăng nhận xét