Để hiểu liệu một phương pháp điều trị mới cho bệnh có thực sự tốt hơn các phương pháp điều trị cũ hay không, các bác sĩ và nhà nghiên cứu tìm đến bằng chứng tốt nhất hiện có. Các chuyên gia y tế muốn có một từ cuối cùng trong các bằng chứng để giải quyết các câu hỏi về các phương thức điều trị tốt nhất.

Nhưng không phải tất cả các bằng chứng y tế được tạo ra như nhau. Và có một hệ thống bằng chứng rõ ràng: ý kiến ​​chuyên gia và báo cáo trường hợp về các sự kiện riêng lẻ ở mức thấp nhất, và các thử nghiệm ngẫu nhiên có kiểm soát được tiến hành tốt ở gần đầu. Ở trên cùng của hệ thống phân cấp này là các phân tích tổng hợp - các nghiên cứu kết hợp các kết quả từ nhiều nghiên cứu đã hỏi cùng một câu hỏi. Và rất, rất trên cùng của hệ thống phân cấp này là các phân tích tổng hợp được thực hiện bởi một nhóm được gọi là Hợp tác Cochrane.

Để trở thành thành viên của Hợp tác Cochrane, các nhà nghiên cứu hoặc nhóm nghiên cứu riêng lẻ phải tuân thủ các hướng dẫn rất nghiêm ngặt về cách phân tích tổng hợp được báo cáo và tiến hành. Đó là lý do tại sao các đánh giá của Cochrane thường được coi là phân tích tổng hợp tốt nhất.

Tuy nhiên, không ai từng hỏi liệu các kết quả trong phân tích tổng hợp được thực hiện bởi Hợp tác Cochrane có khác với phân tích tổng hợp từ các nguồn khác không. Về lý thuyết, nếu bạn so sánh phân tích tổng hợp của Cochrane và không phải Cocrhane, cả hai đều được công bố trong một khung thời gian tương tự nhau, bạn có xu hướng hy vọng rằng họ đã chọn các nghiên cứu giống nhau để phân tích, và kết quả và diễn giải của họ sẽ nhiều hơn hoặc ít kết hợp hơn.

Nhóm của chúng tôi tại Trường Y tế Công cộng thuộc Đại học Boston đã quyết định tìm hiểu. Và đáng ngạc nhiên, đó không phải là những gì chúng tôi tìm thấy.

Phân tích tổng hợp là gì?

Hãy tưởng tượng bạn có năm thử nghiệm lâm sàng nhỏ mà tất cả đều tìm thấy lợi ích chung tích cực cho, giả sử, dùng aspirin để ngăn ngừa các cơn đau tim. Nhưng bởi vì mỗi nghiên cứu chỉ có một số lượng nhỏ đối tượng nghiên cứu, không ai có thể tự tin khẳng định rằng những tác động có lợi không chỉ đơn giản là do tình cờ. Nói theo thống kê, những nghiên cứu như vậy sẽ được coi là không đủ sức mạnh.

Có một cách tốt để tăng sức mạnh thống kê của những nghiên cứu đó: kết hợp năm nghiên cứu nhỏ hơn thành một. Đó là những gì một meta anaysis làm. Kết hợp một số nghiên cứu nhỏ hơn vào một phân tích và lấy trung bình của những nghiên cứu đó đôi khi có thể đưa ra các thang điểm, và cho cộng đồng y tế biết một cách tự tin liệu một can thiệp nhất định có hiệu quả hay không.

Phân tích tổng hợp là hiệu quả và rẻ tiền vì chúng không yêu cầu chạy thử nghiệm mới. Thay vào đó, đó là vấn đề tìm kiếm tất cả các nghiên cứu có liên quan đã được công bố, và điều này có thể khó khăn đáng ngạc nhiên. Các nhà nghiên cứu phải kiên trì và có phương pháp trong tìm kiếm của họ. Tìm kiếm các nghiên cứu và quyết định liệu chúng có đủ tốt để tin tưởng hay không là nơi nghệ thuật - và lỗi - của khoa học này trở thành một vấn đề quan trọng.

Đó thực sự là một lý do chính tại sao Hợp tác Cochrane được thành lập. Archie Cochrane, một nhà nghiên cứu dịch vụ y tế, đã nhận ra sức mạnh của phân tích tổng hợp, nhưng cũng có tầm quan trọng to lớn của việc thực hiện chúng đúng. Các phân tích tổng hợp của Cochrane phải tuân thủ các tiêu chuẩn rất cao về tính minh bạch và tính nghiêm ngặt về phương pháp và khả năng tái sản xuất.

Thật không may, ít ai có thể cam kết dành thời gian và nỗ lực để tham gia Hợp tác Cochrane và điều đó có nghĩa là phần lớn các phân tích tổng hợp không được thực hiện bởi Cộng tác và không bị ràng buộc tuân thủ các tiêu chuẩn của họ. Nhưng điều này thực sự quan trọng?

Hai phân tích tổng hợp có thể khác nhau như thế nào?

Để tìm hiểu, chúng tôi đã bắt đầu bằng cách xác định các cặp phân tích meta, một từ Burrane và một không, bao gồm cùng một can thiệp (ví dụ: aspirin) và kết quả (ví dụ, đau tim), sau đó so sánh và đối chiếu chúng.

Đầu tiên, chúng tôi thấy rằng gần như 40 phần trăm của các phân tích tổng hợp của Cochrane và không phải của Cochrane không đồng ý trong các câu trả lời thống kê dưới cùng của họ. Điều đó có nghĩa là các độc giả, bác sĩ hoặc nhà hoạch định chính sách y tế điển hình, chẳng hạn, sẽ đưa ra một cách giải thích khác nhau về cơ bản liệu can thiệp có hiệu quả hay không, tùy thuộc vào việc họ đã đọc được siêu dữ liệu nào.

Thứ hai, những khác biệt này dường như có hệ thống. Các đánh giá không phải của Cochrane, trung bình, có xu hướng đề xuất rằng các biện pháp can thiệp mà họ đang thử nghiệm là mạnh mẽ hơn, có khả năng chữa khỏi tình trạng này hoặc ngăn ngừa một số biến chứng y khoa hơn so với các đánh giá của Cochrane. Đồng thời, các đánh giá không phải của Burrane kém chính xác hơn về độ chính xác của chúng, có nghĩa là có nhiều khả năng các phát hiện chỉ đơn thuần là do tình cờ.

Một phân tích tổng hợp không gì khác hơn là một trung bình có trọng số lạ mắt của các nghiên cứu thành phần của nó. Chúng tôi đã rất ngạc nhiên khi thấy rằng khoảng 63 phần trăm của các nghiên cứu được thu nhận là duy nhất cho một hoặc các phân tích tổng hợp khác. Nói cách khác, mặc dù thực tế là hai bộ phân tích tổng hợp có lẽ sẽ tìm kiếm cùng một loại giấy, sử dụng các tiêu chí tìm kiếm tương tự, trong một khoảng thời gian tương tự và từ các cơ sở dữ liệu tương tự, chỉ khoảng một phần ba số giấy mà hai bộ bao gồm là như nhau.

Dường như hầu hết hoặc tất cả những khác biệt này đều xuất phát từ thực tế là Cochrane nhấn mạnh vào các tiêu chí khó khăn hơn. Một phân tích tổng hợp chỉ tốt như các nghiên cứu mà nó bao gồm, và lấy mức trung bình của nghiên cứu kém có thể dẫn đến một kết quả kém. Như đã nói, rác thải vào, rác ra.

Thật thú vị, các phân tích báo cáo kích thước hiệu ứng cao hơn nhiều có xu hướng được trích dẫn lại trong các bài báo khác với tỷ lệ cao hơn nhiều so với các phân tích báo cáo kích thước hiệu ứng thấp hơn. Đây là một hiện thân thống kê của báo chí cũ nói rằng Nếu nó chảy máu, nó dẫn đến. Hiệu ứng lớn và táo bạo nhận được nhiều sự chú ý hơn kết quả cho thấy kết quả cận biên hoặc không rõ ràng. Cộng đồng y tế suy cho cùng chỉ là con người.

Tại sao vấn đề này?

Ở cấp độ cơ bản nhất, điều này cho thấy Archie Cochrane hoàn toàn chính xác. Phương pháp nhất quán và chặt chẽ và minh bạch là rất cần thiết. Không có điều đó, có nguy cơ kết luận rằng một cái gì đó hoạt động khi nó không, hoặc thậm chí chỉ vượt quá lợi ích.

Nhưng ở cấp độ cao hơn, điều này cho chúng ta thấy, một lần nữa, việc tạo ra một sự giải thích thống nhất của các tài liệu y khoa là rất khó khăn. Phân tích tổng hợp thường được sử dụng như từ cuối cùng về một chủ đề nhất định, như là trọng tài của sự mơ hồ.

Rõ ràng vai trò đó bị thách thức bởi thực tế là hai phân tích tổng hợp, bề ngoài về cùng một chủ đề, có thể đi đến những kết luận khác nhau. Nếu chúng ta xem phân tích tổng hợp là tiêu chuẩn vàng Vàng trong thời kỳ hiện tại của chúng ta về y học dựa trên bằng chứng, thì làm thế nào là bác sĩ hoặc nhà hoạch định chính sách trung bình hoặc thậm chí kiên nhẫn phản ứng khi hai tiêu chuẩn vàng mâu thuẫn với nhau? Emptor caveat.

Giới thiệu về Tác giả

Christopher J. Gill, Phó Giáo sư, Khoa Sức khỏe Toàn cầu; Chuyên gia về bệnh truyền nhiễm, Đại học Boston.

Bài viết này ban đầu được xuất bản vào Conversation. Đọc ban đầu bài viết.

Sách liên quan:

at Thị trường InnerSelf và Amazon