系統的レビューは、
研究の読み方
まず答え
いいえ。複数研究を系統的にまとめたレビューは全体像を見るのに強い一方、含まれる研究の質、検索の漏れ、偏りの評価、解析方法が弱ければ結論の信頼性も下がります。質の高い1件の研究が、質の低いレビューより判断材料として優れる場合もあります。
詳しい解説
系統的レビューは、あらかじめ決めた方法で関連研究を探し、選び、まとめるため、1件の研究だけを見るより研究全体の傾向を把握しやすい方法です。ただし、「系統的レビュー」という名前だけで自動的に最も信頼できる証拠になるわけではありません。
系統的レビューの質を評価するために開発されたAMSTAR 2では、事前の研究計画、十分な文献検索、除外研究の説明、個々の研究の偏り評価、統計的な統合方法、出版されにくい結果による偏りなどを重要項目として確認します。著者らは、重要項目に弱点があればレビュー結果への信頼が大きく下がり得るとしています。
Cochrane Handbookも、レビューの結論は含まれた個々の研究の結果に依存するため、その研究自体に偏りがあれば、複数をまとめても誤った結論になり得ると説明しています。さらに、都合の悪い研究や結果が公表されずレビューに入らない場合には、レビュー全体にも偏りが生じます。
ゴルフ研究でも考え方は同じです。たとえば「ある練習法は飛距離を伸ばす」というレビューがあっても、対象研究が少人数、短期間、特定レベルの選手だけで、測定方法もばらばらなら、結論を一般ゴルファーへそのまま広げるのは危険です。逆に、十分な人数を無作為化し、比較条件と測定方法を明確にした1件の研究は、その限定された問いに対しては強い証拠になることがあります。
読む順番としては、①レビューか単独研究か、ではなく、②問いと対象が自分の知りたい条件に合っているか、③個々の研究の質はどうか、④レビューの検索・選択・偏り評価・統合方法は妥当か、⑤研究間で結果が一致しているか、を確認します。
つまり「レビュー＞単独研究」という固定順位ではなく、研究形式と品質を分けて評価するのが適切です。質の高い系統的レビューは非常に有力ですが、質の低い研究を集めただけでは証拠の弱さは消えません。