6. 研究の質と限界を考える

第5章では、RQから必要な証拠、対象、収集方法、分析方法をつなぎました。次に、その組み立てから得られる結果をどこまで信頼できるかを考えます。計画書には、起こりそうな問題、その対策、それでも残る限界を書きます。

研究の質を表す言葉は、研究アプローチによって異なります。この章では、量的研究では主に信頼性と妥当性、質的研究では主に信用性を使います。混合研究では両方に加えて、二つの結果をどう統合するかも考えます。言葉は違っても、データと手続きがRQへの答えをどこまで支えられるかを確かめる点は共通しています。

6.1 信頼性と妥当性を設定する

信頼性は、測定や判断が偶然や担当者の違いで大きくぶれないか、という問題です。妥当性は、集めたデータから予定している結論を導いてよいか、という問題です。

計画書では、RQと予定している主張を確認し、次の二つを決めます。

• 何がぶれそうか。どうすれば、そのぶれを確かめたり抑えたりできるか
• どのような結論を出したいか。その結論には、どのようなデータや手続きが必要か

たとえば、仕事への満足度を質問紙で調べるなら、回答や採点が安定しているかだけでなく、質問が本当に仕事への満足度を捉えているかも考えます（Bryman & Bell, 2011, 第2・6章; Leavy, 2017, 第4章）。

6.2 量的研究で確かめること

量的研究では、測定方法に応じて、たとえば次の点を確かめます。

• 一つの概念を複数の質問で測るなら、項目どうしが同じ傾向を示すか
• 変わりにくい対象を繰り返し測るなら、時期が変わっても結果が大きく変わらないか
• 人が観察や分類をするなら、担当者が変わっても同じように判断できるか

既存の尺度を使う場合は、どのような人、言語、状況で確認されたものかを調べます。翻訳や項目の変更をした場合は、改めて確認が必要です。

妥当性については、予定している結論に合わせて考えます。

• 質問や指標は、測りたいものを捉えているか
• 因果関係を述べるなら、別の原因では説明できないか
• 結果を、どのような人、組織、場所、時期、場面まで当てはめられるか

因果関係を確かめられない研究では、「原因」ではなく「関連」と述べます。また、測定結果が安定していても、測りたいものを正しく測れているとは限りません（Bryman & Bell, 2011, 第2・6章; Creswell & Creswell, 2018, 第8章; Leavy, 2017, 第4章）。

6.3 質的研究で確かめること

質的研究では、解釈がデータに基づいているか、分析の過程をたどれるかを考えます。こうした研究の質を信用性（trustworthiness）と呼ぶことがあります。

• 解釈を支える具体的なデータがあるか
• データ収集や分析の手順、途中で変えた点が記録されているか
• 対象や状況が、読者にも分かるように説明されているか
• 研究者自身の立場や思い込みが、解釈にどう影響したかを検討しているか

必要に応じて、インタビュー、観察、文書などを照らし合わせる、解釈に合わない事例も調べる、事実や意味の取り違えがないか参加者に確認する、といった方法を使います。大切なのは、方法の数ではなく、起こりそうな問題に合った方法を選ぶことです（Bryman & Bell, 2011, 第16章; Creswell & Creswell, 2018, 第9章; Leavy, 2017, 第5章）。

混合研究では、量的部分と質的部分を確かめるだけでなく、二つの結果をどう結びつけるかも決めます。結果が食い違った場合も、その理由を検討します（Creswell & Creswell, 2018, 第10章）。

6.4 アートベース研究・地域参加型研究で確かめること

アートベース研究では、媒体と研究目的が合っているか、制作と解釈の過程を説明できるか、参加者や内容をどのように表現するかを考え、研究面と芸術面の両方から質を確かめます。地域参加型研究では、何を質の高い研究とするかを地域の共同研究者と決め、意思決定の共有、解釈の確認、成果の返し方まで含めて考えます。質的研究や混合研究と組み合わせる場合は、それぞれの基準もあわせて使います（Leavy, 2017, 第7〜8章）。

6.5 限界から、主張できる範囲を決める

限界は、研究の弱点を並べるためではなく、結果からどこまで言えるかを示すために書きます。

起こりそうな問題：［　　　　　　　　　］
その対策：［　　　　　　　　　　　　　］
残る限界：［　　　　　　　　　　　　　］
主張できる範囲：［　　　　　　　　　　］

たとえば、「標本が小さい」で終わらせず、「一社の二つのチームを詳しく調べるため、別のチームや他社にも同じ傾向があるとは主張しない」と、結論への影響まで書きます。