福祉サービス評価調査−実験計画(原稿未完なのでこれはおまけです)

1 因果関係と内的妥当性

(1) 因果関係推定の3条件

 社会福祉研究においては,福祉サービスを実施することによってその利用者に望ましい変化を導くことができるかどうかを明らかにする課題があり,社会福祉調査が役割を果たすべき重要なテーマである。これをサービス評価ないし事業評価 program evaluaton という。これは,福祉サービスという原因を与えることによって,利用者に好ましい結果を及ぼすかどうかということであるから,因果関係を推定する問題である。2つの変数の間に因果関係があると断言するためには,ラザースフェルド(Lazarsfeld, 1959)が提唱した3つの条件を満足しなければならない。すなわち,@結果に対する原因の時間的先行性,A2変数間の相関関係の存在,B2変数間の相関関係が疑似相関でないこと,の3つである。

 要介護高齢者が在宅生活を続けるためには介護サービスを利用しなくてはならないが,現実にはそうしたサービスの利用量は人により様々である。そこで,介護サービスの利用を促進するために,ケア・マネージメントが有効であるという仮説を検討する問題を考えてみる。この仮説では,ケア・マネージメント利用の有無が独立変数であり,介護サービスの利用量が従属変数である。そこで,要介護高齢者 100 名を選んでケア・マネージメント利用の有無と介護サービスの利用量を調べる横断調査を実施したところ,ケア・マネージメントを利用したグループの方が介護サービスの平均利用量が多いことがわかった。この結果から,ケア・マネージメントは介護サービスの利用を促進する原因といえるだろうか。

 この例では,因果関係の条件Aは充足されている。しかし,条件@とBはどうだろうか。まず,条件@では,介護サービスの利用量が上昇する前にケア・マネージメントを受けていなければならないが,実際はその前からサービス利用量は多かったかもしれない。条件Bでは,ケア・マネージメント利用の有無と介護サービス利用量の両方が障害の程度のような第3の変数によって影響を受けている可能性がある。障害が重度の者はケア・マネージメントも利用するし介護サービスもより多く利用するのであれば,ケア・マネージメント利用の有無と介護サービス利用量の関係は疑似相関関係でしかないのである。

 上記の3つの条件が満たされたとき相関関係を因果関係と断定することができるのであるから,横断調査によって2変数間に相関関係がみられても,ただちに因果関係を意味するものではない。因果関係の研究において,ある結果が特定の原因によってだけ発生したと確認できることを,その研究の内的妥当性 internal validity という。

 

(2) 内的妥当性を阻害する要因

 因果関係推定の条件である原因と結果の前後関係を明確にするには,ある原因を与える前と後に調査行って比較する事前−事後調査設計 pretest-posttest design によるパネル調査が考えられるが,それでも内的妥当性を阻害する要因は次のようにいくつもある。

 1) ヒストリー  ケア・マネージメント利用前と利用後の介護サービス利用量の変化を2時点で調査している途中で事件が起こり,それが従属変数に影響を与えると,内的妥当性が阻害される。例えば,ホームヘルプサービスの料金が,1回目の調査と2回目の調査の間で改定されるとサービスの利用量に影響するだろう。そうすると,ケア・マネージメントの効果はわからなくなってしまう。調査設計で予想しなかったこのような外生的事件をヒストリーという。

 2) 自然変化 maturation   人間は時間の経過とともに変化し,そうした自然の変化が調査結果に影響を与える。成熟化とか自然変化などと訳すればよいだろう。ある深刻な事件に遭遇してショックを受けても,時間の経過とともにそのショックが和らいでいくことなどはその例である。あるいは,要介護高齢者の障害の度合いは時間の経過とともに重度化するだろう。こうした時に,介護サービス利用前と利用後に高齢者の状態変化を調べても,その変化は容態の悪化によるのかサービスの効果によるのか決めがたい。

 3) テスト効果 testing   高齢者を在宅で介護している人を相手に介護教室を開催してその効果を調べるために,授業の前と後で介護に関する知識のテストを実施して比較したら成績が改善されていたとする。これを授業の効果といえるだろうか。もしも,授業前の試験の直後に答え合わせをしていたら,受講者は授業終了後の試験では最初から答えを暗記していたかもしれない。

 4) 測定基準変更効果 instrumentation   テスト効果の弊害を除去するために,事業の実施前のテストと実施後のテストの内容を変えたとする。果たして両テストの難易度は同等のものであろうか。成績は上昇していても,実施後のテストの方が簡単なテストであれば,事業の効果とはいえなくなる。あるいは,在宅ケアの質に及ぼす介護サービスの効果を,サービス導入前と導入後に調査員が判定することにすると,同じ項目で評価しても調査員の評価基準が時間の経過とともに変化しているかもしれない。

 5) 統計的回帰効果 statistical regfression   信頼性が確認されている尺度であっても,調査相手のその日の気分によって調査の度に値は揺れ動く。独立変数導入前に高い得点であっても事後には低下したり,低かった者は事後には上昇する傾向があり,統計的回帰という。ゲートボールに参加することで高齢者の幸福感が上昇するかどうかを,事前−事後に調べても,事前に高い値の者が事後には低下し,事前に低い値の者が事後には低下するということであれば,仮に平均値が変化してもそれがゲートボールによるものかは判然としない。

 6) 参加者の偏り効果 selection bias  高齢者を介護する家族の問題対処力(コーピング)を福祉サービスを利用したグループと利用しないグループで比較する場合,両グループは同じ性質をもったものでないと,グループの違いが福祉サービスによるものかどうかはわからない。しかし,福祉サービスを利用する人々はそうでない人々に比べると,最初から何事にも積極的に対応しようとする態度の持ち主であるかもしれない。そうすると,コーピング力が福祉サービスによって上昇したとはいえない。

 

 

2 実験計画法

 

(1) 実験計画法の種類

 さまざまな阻害諸要因が介在するので事前−事後調査だけから内的妥当性を確保するのは難しく,これらの諸要因をコントールしたうえで因果関係を究明する調査設計が求められる。コントロールというのは,因果関係を攪乱する可能性のある要因を一定に保つという意味だが,そのような調査設計を実験計画法 experimental design という。自然科学で行われる実験室実験では,計測装置に狂いがでないように気温や気圧を一定に保つとか,空気抵抗の影響を除去するために真空にするなど,人工的に実験環境を設定して攪乱要因をコントールする。しかし,社会科学ではそのような人工的環境を作り出すのではなく,通常の生活環境の中で行う野外実験 field experiment を用いる。

 最も理想的なコントロールを行う調査設計を古典的実験計画法 classical experimental design とか純粋実験計画法という。古典的実験計画法の考え方は重要であるが,考え方通りに実行できことは少ない。このため,条件を緩めた疑似実験計画法 quasi-experimental design を用いることが多い。これらは,いずれも実験の対象が集団であるが,1個人や1家族などの単一の対象を相手に行う単一被験者法 single-subject design も開発されている。

 

(2) 実験群と統制群

 実験室の中ではなく通常の生活環境の中で攪乱要因をコントロールするには,均質な2つのグループを用意して,ひとつのグループには福祉サービスを実施し(原因を与え),もうひとつのグループには福祉サービスを行わないで両グループの結果を比較すればよい。薬品の効果を調べるために試験薬品を投与するグループと偽薬を投与するグループに分けるのと同じである。福祉サービスを行う(原因を与える)グループを実験群 experimental group,福祉サービスを行わないグループを統制群 control group という。統制群は対照群と呼ぶこともあるし,英語のままコントロール・グループと呼ぶ場合が多い。コントロールというのは,このグループにいろいろと人工的な統制を加えることではないことに注意したい。むしろ,コントロール・グループには何も実験操作を加えないことが重要なのである。

 それではなぜ,何もしないグループを統制群というのだろうか。福祉サービスを実施する前と後の調査の間にヒストリーに相当する事件が起こっても,両グループとも同時にその事件を経験し影響を受ける。その事件の影響は両グループに等しく及んでいるし,自然変化があるにしても両グループとも等しく変化するから,福祉サービス実施後の調査結果に見られるグループ間の差はその福祉サービスによってもたらされたと考えることができる。そのためには,福祉サービスを利用すること以外はこの2つのグループは同じ性質をもったものでなければならない。つまり,均質のグループを2つ用意することによって,内的妥当性を阻害する要因がコントロールされたといえるのである。

 

 (3) グループの分割

 1) 集団の均質性 実験計画において最も重要なことは実験群と統制群の2つのグループが均質になるように調査参加者を分割することである。全く均質ではなくとも,できる限り同じグループになるように割り振らなければならない。そうでなかったら,いかなる比較も無意味である。しかし,均質とはどのような意味だろうか。双子でさえも性格は違うといわれるくらいだから,全く同じ人々が別々のグループに属することなどあり得ようはずがない。そうではなくで,例えば,男女の割合が同じであるとか,障害の重度中度軽度の割合が同じであるとか,平均年齢や平均所得が同じであるなど,平均値や比率で表される集団としての性質が等しくなるように,集団全体を半分にわけること意味している。とりわけ,福祉サービスを行う前の従属変数の分布が,両グループにおいて等しくなるように振り分けることが重要である。実験計画で用いられる割り振りの基本形にはマッチング matching と無作為化 randomization ないし無作為分割 random assignment の2通りがあり,両者を混ぜ合わせたブロッキング blocking の方法も用いられる。

 1) マッチング  これは,標本抽出のクォータ・サンプリングに似た方法である。実験への参加を同意した者が 100 人であったとして,それを 50 人ずつの実験群と統制群に分けるときに,100 人の性別が男 40 人,女 60 人であれば,比例割当により 男 20 人,女 30 人ずつの2つのグループに分ける。さらに参加者男子全体の 20 %,女子全体の 40 %が重度の障害であれば,各グループでもそれと同じ割合になるように割り当てる。マッチングでは,ある人物を実験群と統制群のどちらに所属させるかを決めるとき必ずしも無作為には行わない。例えば,福祉サービスを受けるための料金を支払いたくないなどの理由から実験群になることを好まない者もあるだろう。したがって,マッチングでは分割に用いる標識については均質であっても,それ以外の標識では均質性が保証されない欠点がある。

 2) 無作為分割  無作為分割はサンプリングにおける無作為抽出と言葉は似ているが同じものではない。無作為抽出は母集団からくじ引きによって小さな標本を抽出するものである。しかし,実験計画の対象者はその調査に参加することに同意したグループであることが多いので,母集団が何であるか明らかでない。母集団が明確であれば実験結果を母集団にまで一般化できる外的妥当性 external varifity を持つことができるが,そういうことは稀であるので,無作為分割の役割は実験結果がその実験限りでは妥当であるという内的妥当性を確保するための手段である。

 ただし,無作為分割の方法それ自体は,無作為抽出と同じである。実験に参加することを同意した人々が 100 人いたらそれを 50 人ずつ実験群と統制群に無作為に分ける。ある人物がどちらのグループに属するかはコイン投げのようなくじ引きないし乱数表を用いて決める。乱数表を用いる場合は,出てきた数字が奇数であれば実験群に所属させれば,実験群に属するが確率2分の1になる等確率性が保持される。そうすることによって,50 ずつに分けられた2つのグループは 100 人全員のグループのもつどの集団的特性についても同じ特性をもつグループになる確率が高くなる。ただし,グループの人数が少ない時はこの保証がない。少なくとも1グループ 30 人ないし 50 人以上でないと,正規分布を近似することができない。

 3) ブロッキング  これは,マッチングと無作為分割を組み合わせたもので確率抽出法における層別抽出法と同じやりかたである。マッチングで割当数を決めたら割り振りはその割合で無作為に行うのである。無作為割当によって2つのグループが等しくなる確率が高いとはいっても,あくまで確率であるからそうなる保証はない。そこで,少なくともあらかじめわかっている特性については分布が等しくなるように参加者全員を半分に分け,その枠から無作為に振り分けるのである。こうすることによって,2つのグループが均質となる確率を高めることができる。

 

(3) 実験計画の種類

 古典的実験計画法の不可欠の要素は,無作為分割によって実験群と統制群を設定することに尽きるが,それでもいくつかのバリエーションがある。

 1) 古典的実験計画法  これは事前−事後調査統制群法 pretest-posttest control group design とも呼ばれるものである。改めて整理すると次の通りである。まず始めに実験に参加する集団を無作為分割により実験群と統制群に分ける。次に,福祉サービスの効果を測定する従属変数を両グループについて測定する。次に,実験群に対して福祉サービスを行い,しばらく時期をおいて両グループについて従属変数を測定する事後調査を実施し,その変化の状態を比較する。無作為分割により両グループは均質との前提に立っているが,果たして均質であるかどうかは確率的なことなので若干の違いがあるのが通常である。そのため,事前調査によって両グループの均質性を確認するのである。事前調査で差があった場合は,事後調査の値の絶対的な比較は意味がないので事前・事後の変化率の違いを比較するのである。この方法でコントロールできる攪乱要因は,ヒストリー,マチュレーション(自然変化),リグレション(統計的回帰)及び参加者の偏り効果である。

 

 無作為分割(実験群)−−測定1−−実験操作(福祉サービス)−−測定2

 無作為分割(統制群)−−測定1−−−−−−−−−−−−−−−測定2

 

 2) 事後調査統制群法  古典的実験計画法(事前−事後調査統制群法)の欠点はテスト効果,すなわち,事前調査のテスト問題の答えを暗記しているため事後調査のテスト成績が向上する問題をコントロールできないことである。この場合は,事前・事後の比較が無意味になる。そのため,無作為分割により実験群と統制群が均質になっていることを前提に事前調査を省略するのがこの方法である。

 

 無作為分割(実験群)−−実験操作(福祉サービス)−−測定

 無作為分割(統制群)−−−−−−−−−−−−−−−測定

 

 3) ソロモン4群法  事前・事後の変化も知りたいがテスト効果が働いていないかどうが心配である場合は,上記の2つの方法を全部取り入れればよい。これをソロモン4群法という。この方法は,無作為分割により4つのグループをつくり,そのうち2つには古典的事件計画法を用いて事前・事後の比較ができるようにする。残りの2つには事後調査のみ統制群法を用いてテスト効果をコントロールする。かりにテスト効果が働いていれば,実験群2および統制群2の結果は問題の答えを知らなかった場合の得点だから実験群1および統制群1の成績よりも答えを知らなかった分だけ点が低いはずである。したがって,

 

 無作為分割(実験群1)−−測定1−−実験操作(福祉サービス)−−測定2

 無作為分割(統制群1)−−測定1−−−−−−−−−−−−−−−測定2

 無作為分割(実験群2)−−−−−−−実験操作(福祉サービス)−−測定2

 無作為分割(統制群2)−−−−−−−−−−−−−−−−−−−−測定2

 

実験群2の結果から実験群1の結果を,また統制群2の結果から統制群1の結果を引き算すれば実験の効果のみを実験群と統制群で比較できることになる。理想的なデザインではあるが,4群を用意することは並大抵のことではなく,実際に用いられることは少ない。

3 疑似実験計画法

 実験計画法の考え方は重要であるが,現実にはなかなか実行困難である。その理由は,無作為分割による統制群を用意することが難しいためである

(1) 比較群法

(2) 時系列

深く学ぶために

Lazarsfeld, P. (1955), Foreword in Hyman, H. Survey Design and Analysis, Free Press.

Campbell, D. and J. Stanley(1963), Experimental and Quasi-Experimental Design for Research, Rand McNally