はじめて多施設を訪問してデータ収集した臨床予測モデル(CPM)研究の解析を進めています。CPM妥当性の記事でご紹介したとおり、予測モデルは開発したあと妥当性の検証が必須。全然関係ない集団で外的妥当性を検証するのがBestですが、それだけで1つの研究にしてもいいくらいタイヘン。実際のところは手元のサンプルを分けて内的妥当性を検証するSplit validationが手の届く範囲で最善でしょう。しかし本研究ではサンプルサイズが400前後と小さいため(それでも収集に100時間要しましたが涙)、Bootstrap Validationを試みることに。Split validationよりいいとの噂もあるし、できると大分解析の幅が広がるはず。下に貼り付けている「黄色い本」を勉強した内容を、備忘録も兼ねてちょっとまとめてみます。

Bootstrap varidationでは、Bootstrap法で仮想サンプルを作成し、そのサンプルを使ってモデルの開発と性能評価を繰り返し、要約し、最終的にOptimism-Corrected Performance(OCP)を算出します。その具体的な手順は

1.まずもとサンプル(S)を用いてCPMを開発し、開発したCPMのSにおける性能(Apparent performance: AP)を算出する。
2.Bootstrap法でBootstrap sample(BS)を作成する。
3.BSを用いて、1.と全く同じ方法で新たなCPM(BCPM)を開発する。BCPMのBSにおける性能(Bootstrap performance: BP)を算出する。
4.BCPMのSにおける性能(Test performance: TP)を算出する。
5.Optimism(O)=BP-TPを算出する。
6.1-4を十分(200回以上)繰り返し、Oの精確な要約値を算出する。
7.OCP=AP-Oを算出する。
 
のようです。OCPはOptimismを考慮した分、APよりずっと保守的で妥当な数値になると。これは頑張るしかありません。実は3まではもうSTATAでコード書けたのですが、4.が難しい…「STATAでもちゃんとできる」というハナシも耳にしたので、今からネット渉猟しつつ、試行錯誤してみます。こんなん解析の専門家がやってくれるなら無駄な時間使わなくていいのに…臨床医がしなきゃいけない日本の研究環境、どうかしてるぜ怒

CPM研究のバイブル「黄色い本」です。