撰稿：张晓薇 DIA真实世界研究组成员
1
真实世界研究设计步骤
在观察性研究中，没有办法保证进行比较的两组接受不同治疗（例如治疗组和对照组）的随机性，可能会由于混杂因素，例如年龄、性别，疾病特征等，使结果产生偏倚。在因果推断时，我们可以先控制两组人群间特征的分布，常用的方法包括匹配，以及基于倾向性评分的一些方法，例如倾向型评分的匹配，逆概率加权，双重稳健等。
在用真实世界数据支持药物研发的观察性研究设计中，除了在研究设计阶段考虑真实世界的数据特点，我们建议采用两阶段的设计（见下图示）。第一阶段会对数据的可行性进行评估，同时也可以评估药物的使用以及安全性。第二阶段对效果进行分析。在在效果分析之前，我们会先对两组的均衡性进行评估，并根据评估结果确定第2阶段分析的具体方法。如果两组之间没有可比性，将不会进行相对效果的分析。
因此，如何评价基线调整后的效果，研究组和对照组的基线分布是否均衡等将十分重要。下面将以常用的倾向性评分为例，介绍基线均衡性的评估方法以及建议的操作步骤。
2
基线均衡性评估的方法
这一部分总结了一些定量和定性的常用方法，用来评估可测量基线协变量在治疗组和对照组之间的均衡性。
⑴ 比较基线协变量的均值或者比例
第一个的定量方法，也是常见的方法，是比较治疗组和对照组间可观察变量的均值，常用标准化差值（standardized difference）。对于连续变量，标准化差值定义为：
与t检验和其他假设的统计检验不同，标准化差异不受样本量的影响。而且对于不同测量单位的变量，可以通过标准差来比较他们的相对均衡性。
我们注意到假设检验和p值（例如t检验）经常被用于标准化差值的检验，虽然有助于推断观察到的样本均值差的可靠性，但是一些学者并不建议作为衡量均衡性的指标(Austin, 2007; Imai et al., 2008)。第一，均衡性是样本的内在属性，与范围更广的总体无关。第二，假设检验作为均衡性的指标，可能有一定的误解性，因为经常会把均衡性的变化与统计效力的变化。例如，在一个样本中随机丢失了一些对照组个体，似乎两组的均衡性会增加，但其实可能是因为统计效力减少了。
⑵ 比较连续变量的交互作用和高阶矩
除了基线的均值和比率，治疗组和对照组之间基线分布的其它特征也可以支持均衡性的衡量，例如变量的高阶矩和变量间的交互作用。我们可以用标准化差值来比较高阶矩的均值（例如，连续变量的平方和立方）以及连续变量之间的交互作用，也可以计算两组中连续变量的方差比值（variance ratio）。当比值大于2.0或者小于0.5可以被认为是存在均衡性问题的证据(Rubin, 2001)。
⑶ 比较连续变量的分布
可以采用可视化的方法，对样本中连续变量在两组之间的分布进行更广泛的定性比较。
箱线图和累积分布函数（CDFs）可以用于比较样本中治疗组和对照组中连续基线协变量的均衡性。这些方法可以帮助评估连续基线协变量在治疗组间是否有差异，以及分布的尾部是否有差异。
⑷ 比较连续变量分布的数值
图形比较方法的局限性在于对于图形的主观比较，特别是比较不同的倾向性评分模型。因此，我们可以采用定量的方法对基线协变量的分布进行比较，包括重叠系数（overlapping coefficient, 两个分布中重叠的部分），Kolmogorov‐Smirnov距离（两个CDF之间垂直距离的最大值，用相对频率表示）以及Lévy距离（K-S距离的变体，同时考虑了两个CDF之间垂直和水平的距离）。
3
建议的操作流程
以下流程可以在评估组间均衡性时进行参考（Kirsten, 2017）。
⑴ 在正式分析前，建立一个合理的衡量均衡性的标准。在不损害SITA的情况下，可以对研究中允许的最高程度的标准化差值和方差比等做出规定。例如，标准化差值低于0.10 (Haukoos & Lewis, 2015)，方差比值在0.5和2之间表明不平衡可以忽略不计。
⑵ 同时阐明如何定义二分类和连续分布的变量的均衡。对于二分类变量，可能首选非标准化的比例差异，并且同时建立可接受的标准。
⑶ 采用标准化差值和方差比等方法评估调整前后的基线的均衡性，包括是否在倾向性评分模型中拟纳入高阶项。高阶项的不平衡可能提示建模有问题；因此，需要为重新建立倾向评分模型提供解决方案，以实现更好的均衡。
⑷ 检验未纳入倾向评分模型的基线协变量，评估其标准化差异和方差比。一个理想的倾向评分模型也将平衡模型中未包括的变量，就像随机分配可以平衡观察到的和未观察到的样本特征一样。如果倾向评分模型中未包含的变量存在不平衡，则需要说明这种不平衡是否会影响或者损害因果推断。
⑸ 确保与结局相关的变量最大程度的均衡，例如，结局的预测变量，或者其他高度预后指标。
倾向性评分方法可以有效减少混杂因素所致的偏倚，在分析疗效之前根据倾向性评分对最终样本的均衡性进行评估，也是一个关键步骤，建议预先确定评估均衡性的方法，标准以及流程，在研究设计中计划一种或者多种方法进行评估，可以帮助我们在观察性研究中的进行有效的因果推断。
Reference:
Austin PC. The performance of different propensity score methods for estimating marginal odds ratios. Stat Med. 2007 Jul 20;26(16):3078-94.
Haukoos, J. S., & Lewis, R. J. The propensity score. Journal of the American Medical Association. 2015, 14, 1637–1638.
Kirsten K, Noah G, Ashley G, etc. Improving Causal Inference: Recommendations for Covariate Selection and Balance in Propensity Score Methods. Journal of the Society for Social Work and Research.2017, Volume 8, Number 2.
Imai K, King G, Stuart EA. Misunderstandings among experimentalists and observationalists in causal inference. Journal of the Royal Statistical Society Series A 2008;171(2):481–502.
Peter C. Austin, Elizabeth A. Stuart. Moving towards best practice when using inverse probability of treatment weighting (IPTW) using the propensity score to estimate causal treatment effects in observational studies. Statist. Med. 2015, 34 3661–3679.
Rubin DB. Using propensity scores to help design observational studies: application to the tobacco litigation. Health Services & Outcomes Research Methodology 2001; 2: 169–188.
DIA中国真实世界研究社区
DIA真实世界研究社区是以流行病学，医学和统计学专家为核心，兼顾其他与医学相关学科专家，研究者为主体的自建社区组织。由DIA中国顾问委员会成员发起，业界专家承担核心工作，且预计于2022年12月正式成立。
DIA真实世界研究社区 旨在促进提高中国真实世界数据质量及可及性，推动真实世界研究方法学进展，增强真实世界研究的科学性，以进一步促进真实世界证据在药物研发、监管及全生命周期管理中的应用，加快新药研发，惠及中国及全球患者。
DIA真实世界研究社区将提供
-
提供信息交流平台，汇集监管机构、医疗机构、科研机构、药物研发企业及真实世界数据公司等各方面专家的力量，共同探讨真实世界研究相关问题，达成共识，并促进中国真实世界研究的进步。
-
搭建有效沟通桥梁，增进NMPA，人类遗传资源管理办公室等相关政策法规制定及监管部门与技术开发及应用单位的沟通，以加强相关政策的解读，确保真实世界研究高效科学合法合规地开展。
-
聚拢有志于真实世界研究的相关人才，加强学术及能力培养，提升整体专业人群的能力达到国际先进水平。
社区指导专家
苏岭
DIA Fellow
沈阳药科大学亦弘商学院研究员
礼来亚洲基金风险合伙人
刘熠
DIA中国顾问委员会成员
康缔亚首席医学馆（中国）、高级副总裁
社区核心工作组
李强
社区负责人
RWE及流行病学专家
勃林格殷格翰亚洲区域流行病学负责人
廖珊妹
社区负责人
RWE及统计学家
百济神州上市后统计负责人
吴婷
RWE，药经及流行病学专家
礼来中国真实世界研究和药物经济学高级总监
曹海俊
RWE及流行病学专家
武田研发中心，中国/亚洲非肿瘤项目负责人
刘述森
RWE及流行病学专家
杨森医学部医学研究和创新负责人
詹露静
核心工作组项目管理专家
阿斯利康真实世界研究研究员
关于DIA
DIA是一个全球化、跨学科的国际性学术组织，在中立的环境中，融合医药研发领域全行业的意见领袖，探讨当前研发的技术问题，提升专业能力，以及催化行业共识，在全球医药研发领域享有极高的声誉。
