什么叫做证据质量?
昨天我发了条微博,讲了下SAGE对国药北京的评估文件,一些比较激烈的争论出现在证据质量(quality of evidence)。
一
SAGE工作组对于疫苗的评估主要有6个项目,分别是:
-对预防COVID-19的有效率(成人);
(注:此处成人指18-59岁人群)
-安全性-严重不良事件(成人);
-对预防COVID-19的有效率(老年人);
-安全性-严重不良事件(老年人);
-对预防COVID-19的有效率(基础疾病人群);
-安全性-严重不良事件(基础疾病人群)。
简单来说,就是普通人群、老年人和基础疾病人群的有效率和安全性,我想这应该很好理解,这些指标都是非常重要的。
在这些指标上,国药北京提供的证据质量分别为:
高;中;低;非常低;非常低;非常低。
二
证据质量到底指的是什么呢?
我们选一个高和一个低的来解释一下。
对预防COVID-19的有效率(成人)——证据质量高
对预防COVID-19的有效率(老年人)——证据质量低
我们看过国药北京在多国举行的III期临床试验中期结果,随访中位时间112天。
18~59岁的志愿者有超过2.6万人,疫苗组最终确诊21人,安慰剂组确诊95人,测算出有效率78%,95%置信区间64.1,87.0.
95%置信区间是啥意思?大家知道任何事件都有一定的随机性,如果我们同样条件重复几百次这个临床试验,最终有效率基本落在64.1%~86.3%之间。
为什么这个证据质量是高呢?有很多原因,但是最主要的原因之一就是——样本量足够大,最终获得的数据足够多,95%置信区间不算很宽。
但我们反过来看另外一个项目——60岁及以上人群。
这个年龄段的志愿者只有四百多人,最终安慰剂组和疫苗组都无人感染。有效率这一项写着NE,意思是无法评估。
我举个栗子,国足跟巴西踢一场友谊赛,但是开场10秒钟裁判就突然终止了比赛,场上比分0:0。
你没法从这个结果,推测出巴西的本场表现一定强于国足。
证据质量低,并不等同于有效率/安全性本身有问题,而是表明提供的证据对有效率/安全性的支持不足。
三
我们再看看其他疫苗的例子,比如和国药北京同一周审核的Moderna疫苗。Moderna已经获批了,进入了WHO的紧急使用清单,可以通过COVAX分发给许多国家。
Moderna为什么可以获批,抛开疫苗有效率、安全性不谈,我就就看看Moderna提交的证据质量。
6个项目分别是高、中、高、中、中、低。
Moderna三期总共2.8万人,人数其实跟国药北京(2.6万人)没啥区别。但Moderna的65岁以上老年人超过7000名,占比超过25%。最终老年人疫苗组4人感染,安慰剂组29人感染,测算出老年人有效率86.4%(95%置信区间61.4,95.2)。
所以为什么国药北京在这一项的证据质量低,最重要原因还是入组的老年人比例太低,最终不仅影响了证据质量,还直接导致这一项目没有数据(NE)。
那么国药北京这样的灭活疫苗,对老年人究竟有没有效呢?
我个人认为是有效的。
我判断的依据来自于同样是灭活疫苗的科兴提交给SAGE的另一份PPT。
在I/II期免疫原性的测试中,以600单位剂量组为例,18~59岁年龄组中和抗体GMT是44.1,60岁以上年龄组是42.2。
数据接近,因此我个人认为灭活疫苗对老年人还是有效的。
但这是我的推测,SAGE的评估压根不看这个。
这就好比下个月要高考了,你们班上这群人平时是年段第一也好,是经常挂科的也罢,能不能被某个大学录取,唯一的标准但就是高考分数。
你前几次模拟考考得再好再烂,都付笑谈中。
四
所以国药北京的问题还是在于III期临床试验设计,入组了老年人实在是太少了。另外多提一句,国药北京这个III期临床的男女比例也严重偏倚,1.1万名男性志愿者比2千多名女性志愿者——幸好考试项目没有不同性别的有效率。
有人以为评价一款疫苗只看有效率高低,错了,有效率背后的证据是否扎实可靠更重要。
如何证明安全有效,这才是科学讨论的东西。
突然想起我很喜欢的电影无间道里的一句经典台词。
“对不起,我是警察。”
“谁知道?”