◇◇新语丝(www.xys.org)(xys3.dxiong.com)(www.xysforum.org)(xys2.dropin.org)◇◇ 　　答复MSCI《回复杨老师关于“上海交通大学医学院一篇涉嫌造假的SCI论文”评论》 　　作者：杨老师 敝人评论MSCI您的帖子（XYS20090418） “上海交通大学医学院一篇涉嫌造假的 SCI论文”纯粹基于敝人对生物统计技术的兴趣，提出自己的看法而已。您对我的看法 (XYS20090423)给予回复并做了总结。我对您的回复基于“问题总归越辩越明的”的观 点，回复并提出敝人的看法，仅供参考。 关于Jiao等的文章是否造假以及MSCI认为Jiao 等的论文涉嫌造假的问题，敝人总 的看法是这样的： (1) Jiao等的文章中是用ANOVA中的the least significant difference test方法 做检验，而MSCI是要(根据Jiao等提供的非常有限的数据，即其中一组试验的均值SD)用 t检验去评判 Jiao等的结果是否正确。从Jiao等的试验数据来看，他们选择的方法是合 理的，但数据分析有进一步完善的必要，Jiao等有用词不当的地方，但是用MSCI的方法 评判Jiao等的试验结果不合适的。 (2)根据现有资料，敝人无法判断是否造假。MSCI指控 Jiao等造假理由不充足。如 果有原始数据， 并利用SPSS11.5的analysis of variance (ANOVA)中的the least significant difference test 方法做检验，就可以甄别Jiao文的结果P<0.05是否正确 ，并可以做进一步的数据分析。 (3)学术打假敝人拍手称赞，但一定要有理有据。 以下是关于MSCI的‘回复’的答复。为方便起见，包括了MSCI的原文，【 】中的内 容是敝人的答复。 ----------------------------------------------------------------------------　　 　　非常感谢您对我们帖子的评论意见。【不客气，出于兴趣而已。】 　　您的观点我们总结如下： 【您的总结与敝人的观点有出入。敝人是依据“如果”的情形(即，Jiao文中没有出 现的情况)和Jiao所提供的试验结果(Jiao等的文章中已报告的结果)两种情形来从 统计方法上分析 Jiao等的试验结果和您在帖子中的论断。MSCI您如果依据敝人的 “如果”情形下得到的结论来得到您的最后结论“所以结论还是Jiao等在造假” 的话，这不是敝人所期望的。】 　　1. 如果用两样本双侧t检验的话，P确实大于0.05，他们的论文存在造假。 【您计算的p值没有发现有错误，且这只是根据一组试验的均值SD数据得出的结果。 其余5组的情况未知，无法做进一步的分析和判断，很遗憾, MSCI曲解了敝人的 分析，很遗憾无法支持MSCI结论。】 　　2. 如果用两样本单侧t检验的话，P确实也大于0.05，他们的论文也存在造假。 【答复同上。】 　　3. 您认为他们的数据更适合用ANOVA方差分析。 【Jiao文中用的是ANOVA分析中的the least significant difference test。 敝人认为Jiao等的试验用ANOVA分析应该是一种合理的选择。】 　　4. 您认为从图1看，ANOVA方差分析得到P值的确小于0.05。 【我的原文是这样写的“由于Jiao等的原文中没有提供原始数据, 敝人无从判断 Jiao等得到的p值是否正确。直观上从他们的Fig1显示的数据来看， Jiao等得 到的p<0.05结论可能是还是正确的。”。敝人无法判断p值的确小于0.05， 即 便是直观上看也只是有可能正确。并非您总结的p值的确小于0.05。 敝人的说 法与您的总结还是有本质的差异。如果敝人的原文导致您4中的错误总结的话， 以这里的表述为准。】 　　因此您认为：“他们可能没有造假”。 【敝人不支持用MSCI的方法得出Jiao等造假的结论。】 　　我们需要提醒您和读者注意几点： 　　1. Jiao等的研究是“Liposome存在与否”对SPIO标记胰岛效率的影响。 【看Jiao等的原文。】 　　2. 提高SPIO浓度可以提高SPIO标记效率，这已经是公认的事实。 【我是外行，不懂！】 　　3. 论文中的ANOVA方差分析，包含两个因素“SPIO浓度”和“Liposome存在与否”， 以及它们之间的交互。 【通常是这样的。】 　　4. 如果您从图1判断，ANOVA方差分析得到P值小于0.05。那么为了研究“Liposome 存在与否”是否影响SPIO标记效率，还需要进行Post-Hoc Comparision。我们估计 “SPIO浓度”这个因素“Post-Hoc”计算得到的P值可能小于0.05。但“Liposome存 在与否”这个因素“Post-Hoc”计算得到的P值，我们很难估计。 【如果ANOVA得到的p值小于0.05，应该进一步地做Post-Hoc Comparision，确定那 几组试验结果有显著差异。的确，没有原始数据，无法做进一步的估计。 可能的 情况是有几组差异显著，有几组不那么显著。即便如此， Jiao等的试验结果在敝 人看来还是make sense的，但只有有数据才能进一步分析给出判断和结论。】 　　5. 作者正是钻了这个空子，他们偷换了ANOVA方查分析得到的P值和“Post-Hoc比 较”得到P值这两个概念。因为我们没有他的原始数据，所以当初他们认为：造假相 当安全，别人没法验算的。 【两种p值确实可能有所不同，但由此推断Jiao等偷换概念和造假，则未免牵强。许 许多多有关试验的论文都不会在论文中提供原始数据的。如果别人可以在同样的条 件下重复试验得到同样的结论(注意试验可重复并不意味要得到与原试验完全相同 的数据 )，则这个试验就是可信的，不一定要去演算人家的原始数据。如果别人在 同样的条件下无法重复试验，则原来的试验结果就值得怀疑。】 　　6. 令他们麻烦的是，这句话露了马脚： 　　At each concentration, cells that were incubated with SPIO in the presence of liposomes absorbed more iron than those incubated in SPIO alone (P<0.05). 　　这句话的意思是否可以理解为：SPIO浓度为20ug/ml, 40ug/ml, 100ug/ml, 120ug/ml, 140ug/ml, 200ug/ml的条件下，“加入Liposome”与“不加入 Liposome”相比，都能显著提高这些浓度下SPIO标记效率(标记后的铁含量)。 　　【Jiao等应该在得到p值小于0.05的情况下，进一步做Post-Hoc Comparision分析， 判断在什么样的浓度下标记效率会提高。Jiao等在文章没有报道他们是否做了 Post-Hoc Comparision分析。Jiao等的“each”和MSCI的“都”都是全称判断。 要否定“each”或者“都”只要找到一个反例即可。】　 　　7. 按照作者的这个结论，如果我们只包含1个实验组，也就是SPIO为120ug/ml的那 个组，最终实验结果也“应该”证实Liposome的存在能提高SPIO标记效率。 【如果只有一组试验结果，MSCI可以用t检验进行验证。现在的问题是Jiao等的试 验结果不是一组，而是6组，用t检验就不合适了。您一定要用不合适的方法去 评判Jiao等的结果，并断言人家涉嫌造假，敝人是不赞成这样做的。】 　　8. 作者恰恰提供了这个条件下的实验数据： 　　For example, when islets were incubated with SPIO at an iron concentration of 120ug/ml, the mean cellular iron content (pg iron per cell) was 13.88+/-2.48 in the presence of liposomes versus 11.68+/-3.42 for SPIO alone. 【作者提供的不是原始数据，是这组数据的均值和SD。】 　　9. 对于这个实验设计，我们能利用t检验进行验算了。 【对于特定的一组试验可以进行t检验，但你检验的目标是什么？更何况jiao等 的数据是6组。用不合适的方法不太可能得到可靠的结论。】 　　10. 所以结论还是Jiao等在造假。 【就目前现有的数据来从统计的观点看，要得到Jiao等的论文造假是困难的。 为了说明问题起见，下面的分析中尽可能的用通俗的统计知识。 Jiao等的表述中用全称词“each”表达自己试验的分析结果确实有点用词不 妥当，缺少应有的数据分析支持。而且在只有一组试验结果假定下，MSCI的计算 并没有错误。MSCI用否定全称词“都”的办法来确认Jiao等的文章造假也是不可 取的。因为无论是原文作者Jiao等，还是MSCI以及敝人都是从统计的角度分析试 验的结果，并且利用 p值来做出判断。虽然真理可能是越辩越明，但首先要搞清 楚明辨论题是什么。为了使辩论有意义，就要搞清楚所做的统计假设检验是什么， 原假设(H0)和对立假设(Ha)是什么。就Jiao等的试验而言检验问题有多种不同的 提法，例如 (a) H0: 加入Liposome与不加入Liposome相比，SPIO标记的平均效率不变 <--> Ha: 加入Liposome与不加入Liposome相比，SPIO标记平均效率提高 (b) H0: 加入Liposome与不加入Liposome相比，SPIO标记平均效率不变 <--> Ha: 加入Liposome与不加入Liposome相比，在任何条件下都能提高SPIO 标记效率 当然，还可以列举出其他的一些假设。 就Jiao等的试验而言，通常选择(a)是比较合适的，(i)在用ANOVA中的the least significant difference test否定H0之后(即，当p<0.05)，(ii)再用 Post-Hoc Comparision等其他方法确定那几组试验结果有显著差异(SPIO标记 率提高)，那几组试验结果差异不显著，报告结果即可。遗憾的是Jiao等在文 章中可能只做了(i), 而没有报告进一步的检验结果，而且结论中的全称词 “each”使用不当。 当然，如果就假设检验问题(a)做了ANOVA中的the least significant difference test否定H0之后(p<0.05), Jiao等的结论可较准确的表述为： ‘(在5%的显著性水平之下，)试验结果表明，加入Liposome与不加入 Liposome相比，SPIO标记平均效率提高了’。这样以来 即便有个别试验结 果使SPIO的标记效率没有提高、提高不大或者有所降低， Jiao的检验结果 给出的结论也是可以接受的。这是因为我们是从平均的角度来考虑问题的。 如果没有特别的声明，敝人猜测Jiao等使用的是SPSS11.5中ANOVA分析中的the least significant difference test的默认假设，即这里所说的假设检验(a). 若选用(b)的话，用(i)的方法否定H0后，接受假设Ha的代价太高，要保证每一 组对比试验中加入Liposome与不加入Liposome相比，SPIO标记的效率都要提高。 这在试验科学中似乎是不太可能的。这也可能是MSCI通过否定(b)中的Ha来断定 Jiao等论文造假的逻辑。MSCI的逻辑推理本身是正确的，但是选择(b)的形式否 定其中的Ha的做法在现实中代价甚高，甚至行不通。 MSCI是要求在Jiao等的6组试验中的每一组的标记效率都要提高，就Jiao等论文 中报告的现有结果和统计分析结果而言，还没有到到这个要求。 Jiao等在论文 中宣称“At each .... ”(即MSCI中6中引述的那一段英文)的表述是不严谨的。 但MSCI由此认定Jiao造假则有点过头了。 这也是敝人从现有数据和分析的结论来判断，不支持MSCI所做出的Jiao等的文章 造假的结论。】 　　这篇论文造假的问题，我们已经向杂志社，上海交通大学反映。 【假的坚决要打击，但反映问题要慎重。】 　　杂志社正在调查，而交通大学拒绝进行调查，交通大学要我们公开身份，然后和造 假者坐下来“学术交流”。 【如果试验数据不涉及到商业利益或者保密，公布数据，通过分析就可以给出判断。 如果杂志社依据t检验做出Jiao等的文章造假的结论，不排除敝人以真名的形式与 之辩论。】 　　我们曾在国内知名医学网站“丁香园”发贴揭发此事，但是很快遭到不明原因的删贴处理。 【孤陋寡闻，不知何为“丁香园”。】 　　您似乎对医学统计相当专业，我们很想通过与您的讨论，利用您的专业知识，搞清 Jiao等论文造假的问题。 【懂一点医学统计，敝人的看法仅供参考。】 　　问题总归越辩越明的。 【同意！这也是回复您的帖子的缘由。】 　　为了加快交流的速度，您可以到我的专题博客上 (http://blog.sina.com.cn/scimanuscript)发文。我会如实将您的意见整理后， 发表到新语丝。 【新语丝这里就挺好，您的专题博客就免了。】 　　您也可以直接发信到我的邮箱(sci.manuscript@live.cn)。 【就在xys公开答复了。】 　　谢谢！【不客气！敝人关于这个问题的讨论到此为止。】 (XYS20090427) ◇◇新语丝(www.xys.org)(xys3.dxiong.com)(www.xysforum.org)(xys2.dropin.org)◇◇