◇◇新语丝(www.xys.org)(xys4.dxiong.com)(www.xysforum.org)(xys2.dropin.org)◇◇   对周志华事件的看法   作者:一个研究集成的人   方先生,你好,   我是你的长期支持者和新语丝的长期读者。长期潜水,看了最近周志华事件 的帖子,有些话想说。首先声明,我不是周志华的学生或朋友。之所以想说话, 是因为我觉得到现在为止无论是倒周还是挺周的好象都不是小同行。我自己研究 生的时候是研究的集成学习,所以冒充一把“专家”发表些看法,写得有点长, 大家耐心看。   客观地说,周志华对集成学习这个领域是有比较大贡献的,中文“集成学习” 这个术语就是他翻译引进的。他2000年在IEEE人脸识别会议上发表过一篇用集成 学习解决多角度人脸识别的文章,也是个不错的工作,有70多次引用。提这篇文 章是想说明,周至少在99年的时候已经是集成学习方面的专家了。我们做研究的 都知道,要在某个领域取得重要成果,一定要对这个领域非常熟悉,否则连问题 在哪里都不知道。所以周在他们那个Many could be better than all的工作中 一定是做了最多的贡献,因为他的主要合作者吴是1999年秋季入学的研究生,按 “不必执着”的推断,那篇中文文章至少应在2000年3月投稿,这时候吴才研究 生半年,太junior了。至于为什么中英文署名一、二作者交换次序,我不敢妄断, 但无论一作还是二作,周在这个工作中所起的作用应该是无庸置疑的。   至于周他们这个工作是不是剽窃,这个问题其实无须讨论。确实象周在博客 里说的,这个领域很多人都读过Perrone/Cooper的文章和周的文章。 Perrone/Cooper文章1993年发表,目前被引500多次,周的2002年发表,目前被 引300多次。个人认为周的工作的影响力今后可能会更大一些。为什么这么说呢? 因为Perrone/Cooper工作的主要贡献,是显示出集成比单个学习器好。他们的具 体做法是训练出一批学习器,按误差排序把坏的几个去掉,剩下的全部拿出来组 成一个集成,也就是周志华说的“全部用”。这里有个地方容易让外行糊涂, “把坏的几个去掉”是所有集成方法所必须的,因为集成学习有一个基本假设 ---每个学习器都必须是“weak learner”,大概意思就是至少比随机猜测要好, 所以无论哪种集成学习方法,在拿到一批学习器之后都要先把坏的一些去掉,然 后再考虑怎么集成。周他们最重要的贡献,就是显示出在把坏的去掉后,选一个 子集出来建立集成更好(“Many could be better than All”),要说得更深 入的话,原因是单个学习器之间有强的相关性,这对集成是不好的,但是这种强 相关性是无法通过简单考察误差(例如Perrone/Cooper的做法)来确定的。周的 工作在credit上没有竞争者,但Perrone/Cooper的工作是有很多竞争者的,因为 在九十年代初有若干篇论文显示出集成比单个学习器好,最主要的竞争者是 Hansen/Salamon在IEEE PAMI 1990的文章“Neural network ensemble”,这个 文章引用已经1300多次。周志华他们的IJCAI 文章虽然没有引用Perrone/Cooper, 但是引用了Hansen/Salamon,我认为这没有什么问题,因为Hansen/Salamon得出 “集成比单个好”这个结论比Perrone/Cooper更早,credit更应该给他们。   我觉得“云淡风轻”和“Hui Huang”采用第三方证据的做法很好,所以我 也举一篇我读过的文章来证明我的上述评论。这篇文章有近70次引用,在本领域 也是一个重要工作 (GoogleScholar可以找到):   Cooperative coevolution of artificial neural network ensembles for pattern classification   N Garcia-Pedrajas, C Hervas-Martinez, ...   IEEE Transactions on evolutionary computation, 2005   这篇文章对Perrone/Cooper ([1]) 的引用是这样说的:“Several works have shown [1] that the network ensemble has a generalization error generally smaller than that obtained with a single network and also that the variance of the ensemble is lesser than the variance of a single network.”意思很清楚:Perrone/Cooper(以及其他人)显示出集成比 单个学习器好。   对周文([17])有多处引用,最主要的是说:   (1) “several researchers [17], [18] have recently shown that some information about cooperation is useful for obtaining better ensembles. This new approach opens a wide field where the design and training of the different networks must be interdependent.”   (2) “Some recent works have shown [17], [19] that the combination of a subset of all the trained networks can be better than the combination of all the networks.”   (3) “More recently, Zhou et al. analyzed the relationship between the ensemble and its component neural networks [17]. This study revealed that it may be better to ensemble a subset of the neural networks instead of all of them. In order to select this subset of possibly better performing networks, they applied a genetic algorithm that evolved the weight of each network in the ensemble. Their results support our approach of evolving a population of ensembles, each one being a combination of some of the evolved networks. A recent work by Bakker and Heskes [19] corroborates the results of Zhou et al.”   (4) “Zhou et al. [17] have shown that a combination of some of the networks may be better than a combination of all the networks, and that a genetic algorithm [28] can be used for obtaining that subset of networks.”   [18][19][28]都是国外学者的工作,[18]是2001年CEC会议上的文章,[19] 是2003年一个著名杂志Neural Networks上的文章,[28]是一本关于GA的教材。 可以看出,上面第2段引文说[17][19]显示出“many could be better than all” 的思想,但第3段引文最后一句说明[19]是“确证”了[17]的工作,而第4段引文 干脆就只引[17],这说明选择性集成应该归功于周文。第1段引文还特别指出周 他们这个工作(和同时的[18])“opens a wide field ...”,这是一个极高的 评价了,这也解释了为什么周文后来有那么多引用。如果周文是剽窃,简直就如 同说同行专家都是傻子一样。   另外还有一个旁证,集成学习这个领域有一个专业性会议MCS,周是2009年 两位keynote speaker之一 (http://www.diee.unica.it/mcs/mcs2009/invited.html)。华人做集成的很 多,他是第一位keynote speaker,我们这个领域的人都很为他自豪。周在这个 keynote的主题外,还简介了他们在选择性集成方面的新进展(就是“知耻的人” 最早举报的文章中的最后一篇)。如果周他们的工作是剽窃,他应该遮遮掩掩才 对,怎么可能傻到再继续让大家注意。而且如果周在这个领域最著名的工作是剽 窃的,怎么可能被邀请做keynote,那些外国院士、fellow级的权威人物岂非都 是呆子。   有些对周的“猜测”纯粹是捕风捉影,象“不必执着”说周他们IJCAI的论 文2001年6月投出,“不必执着”自己也说自己是外行,计算机的顶级会议审稿 是非常严格的,怎么可能6月份投出7月份就开会。按IJCAI惯例,deadline应该 是在头一年的12月到第二年的2月初之间。另外,周有一个流传很广的关于AI领 域顶级会议的评价贴,从中可以看出周是认为IJCAI是最重要的会议。把好工作 多留几个月投到最重要的地方去,这很正常,何况IJCAI两年才有一次。   我对每一次学术打假都拍手称快。但周这个事件让我感到有些不太好的迹象。 新语丝学术打假名气太大,关注的人多,可能有一些人会利用它作为攻击对手的 工具。这次被打的周志华在学界口碑很好,有很多人出来为他说话。换别的人未 必会有这种运气。我们要好好考虑考虑怎么避免让大家长期支持的新语丝被人利 用,如果把国内认真做学问的人都打掉,国内学术界真的就没戏了。 (XYS20091026) ◇◇新语丝(www.xys.org)(xys4.dxiong.com)(www.xysforum.org)(xys2.dropin.org)◇◇