西门子交换机中国总代理

能在1982年集合的话，8年的错误治疗和与之相关的新生儿死亡就能够被避免。这引发了对及时集合证据的重要性的重新评估，以及协作组织的建立，该非营利组织旨在实施针对医疗和保健问题的系统性评审，并维护系统性评审报告数据库。这需要提取每篇文章中针对所研究问题数据，然后适当地集合数据。有时，可以通过一次正式的元分析来集合数据，但在软件工程和其他非医学领域中，每篇研究的结果通常只是以表格的形式列出来，以确定潜在的趋势。与质量评估一样，数据提取通常由两名研究者来完成，他们讨论并解决所有的不同意见。

虽然我之前批评了对专家观点的依赖，但是我所见过的关于软件工程的好的系统性评审，是由包含领域专家的团队执行的。领域专家的知识在系统性评审中可以被很好地加以利用，来确定需要搜索的会议和期刊，并确定可以用作基准的一组初始研究文章，来检查任何自动搜索过程的有效性。

对于刚开始学习系统性评审流程的新研究员，我推荐他们考虑图谱研究（mapping studies）。这类系统性评审试图寻找并分类涉及更宽泛研究话题的文献，而不是回答一个特定的研究问题[35]。这两类研究的区别可以通过比较Magne Jørgensen的两篇文章而看出。篇是传统的系统性评审，调查了成本估算模式的评估在预计项目成本时是否比专家判断的评估更**

西门子交换机中国总代理

或者是否因为引用了同样的研究而需要融合他们的结果。然而，要识可重复性依赖于所研究的问题本身的清晰明确，不能模棱两可，也需要对搜索和集合的流程以及研究的范围进行完全的汇报。近有个研究比较了两个针对同样研究问题的独立系统性评审[38]。这份研究总结：在原始研究数量较少而评审团由领域专家组成的情况下，软件工程的系统性评审可重复性相当高。另一份基于非常庞大的经验性文献库的系统性评审[51]发现了不同文献中的评审有巨大的差异，但它同时解释说这些差异来自于不同评审中隐含的研究问题之间的差异。

这一章会带着对实证软件工程的普遍关注来向读者介绍系统性评审的价值。我也力求帮助见习研究人员（如博士生）开始使用系统性评审，他们可能正在寻找可靠的方法来着手能代表领域发展水平的评审。这一章应该也会对更有经验的实证研究者有所帮助，他们也许对系统性评审的方法论的价值还没有足够的信心。许多欧洲研究者已经开始发表软件工程的系统性评审，但来自美国的研究者相对较少[33][34]。

我也希望这一章内容能提醒实证研究者，他们的研究可能也会为将来系统性评审做出贡献，并因此能在汇报他们结果的同时谨记将来研究证据的集合。近的一次系统性评审发现，很难开始一个完整的元分析，因为个体的原儿的标准方法，系统性评审的发布改变了医疗实践。

大量部署并取得较好的反响之后的数年中，我们也几乎可以肯定系统会不断地产生bug。

当结果和推论并排在一起的时候，读者就很容易忘记这二者的区别，也会忘记应该将它们分开来分析。我相信Knuth对于这些（导致了上述推论的）故事的记忆，因为他描述了他记录这些故事的流程。但是，我认为Knuth过度解读了这些故事的意义，使其更符合他的结论。如果Knuth花了如此多的时间在痛苦测试上，他还有可能完成TeX吗？我相信他的日记

我们还可以把开发人员从这个方法中完全剔除出来，只研究文档。开发人员们在旧系统中报告了哪些bug，又在新系统中报告了哪些这样我们也许可以发现开发人员不愿在新系统中报告的bug类型。这样你也许可以找到一些使用旧系统的原因，但是真正的原因仍然存在于团队成员的头脑之中。

上述几种都是定性研究的方法，他们都有各自的局限性。要想解决这些限制，我们就必须接受它们：只用一个方法无法揭示完整而不偏不倚的事实。好的人文研究会结合多种方法，并将各种方法得出的证据结合在一起。举例来说，比如你既对员工们进行了访谈，又调查了哪些bug是在新系统中提交的。两种方法给你的结论虽然不同，但相互之间或多或少的有一致性。通过对比这些结论的相同点和不同点，你就可以了解到这个问题的真正答案。

除了调查了解事实之外，定性调查还可以让我们进行换位思考。很多时候，沟通不畅、违反流程、士气低落都是因为人无法从别人的角度来看世界。而这也正是定性研究想要解决的问题。这种换位思考往往就是定性研究方法的目标。比如说，你管理着一个团队，发现每周五都会出现编译错误，人们整天都在解决这个问题，每个人回家的时候都很累。使用定性研究的方法来调查这个问题你可能会发现原来星期四晚上大家都在忙着提交修改，因为周五是你决定开会的日子。有了这样的调查方法，你就可以从开发人员的角度来看这个世界并找到让大家都满意的解决方案其中两份评审特别受关注，因为它们颠覆了一些我们对软件成本预估的固定思维。成本估算模式的准确性

在两份系统性评审中，回答了成本模型估算（从过去项目中收集数据，然后基于数据生成数学公式）是否比专家判断估算（基于软件开发者和管理者的于手动搜索来说，你需要选择你想要搜索的刊物和会议纪录。当然，你也需要证明你的选择是正确的。然而，在一个案例分析中，我们非常惊讶地发现，有针对性的手动搜索比泛泛的自动搜索要快许多。在实践中，你很可能需要混合策略。如果你对一些资料进行手动搜索后（包括专家会议的会议纪录），你应该把它当做候选原始研究的一组基准，基于这组基准，你可以验证自动化搜索字符串的效用。另一种方法是，领域专家也可以把一组论文作为确定基准。