西门子TP1200操作面板

查数据），或者你可以试图针对每个度量仔细比较不同组的数据。在后者的情况中，你会在脑子里创造一副全景图，首先得想明白个体条目，然后形象化它们之间的关系。用更有趣的话说，你会掘出数据的坟墓，让它们复活，然后按照你的音乐跳舞。

我们更希望作者们保持他们数据的原样，把它们通过某种方法表达出来，帮助读者的介入：通过找到与作者想要讨论的关键问题和关系相关的直观表示，以及与表格和文本数据显示直接、清晰相关的可视化呈现。良好的数据呈现包含突出视觉效果（如，标尺、色彩），能前后一致地表达出所关注的数据。差得数据呈现所使用的可视化品质会使观众对数据的理解产生转移或模糊，比如，通过用线段连接离散数据来表达某种连贯性，或者通过在相关图表上使用不同的比例尺或者使用起始点不为0的标尺，或者通过添加比原始数据更突出的外来的元素。Edward R. Tufte有一本关于如何正确进行数据可视化工作的开创性著作[9]。透明的统计分析（如果有的话）

统计分析（演绎统计学）说的是从“信号”中分离“噪声”：把可能是从巧合或错误中得出的结果分离于从有意义的研究现象中得出的结果。运用统计的目的是降低解读结果的不确定性。但是，许多作者把统计分析作为一种威胁。他们列出所有的Alpha

案例研究（或者它不那么正式的亲戚经验汇报）描述了一个现象（通常是一系列事件及其结果）在真实软件工程环境下的特定实例。原则上来说，案例研究是运用详细而**的方法论的结果，但是这个术语通常被更宽松地使用。虽然现象本身是独特的，描述它时，我们会希望其他情况和它足够的接近，那它才会有意义。表述清晰明确的研究问题是可信

如果作者不解释他们在寻找什么，那他们还能拿出什么东西让你相信呢？研究问题不需要大张旗鼓地宣告，但必须可以从概要和简介中清楚地辨别出来。

通常，研究问题是可以被清晰地辨别出来的，但是问题本身却很含糊。在这种情况下，结果要不就是也很含糊，或者会带有意外性和随机性。这类研究也许读起来很有趣，但可信度达到中等就不错了。

案例研究利用许多不同类型的数据，如研究者通过不同方法（如直接观察、面谈、文档分析以及特殊目的的数据分析程序）收集的谈话、活动、文档和数据记录。案例研究可以针对大范围的问题，如AWE流程中*大的问题是什么？AWE如何影响设计活动？它如何影响设计结果？它如何组织测试流程？等等。

在我们的AWE对比BURP的例子中，BURP可以单独作为一个案例来研究，也可以作为同一个研究的第二个案例，研究者尽其所能地匹配调查和讨论的结构。如果描述地足够具体的7

2.4　证据的类型以及它们的优缺点

让我们来用一个例子来更好地说明。想象我们正在评估一种新的软件工程技术“AWE”美妙的新方法），它被用来替代“BURP”枯燥但被口碑良好的旧方法）。我们需要考虑哪种证据来决定是否采用AWE？在接下来的章节中，我们会描述常见类型的研究，并根据可信度和适用度的典型问题对每个类型进行评估。

2.4.1　对照实验和准实验

对照实验在我们需要对两种或多种条件进行直接比较时适用（如使用AWE相对于使用BURP），它基于一个或多个有可靠度量的标准，比如完成特定任务所需要的时间。这些实验在度量很棘手时也很有帮助，比如对AWE和BURP所产出的产品中

要解决的任务来做到。对于所涉及的庞大的人为因素变量，实施对照的唯一方法是使用一组对象（而不是一个对象），指望所有的差异会在组内平均化。如果我们能把对象随机分组的话（随机实验），这种希望是被证明合理的（至少在统计意义上）。当然只有所有对象使用AWE和BURP的能力相当时，这才有意义。随机实验是能证明因果关系的唯一研究方法：如果我们只变动了AWE和BURP，那结果中的任何改变（除了统计波动）都是由这个差异所产生的。

有时候，我们不能随机分配开发人员，因为我们只能对已经存在的团体进行研究。

任何方法论都是一种镜头，研究者可以通过不同的镜头观察整个世界。但重要的是，必须承认不是所有的事物都在聚焦范围之内。对方法论的盲目追随会导致各种难堪的失误，特别是当研究者不理解方法论背后的惯例和假设时。即使存在普遍接受的方法论，研究者也不能解除责任，放弃从所需证据的角度来证明技术选择的正当性。基准测量是软件工程方法中基于集合证据产出适当结果的例子。它需要根据定义非常准确的程序（或基准）来度量性能。SPEC CPU基准是一个很好的例子，不管它的名字如何，它度量了CPU、内存子系统、操作系统和高CPU使用率应用程序编译器的组合性能。它包含了一系列应用程序源码，外加如何编译它们的详细指示，以及如何运行输入并度量它们的指示。

如果基准有明确的规定和适当的应用，你就能很准确地知道基准的结果意味着什么，也就不需要慌乱地比较Sun、HP、Intel之间的结果差异。这种可靠性和可比性正是发明基准的目的，也使它成为了可信度的标志。