组内或组间研究

需要考虑的另一个重要问题是:你将要进行的分析是比较每个参加者的不同数据(例如同一个参加者在产品不同设计上的成功率),还是比较参加者之间的数据(例如不同年龄组的成功率)。第一种方法通常称为组内设计,第二种方法被叫做组间设计。两种方法都有各自的优势和局限。

    组内设计,也叫做重复测量设计,常用于评估参加者学习使用特定产品时的难易程度。通过比较同一批参加者多次施测上的度量(如人物完成时间或错误率),你可以判断参加者多快和多久能熟练使用被评估的产品。组内设计不需要一个较大的样本,也不必担心组别之间的差异。因为每个参加者都是与自己进行比较,所以从数据中观测到的差异不是由参加者之间的差异所导致的。组内设计的缺点是需要考虑“传递效应”,即在一种条件下的操作会影响到另一种条件下的操作。传递效应的原因可能是练习(提高成绩)或者疲劳(降低成绩)。如果实验有可能产生传递效应,你可以在设计实验和分析数据时对该效应进行平衡。