内部效度和外部效度是反映研究结果是否可信和有意义的概念。虽然内部有效性与研究进行得如何(其结构)有关,但外部有效性与研究结果对现实世界的适用性有关。
什么是内部有效性?
Internal validity is the extent to which a study establishes a trustworthy原因和效应relationship between a treatment and an outcome.内部有效性也反映了给定的研究可以消除寻找的替代解释。
For example, if you implement a smoking cessation program with a group of individuals, how sure can you be that any improvement seen in the treatment group is due to the treatment that you administered?
内部有效性在很大程度上取决于研究的程序以及所执行的程度严格。
内在效度不是一个“是或否”的概念。相反,我们考虑我们对研究结果的信心有多大,取决于它是否能避免可能使研究结果受到质疑的陷阱。
在一项研究中有“混淆”的机会越少,内部有效性越高,我们可以在调查结果中更有信心。混乱是指其他因素的局势陷入了混淆研究的结果。例如,一项研究可能使我们不确定我们是否可以信任我们已经确定了上述“原因和效应”情景。
In short, you can only be confident that your study is internally valid if you can rule out alternative explanations for your findings. As a brief summary, you can only assume cause-and-effect when you meet the following three criteria in your study:
- The cause preceded the effect in terms of time.
- 原因和效果变化在一起。
- 对这种关系没有其他可能的解释是你所观察到的这种关系。
改善内部有效性的因素
如果你想提高一项研究的内在有效性,你会想考虑你的研究设计的一些方面,这将使你更有可能拒绝其他假设。有许多因素可以提高内部效度。
- 致盲:参与者和有时研究人员- 他们不知道他们正在接受哪些干预(例如通过在药物研究中使用安慰剂),以避免这种知识偏见他们的看法和行为,从而衡量研究的结果
- 实验操纵:在研究中操纵一个独立变量(例如,给吸烟者停止计划)而不是仅在不进行任何干预的情况下观察联想(检查运动和吸烟行为之间的关系)
- Random selection:随机选择参与者,或以代表您希望研究的人群的方式选择参与者
- 随机化:随机分配参与者治疗和对照组,并确保组之间没有系统偏差
- Study protocol:遵循治疗管理的具体程序,以免引入任何效果,例如,用一群人对另一组人进行不同的影响
Factors That Threaten Internal Validity
正如有许多方法来确保学习在内部有效的情况下,还有一个潜在的威胁列出了在规划研究时应考虑的内部有效性。
- 消耗:Participants dropping out or leaving a study, which means that the results are based on a biased sample of only the people who did not choose to leave (and possibly who all have something in common, such as higher motivation)
- 混乱:A situation in which changes in an outcome variable can be thought to have resulted from some third variable that is related to the treatment that you administered.
- 扩散:这是指通过互动和与彼此谈话或观察或观察或观察到或观察到或观察对照组的研究中的治疗。这也可以导致另一个称为怨恨低级化的问题,其中一个对照组不太努力,因为他们对他们所处的小组感到怨恨。
- 实验者偏见:在一项研究中,实验者在不同的群体中表现出不同的行为方式,这会对本研究的结果产生影响(并通过盲法消除)
- 历史事件:可能会影响一段时间内发生的研究结果,例如政治领导人的变化或影响研究参与者感受和行为的自然灾害
- 仪器:It's possible to "prime" participants in a study in certain ways with the measures that you use, which causes them to react in a way that is different than they would have otherwise.
- 成熟:这将时间的影响描述为研究中的一个变量。如果一项研究是在一段时间内进行的,在这段时间内,参与者可能会以某种方式自然改变(变老,变得疲劳),那么可能无法排除研究中看到的影响是否仅仅是由于时间的影响。
- 统计回归:The natural effect of participants at extreme ends of a measure falling in a certain direction just due to the passage of time rather than the effect of an intervention
- Testing:重复测试参与者使用相同的测量方法会影响结果。如果你给一个人做了三次同样的测试,难道他们不可能在学习测试的过程中做得更好,或者习惯了测试过程,所以他们的答案不一样吗?
What is External Validity?
外部效度是指一项研究的结果在多大程度上可以应用于其他环境。换句话说,这种有效性是指研究结果的普遍性。例如,调查结果是否适用于其他人、环境、情况和时间段?
外部validit生态效度的一个方面y, refers to whether a study's findings can be generalized to the real world.
虽然严格的研究方法可以确保内部有效性,另一方面,外部有效性可能受到这些方法的限制。
Another term called transferability relates to external validity and refers to定性研究设计。转移性是指结果是否转移到具有相似特征的情况。
改善外部有效性的因素
What can you do to improve the external validity of your study?
- Consider psychological realism:通过告诉他们关于研究目的的“封面故事”,请确保参与者作为一个真实事件遇到了一项研究的事件。否则,在某些情况下,如果他们知道要期待或了解研究的目标是什么,参与者可能会表现得比现实生活中不同。
- 进行重新处理或校准:使用统计方法来调整与外部有效性相关的问题。例如,如果研究有一些特征(例如年龄)的群体,则可能使用重新使用。
- Replicate:使用不同的样本或不同的设置再次进行研究,以查看您是否获得相同的结果。当进行许多研究时,荟萃分析也可用于确定自变量的影响是否可靠(基于对一个主题的大量研究结果的检查)。
- 尝试现场实验:在自然环境中进行实验室外的研究。
- Use inclusion and exclusion criteria:这将确保您清楚地确定了您在研究中学习的人口。
Factors That Threaten External Validity
当研究没有考虑现实世界中变量的相互作用时,外部有效性受到威胁。
- 测试前后效果:当前测或后测在某种程度上与研究中观察到的效果相关时,如果没有这些额外的测试,因果关系就会消失
- 示例特征:When some feature of the particular sample was responsible for the effect (or partially responsible), leading to limited generalizability of the findings
- 选择偏差:Considered a threat to internal validity, selection bias describes differences between groups in a study that may relate to the independent variable (once again, something like motivation or willingness to take part in the study, specific demographics of individuals being more likely to take part in an online survey).
- Situational factors:一天中的时间,位置,噪声,研究人员特征以及使用的措施有多少可能会影响调查结果的普遍性。
内部与外部有效性
内部和外部有效性are like two sides of the same coin. You can have a study with good internal validity, but overall it could be irrelevant to the real world. On the other hand, you could conduct a field study that is highly relevant to the real world, but that doesn't have trustworthy results in terms of knowing what variables caused the outcomes that you see.
相似之处
内部有效性和外部有效性之间有什么相似之处?这两个因素都是设计研究时应该考虑的因素,而且都对研究结果是否有意义有影响。两者都不是“非此即彼”的概念,因此你将始终决定你的研究在这两种类型的有效性方面表现到什么程度。
Each of these concepts is typically reported in a research article that is published in a scholarly journal. This is so that other researchers can evaluate the study and make decisions about whether the results are useful and valid.
差异
内部和外部有效性之间的基本差异是内部有效性是指研究的结构及其变量,而外部有效性涉及结果的普遍性。两者之间还有进一步的区别。
结论是有根据的
控制无关变量
Eliminates alternative explanations
专注于准确性和强大的研究方法
调查结果可以是概括的
Outcomes apply to practical situations
Results apply to the world at large
结果可以转换成另一个上下文
内部有效性侧重于显示因单独独立变量而造成的差异,而外部有效性结果可以大大转化为世界。
有效的例子
An example of a study with good internal validity would be if a researcher hypothesizes that using a particular注意应用程序将减少负面情绪。为了测试这一假设,研究人员随机将参与者的样本分配给两组中的一个:那些将在规定的时期使用该应用的人,以及从事控制任务的人。
The researcher ensures that there is no systematic bias in how participants are assigned to the groups, and also blinds his research assistants to the groups the students are in during experimentation.
采用严格的研究方案,概述研究程序。潜在的混杂变量与情绪一起测量,如参与者的社会经济地位、性别、年龄等因素。如果参与者退出研究,他们的特征将被检查,以确保在谁留在研究中没有系统的偏见。
具有良好外部有效性的研究的示例将在上面的例子中,研究人员还确保了通过在家中使用应用程序而不是在实验室中使用该研究,该研究具有外部有效性。研究人员清楚地定义了兴趣的人口和选择代表性的样本, and he/she replicates the study for different technological devices.
来自粗糙的一个词
Setting up an experiment so that it has sound internal and external validity involves being mindful from the start about factors that can influence each aspect of your research.
最好多花点时间设计一个结构合理、意义深远的研究,而不是匆忙地完成设计阶段,然后才发现问题。只有当内部和外部效度都很高时,才能对你的结果做出有力的结论。