Mind-为什么研究者只看见他想看见的——观察者期望效应
一匹马能够用敲蹄子回答算术题，看上去像是懂得计算。但如果提问者不知道答案，或者马看不到提问者，表现就发生变化。研究的关键于是从“马有多聪明”，转向“答案是不是从现场线索传过去的”。
这是“聪明的汉斯”故事带来的方法提醒：观察者既可能记录结果，也可能无意间参与制造结果。普丰斯特的调查通过改变可见线索与提问条件，研究了这种可能。原著
本文聚焦研究、测试与评估流程：怎样防止期待进入提示、记录和分析。教师期待对真实表现的影响，见自我实现预言；身份称呼与机会分配，见标签效应，这里不再重复课堂故事。
1. 三条不同的偏差通道
第一条是执行过程。实验者知道希望出现什么反应，就可能多提示一句、多等待一次，或者在不同组采用不同解释。受试者的反应确实变了，但变化未必来自待检验的处理。
第二条是记录过程。边界模糊的动作是否算一次“成功”，评分者可能更倾向于作出符合预期的解释。此时实际行为未必变了，改变的可能是被记下来的结果。
第三条是分析过程。研究完成后反复更换指标、剔除规则或截止时间，直到看到想要的方向。这涉及分析自由度与选择性报告，不能全部叫作狭义的观察者期望效应，但同样会削弱结论。
把三条通道分开，才能知道该控制提示、评分还是分析规则。单靠研究者声明“我尽量客观”，无法检查这些环节。
2. 一个可复核的界面测试示例
假设团队想比较新旧两个界面。主持人认为新版更好，给测试新版的用户说：“这个按钮可以试试”，对旧版用户却没有提示。新版任务完成率更高，就不能直接归因于界面。
可以先把引导语固定下来，随机安排版本，记录用户得到的帮助。如果必须提供提示，就采用相同的触发条件，并把无提示完成与提示后完成分别记录。
再假设成功标准是“用户找到了正确入口”。有人只是划过按钮，也有人明确点击；如果评分者知道版本，模糊动作可能被不同对待。可以提前定义成功事件，再让不知道版本含义的人按同一规则编码。
这些安排不能保证没有任何偏差，但能让别人知道具体比较的是什么。
3. 盲法应该说明谁不知道什么
“单盲”“双盲”的用法可能因领域而异。比起只写一个名称，更清楚的是列出：参与者是否知道条件，主持人是否知道，评分者是否知道，分析者何时看到标签。
| 环节 | 尽量隐藏的信息 | 主要减少的风险 |
|---|---|---|
| 参与 | 哪个是研究者希望更好的版本 | 迎合预期与部分需求特征 |
| 执行 | 当前对象处在哪个条件 | 提示、等待与帮助不同 |
| 评分 | 材料来自哪个条件 | 模糊事件被不同解释 |
| 分析 | 条件代号对应什么处理 | 根据方向临时调整口径 |
有些研究不可能隐藏所有条件，例如用户显然能看到界面差异。此时应说明盲法做不到哪里，再用标准化流程、客观日志与独立评分降低影响，不能把无法完全双盲等同于研究必然无效。
4. 预注册、独立评分和原始记录各管什么
预先写出主问题、主要指标、样本与分析规则，可以减少看到结果后改问题的空间。研究中的预注册通常还意味着在分析结果前，以可核验时间记录研究计划；日常在本子上写个预期，只是类似的自我约束习惯，不能直接等同于正式预注册。
独立评分主要处理判断环节。如果两位评分者对同一材料分歧很大，需要检查规则是否清楚，而不是只选择更支持假设的那一个。
原始日志则帮助区分发生了什么与后来怎样解释。记录时间、提示、失败和中途退出，往往比只保存最终平均分更有用。共享记录仍须符合参与者同意和隐私条件。
5. A/B 测试不能靠“看到赢了就停”
如果团队不断查看结果，哪次新版暂时领先就宣布结束，而落后时继续收集，停止规则已经随结果变化。即使流量随机分配，结论也可能受到影响。
应事先选择与分析方法相容的检查和停止规则；确实需要边运行边判断时，采用相应的序贯方法，而不是把固定样本检验反复做很多次。
另外，打开率提升、任务完成率提升与长期留存改善，是不同问题。主指标之外可以报告其他观察，但应明确哪些是原计划检验，哪些是探索性发现，避免只展示有利结果。
6. 不要把所有复现问题归给研究者期待
研究结果难以复现，可能涉及抽样波动、测量差异、效应随情境变化、统计功效、分析选择或报告方式。观察者期待是需要考虑的路径之一，不是对整个复现问题的单一解释。
同样，专家可能受预期影响，并不证明专家总比外行更容易出错。更合适的检查是：当前任务依赖多少主观判断，有没有可核查标准，以及谁能提出反证。
总结
观察者期望的重点，是研究者可能通过执行和评分进入被研究的结果。分析中的选择性又是另一条需要控制的通道。
先画清流程，写明谁知道什么，固定必要规则，并保留可复核记录。与其要求每个人没有期待，不如让期待难以悄悄改变结论。