关键迭代：可信赖的线上对照实验

评论
19 views

《关键迭代：可信赖的线上对照实验》读书摘要

《关键迭代：可信赖的线上对照实验》是一本专注于线上对照实验（A/B测试）的专业书籍，由微软、谷歌和领英等公司的实验领导者编写，为数据驱动决策提供了实用的指导。

一、书籍目录

  1. 推荐序

  2. 前言

  3. 本书介绍

  4. 内容概览

  5. 第一部分：线上对照实验概览

• 第1章：概述和术语

• 1.1线上实验的术语

• 1.2为什么要进行实验？相关性、因果关系和可信赖度

• 1.3有效运行实验的必要元素

• 1.4案例

• 1.5实验设计的演进

• 1.6简单的线上实验实例

• 1.7偏差、技术及其他实验的关系

• 1.8补充阅读

• 第2章：运行分析实验——一个全程剖析的案例

• 2.1定义实验

• 2.2预实验：建立假设是关键

• 2.3设计实验

• 第3章：特大规模实验与实验的可信赖度

• 3.1理解结果

• 3.2置信区间

• 3.3对内部有效性的威胁

• 3.4对外部有效性的威胁

• 3.5细分的重要性

• 3.6实验的文化和价值观

• 3.7鼓励健康的怀疑态度

  1. 第二部分：基础原理

• 第4章：实验平台和工具

• 4.1实验成熟度模型

• 4.2基础设施和工具概述

• 第5章：速度很重要——一个全流程案例剖析

• 5.1关键假设：速度线性近似

• 5.2如何测量网站的性能

• 5.3减速实验的设计

• 5.4对不同页面元素的影响是不同的

• 5.5极端结果

• 第6章：机构指标

• 6.1指标的分类

• 6.2指标的制定：原则和技术

• 6.3指标的评估

• 6.4指标的演变

  1. 第三部分：补充知识和进阶技法

• 第7章：实验指标综合评估标准

• 7.1从业务指标到用于实验的指标

• 7.2将关键指标组合成一个指标

• 7.3案例：亚马逊电子邮件的OEC

• 7.4案例：必应搜索结果的OEC

• 7.5 Goodhart法则、Campbell法则以及Lucas批判

• 7.6实验的经验与综合分析

• 7.7什么是实验的经验

• 7.8为什么机构的经验传承有用

• 第8章：对实验中的伦理

• 8.1知情

• 8.2数据收集

• 8.3文化与流程

• 8.4补充材料：用户标识

  1. 第四部分：平台搭建

• 第9章：客户端工具和客户端的差异

• 9.1实验工具与客户端工具的区别

• 9.2处理多源的数据

• 9.3工具记录文化的差异

• 第10章：选择随机化单元

• 10.1随机化单元和分析单元

• 10.2用户级别的随机化

  1. 第五部分：线上对照实验中的统计学知识

• 第16章：数据处理

• 16.1数据计算

• 16.2数据汇总

• 16.3统计汇总和区间估计

• 第17章：线上对照实验中的统计学知识

• 17.1双样本t检验

• 17.2均值和置信区间

• 17.3正态性假设

• 17.4第一类/第二类错误和功效计算

• 17.5偏差

• 17.6多重检验

• 17.7费希尔组合分析

• 第18章：方差估计和灵敏度：偏差及解决方法

• 18.1常见偏差

• 18.2灵敏度

• 18.3其他统计量的方差

• 第19章：A/A测试

• 19.1为什么运行A/A测试

• 19.2如何运行A/A测试

• 19.3 A/A测试失败时

• 第20章：以触发来提高实验灵敏度

• 20.1触发示例

• 20.2数值示例

• 20.3最佳的和保守的触发

• 20.4总体实验效应

• 20.5可信赖的触发

• 20.6常见的陷阱

  1. 第六部分：长期实验运行的替代方法

• 第21章：样本量不匹配与其他可信赖度相关的护栏指标

• 21.1样本量不匹配

• 21.2调整样本量

• 第22章：实验实体之间的泄露和干扰

• 22.1实验实体

• 22.2泄露和干扰

• 第23章：测量实验的长期效应

• 23.1什么是长期效应和短期效应

• 23.2短期效应和长期效应可能不同的原因

• 23.3为什么需要测量长期效应

• 23.4长期运行实验的替代方法

  1. 参考文献

  2. 索引

二、核心内容

  1. 线上对照实验的全面介绍

• 本书从基础概念入手，详细阐述了线上对照实验（A/B测试）的术语、原理、必要性以及相关案例。通过实际案例帮助读者理解如何进行有效的实验设计和运行，包括如何定义实验、预实验、设计实验等环节。

  1. 实验的可靠性与基础原理

• 探讨了确保实验结果可靠性的因素，如对内部和外部有效性的威胁、细分的重要性等。同时深入讲解了实验平台和工具的基础原理，包括实验成熟度模型、基础设施和工具概述等内容，强调了速度在实验中的重要性，并对机构指标的分类、制定、评估和演变进行了说明。

  1. 实验相关的补充知识和进阶技法

• 包括如何综合评估实验指标，如从业务指标转换为实验指标、关键指标组合等。还涉及实验中的伦理问题，如知情、数据收集等。此外，对平台搭建过程中的客户端工具差异、随机化单元选择等内容进行了讲解。

  1. 实验中的统计学知识

• 这部分内容较为深入，涵盖了数据处理、线上对照实验中的统计学知识（如双样本t检验、均值和置信区间等）、方差估计和灵敏度、A/A测试以及以触发来提高实验灵敏度等内容，帮助读者掌握实验中涉及的统计方法和技术。

  1. 长期实验运行的方法与问题

• 讨论了长期实验运行的替代方法，包括如何处理样本量不匹配、实验实体之间的泄露和干扰以及如何测量实验的长期效应等问题，为读者在进行长期实验时提供了指导。

三、总结

《关键迭代：可信赖的线上对照实验》是一本内容丰富且具有高度实用性的书籍，它为从事线上对照实验的专业人员提供了从基础概念到高级技术的全面指导，帮助他们设计、运行和分析可信赖的A/B测试，避免实验中的常见陷阱，适合互联网公司的数据分析师、产品经理以及相关研究人员阅读。