剖析字节案例，火山引擎 A / B 测试 DataTester 如何“嵌入”技术研发流程

日前，在 WOT 全球创新技术大会上，火山引擎 DataTester 技术负责人韩云飞做了关于字节跳动 A / B 测试平台的分享。DataTester 是字节跳动内部应用多年的 A / B 实验平台，平台自建立至今，承载了内部 500 余个业务线的 A / B 实验任务，累计已开展超过 150 万次实验，现在字节跳动每天会新增实验 2000 余个，同时在 DataTester 上运行的实验有 3 万余个。

字节跳动内部有着非常浓厚的数据文化和实验文化，抖音、今日头条的名字都经由 A / B 测试确定，而 A / B 测试也是整个研发链路上的必经一环。本文将以字节研发流程中的两个个案例，介绍 A / B 测试在研发全流程中的角色。

1.产品系统重构

今日头条是一款信息类互联网产品，它会基于数据挖掘的推荐引擎向用户推荐文章。今日头条早期的信息流服务是使用 Python 的一项单体服务，但随着字节业务发展的迅速，今日头条的流量也迎来了爆发式增长，产品在性能工程上的复杂度也在急剧升高。

为了优化产品，使之更加适应大流量下的响应，今日头条的信息流业务设计了一次大规模服务化重构：语言选型从 Python 切换到了 Golang，从单体服务架构演变成了分层的微服务架构。

但这个重构设计，是围绕产品性能方面的技术指标展开的，但对于用户体验的影响和业务目标的影响，却无法通过短期观察得到结论。为了避免复杂的新系统上线后，降低头条用户的产品使用体验，因此在重构方案设计完毕后，今日头条业务花费了 6 个月以上的时间，开展了新方案和旧方案对比的 A / B 测试，总共进行过几十次 A / B 实验，多点开启灰度测试，并不断分析结果、迭代方案，确认改进点对业务数据指标的影响。

在半年多之后，这个复杂的新系统终于结束了 A / B 测试，并推全上线。上线后的新系统对今日头条大部分全局指标几乎无影响，甚至一些关键指标取得了显示正向的结果。

2.产品 Bug 修复

这个案例是字节直播产品的场景。该产品在设计了新的精排模型，原本期望是想召回模型学习到更多信息，提前做一些召回符合用户兴趣的内容，提升部分产品关键指标。但在实际操作中，由于模型配置出现了 Bug，上线失败。

因此，该直播产品的团队针对这个 Bug 进行了修复，但只能采用使精排模型变得更复杂的方案。新的功能虽然已经成功跑通，但由于模型更加复杂，对于用户产品体验负向影响的风险会随之升高。

为了验证新开发的功能对用户体验的影响，该团队使用 DataTester 开启了 A / B 测试，他们将用户分为新用户组、老用户组分别开启实验，通过数据观察发现，新的功能对于新用户的而言没有什么实质性影响，新用户的使用时长、留存等指标依然是在一个特定区间波动；但在老用户组的实验数据中，他们发现老用户在内容人均阅读时长上，有了 0.3% 的显著提高。虽然 0.3% 是一个看起来不大的数字，但对于字节产品的用户体量而言，这种幅度的提升，在用户内容消费时长上的实质提升很大。

上述两个案例是 DataTester 在字节跳动应用的缩影，实际上，在字节整个的研发流程中，开发、上线、BugFix、优化、重构，A / B 测试都会作为基础设施中的一环，来服务于整个研发流程。除此之外，A / B 实验也广泛应用于字节跳动业务的方方面面，从产品命名到交互设计，从改变字体、弹窗效果、界面大小，到推荐算法、广告优化、用户增长...... 可以说，DataTester 已经融入在字节的每一个业务和每一项决策中。

DataTester 当前已通过火山引擎向外部企业开放服务，能基于先进的底层算法，提供科学分流能力和智能的统计引擎，支持多种复杂的 A / B 实验类型。目前，火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的"数据驱动增长"经验赋能给各行业。