Отрицательный результат и постмортем: как документировать эксперимент без ожидаемого эффекта
Эксперимент закончился, а ожидаемого улучшения нет. Основная метрика почти не изменилась, доверительный интервал остаётся широким или treatment оказался хуже control. В такой момент легко написать, что гипотеза не подтвердилась и закрыть задачу.
Но! Для инженерной команды это слишком мало. Отрицательный или нулевой результат ценен только тогда, когда позже можно восстановить, что именно проверяли, насколько данным […]