Контрольная и экспериментальная группы в программном эксперименте: как сравнивать версии
Сравнить старую и новую версию программы можно по-разному. Самый очевидный вариант — сначала измерить систему, внести изменение, а затем повторить измерение. Но у такого подхода есть ограничение: между двумя замерами меняется не только код. Меняются нагрузка, пользователи, данные, соседние сервисы и другие внешние условия.
Контролируемый эксперимент решает задачу иначе. Вместо последовательности «до → после» две группы наблюдаются […]