Издателю на заметку: как The New York Times тестирует заголовки

Март 20, 2021

Американский программист Том Кливленд проанализировал, как The New York Times подбирает заголовки для статей на сайте. В своем блоге он поделился результатами исследования и показал, как при помощи простого A/B-тестирования издание увеличивает количество просмотров и вовлеченность пользователей.

The New York Times не скрывает, что проводит A/B-тесты заголовков, которые появляются на главной странице: часть читателей видит одно название статьи, часть — другое. В результате тестирования издание оставляет на сайте более популярный заголовок. Тому Кливленду стало интересно, какое количество статей и заголовков проходит тестирование, и насколько эффективен такой подход. Программист написал скрипт, который в течение месяца анализировал домашнюю страницу The New York Times каждые пять минут. 

С помощью скрипта Тому Кливленду удалось узнать, что около 30% статей The New York Times имеют от двух до восьми заголовков. Не все изменения заголовков происходят в результате A/B-тестирования. Иногда редакторы просто исправляют ошибки, опечатки и пунктуацию, а иногда — вносят уточнения в заголовок по мере развития событий.

Хронология обновления заголовка новости по мере развития событий

Однако по мнению Тома Кливленда, большинство изменений заголовков всё-таки связано с проведением A/B-тестов с целью повысить количество кликов на новость. В качестве примера он приводит статью о стиле правления нового президента США Джо Байдена. Первоначальный заголовок статьи «Говори тише, но о главном» получил всего 7% просмотров, а второй заголовок «Байден — анти-Трамп, и это работает» — оставшиеся 93%. Благодаря этому изменению через несколько часов статья попала в список самых просматриваемых.

A/B-тестирование заголовка статьи о стиле правления Джо Байдена


Исследование показывает, что в результате A/B-тестирования заголовки The New York Times становятся более драматичными, что нередко приводит к искажению сути новости. Это хорошо видно на примере статьи о нашумевшем интервью Меган Маркл, в котором она бо́льшую часть времени рассказывает о том, как столкнулась с расизмом. Но во время проведения теста в заголовок вынесли ее цитату о суициде. 

A/B-тестирование заголовка статьи об интервью с Меган Маркл


По данным исследования Тома Кливленда, статьи и новости, прошедшие тестирование, попадают в списки самых популярных материалов на 80% чаще. При этом чем больше вариантов заголовков было протестировано для одной статьи, тем выше вовлеченность пользователей. Побочный эффект такого подхода — эмоционально заряженные заголовки, которые в перспективе могут испортить репутацию издания, если ими злоупотреблять.

Поэтому — тестируйте, экспериментируйте и не увлекайтесь кликбейтом.

По материалам: blog.tjcx.me