Недавняя статья, опубликована в престижном журнале Nature (ну, одном из его менее престижных ветвей, Nature Human Behaviour. И все же).
Из недавних комментариев к моим сообщениям о социологии-антропологии выяснилось, что народ вне академии не знает, чем занимаются современные общественнонаучники.
Нет, мы не машем руками с криком о нарративности онтологии. Или с фантазиями типа «а на сааамом деле Путин боится вот этого, поэтому он хочет того».
Вот пример того, чем мы занимаемся.
В этой статье авторы изучали эффект соцсетей на учебу в школе и обнаружили, что соцсети вредят учебе.
Прежде чем расстраиваться, посмотрите на слабости этого исследования. Это не значит, что исследование — мусор. Просто оно не совсем достоверное.
Исследователи отобрали 5227 детей из северной Италии, от 7 до 16 лет, и проследили за ними в течение нескольких лет.
Некоторые из этих детей — назовем их «тестируемая группа» (treated group) сами решили рано завести себе личные аккаунты в соцсетях в 6-м, 7-м или 8-м классе. Важно — они сами это решили, а не были рандомно назначены в эту группу.
Другие дети — назовем их «контрольной группой» (control group) начали пользоваться соцсетями позже. Тоже, разумеется, сами себя назначили в эту группу.
Исследователи сравнили результаты стандартизированных тестов этих групп по математике, итальянскому, и английскому.
Оказалось, что у тех, кто рано начал пользоваться соцсетями, гораздо ниже результаты тестов.
Из чего исследователи сделали вывод, что соцсети отрицательно влияют на учебу.
Это — одна из возможных интерпретаций.
Но дьявол — в деталях.
Чтобы установить причинно-следственную связь, нужен источник рандомизации. Настоящий, как в медицинских исследованиях, или косвенный, как в экономических. Но что-то нужно.
В этом исследовании нет никакой рандомизации. Почему мы думаем, что дети рандомно решают заводить себе соцсети в раннем возрасте? Наверняка нет.
Дети, которые рано завели соцсети, могут значительно отличаться от остальных детей по критериям, которые независимо определяют их учебу.
Например, у них проблемы в семье.
За ними мало присмотра.
Их не отправляли в кружки и к репетиторам, из-за чего у них было время на соцсети.
У них поведенческие проблемы, из-за чего они не смогли задержаться в кружках, у них нет друзей, и они нашли выход в соцсетях.
Мало того, совершенно не помогает статистически «контролировать» очевидные демографические факторы, которые исследователи могут задокументировать (вроде дохода родителей, состава семьи, и так далее). Такие контроли часто ухудшают достоверность результатов.
Потому что когда вы видите двух детей, одинаковых по наблюдаемым характеристикам (вроде дохода родителей), но ведущих себя очень по-разному, это, скорее всего, демонстрирует, что у них есть какие-то важные характеристики, которые исследователи не могут зафиксировать, или по которым просто нет данных (вроде поведенческих проблем, проблем в семье, низких когнитивных способностей ребенка, и так далее).
Поэтому когда исследователи пишут, что они проконтролировали другие причины эффекта, это не так.
Ну, хорошо, а как нужно было это исследовать?
Нужно было найти какой-то внешний шок, внешний источник вариации в использовании детьми соцсетей.
Такой шок, где использование соцсетей было бы не выбором самих детей и не результатом работы какого-то фактора, который независимо влияет на успех в учебе (не семьи, школы, и так далее).
Скажем, в каком-то городе интернет провели только тогда-то, а в другом — тогда-то. Но это, конечно, покажет эффект на учебу всего интернета, а не только соцсетей.
В знаменитом исследовании эффекта Радио Тысячи Холмов на геноцид в Руанде внешним шоком был факт, что это радио физически ловилось в конкретных городах, но не ловилось в других. И люди не селились изначально в этих городах из-за ненависти к другой этнической группе. То есть некоторые города рандомно получали воздействие этой радиостанции, а другие — нет, и исследователи смогли сравнить уровень насилия между этими городами и сделать вывод об эффекте радиостанции на насилие.
Алё, где я вам найду такое Радио Тысячи Холмов для изучения эффекта соцсетей на успех в школе?
Велкам в мир современных общественных наук! 🙂
Хороший дизайн исследований придумать очень трудно. Это реально творческая задачка на нестандартность мышления.
Люди стараются использовать разные формы рандомизации, созданной для других целей.
Например, мы давно хотели изучать эффект участия в войне на солдат — на их последующее образование, работу, создание семьи, алкоголизм, и так далее. Но мы не можем просто сравнивать солдат и не-солдат в мире, где на войну идут либо добровольцы-контрактники, либо все, потому что добровольцы-контрактники изначально отличаются от остальных, а когда идут все — нет контрольной группы, не с чем сравнивать.
Поэтому исследователи придумали такое: в Штатах воевать во Вьетнам отправляли рандомно, по лотерее. И исследователи смогли использовать лотерейный номер, который выпал человеку, как внешний источник шока, и проследить последующее образование, работу, и так далее.
Или такой тип решений — внешне-установленная точка отсечения.
Скажем, есть стипендии, которые выдают, если ученик получил какой-то балл Х на стандартизированном экзамене. Понятно, что разница между результатами Х и Х-1 — случайность. Поэтому исследователи сравнивали учеников с результатами тестов Х и Х-1: первые получили стипендию, вторые (фактически такие же по учебе) не получили. Между ними произошла де факто рандомная выдача денег. Разница будущих результатов показывает эффект стипендии на учебу.
Понятно, что в таких дизайнах исследований полно проблем. Может быть, напишу отдельно.
Это вообще очень интересная тема. Каждый общественнонаучник, стоящий своего места, постоянно принюхивается к миру на тему поиска красивого источника рандомизации.
Находиться в его вечном поиске — это инстинкт.
Если вы найдете что-то новое и достоверное — сразу скажите мне. А другим не говорите. 🙂 Я вам предложу соавторство, а другие, плохие, обманут.
Но вернемся к соцсетям.
Я не к тому, что связи соцсетей с учебой быть не может. Очень даже может, и, я думаю, что есть. Но это конкретное исследование такой связи не устанавливает.
А в Nature печатают много политически-горячего шлака.
Об этом еще стоит отдельно написать.
