(В скобках: аспиранты-общественнонаучники! Если вы ищете необычный «натуральный эксперимент» для диссертации, вам сюда. Смотрите на кампусы, где произошла массовая стрельба или подобное. См. ниже, это потрясающе.)

Мы всегда знали, что студенты списывают и мошенничают. Но сейчас, благодаря необычному стечению обстоятельств, это удалось протестировать. Ну, по крайней мере, в одном классе.

Контекст

Много-много лет американские университеты, особенно топовые, оперировали по системе «кодекса чести». Никто не контролировал, мошенничают ли студенты при сдаче экзаменов и прочих работ. Считалось, что списывание настолько ниже юных патрициев, что оскорбительно даже устанавливать какие-то системы контроля.

То есть совок провалился в попытках создать Нового Советского Человека, который бы игнорировал стимулы, но топовые американские университеты в этом преуспели.

Для иллюстрации возьмем топовые американские юрфаки.

Напомню, что юрфаки — это докторантуры. Там учатся взрослые люди уже после окончания универов. Оценки важны очень. Очень-очень-очень. По оценкам выпускникам предлагают престижную работу в федеральных судах, а после нее — в лучших фирмах страны или в лакомых правительственных конторах.

Важность оценок на юрфаках всем известна. Конкуренция огромная. Из-за этого на большинстве юрфаков оценки ставят по кривой — сколько-то лучших процентов получают А+, сколько-то следующих А, и так далее до С. Ты соревнуешься не с идеальным ответом, а с конкретными однокурсниками.

Да, мы знаем, что тут есть недостатки. Мы не тупые американцы. Но это — лучший способ предотвратить инфляцию оценок и прочие манипуляции.

Не забывайте, что преподы — тоже человеки. Зачем нам добавлять себе работы, сыпать кого-то и потом ругаться со спорщиками из-за незачтенного балла? В идеале мы бы экзамены вообще не читали, а просто ставили бы всем пятерки, и конец.

Но тогда работодатели и судьи не узнают, кто лучшие студенты потока, и кого принимать на работу.

Поэтому, в ответ на требования работодателей, мы создали эти правила с оценками по кривой.

Но вернемся к «кодексу чести». Экзамены у нас всегда письменные, а не устные, из-за угроз жалоб на несправедливые оценки.

Во многих юрфаках экзамены сделали не просто «напиши дома или ГДЕ угодно», но и «напиши, КОГДА угодно, только вложись в выделенное время».

Скажем, так — на экзамены отведено две недели в конце семестра. Каждый студент может подключиться к системе в любое время, откуда угодно, совершенно без присмотра, скачать экзамен. А потом загрузить обратно в систему свои ответы через сколько-то часов, сколько указал препод.

Если вы не понимаете, как мошенничать в этой системе, то вы — жертва массового мошенничества.

В какое-то время ко мне потихоньку подходили студенты-иностранцы и спрашивали, неужели универ не понимает, что с такой системой и с таким весом оценок все будут мошенничать.

Я им, конечно, отвечала о «коде чести», и что если поймают, будут большие неприятности. Что было делать?

Повторяю, что мы — не тупые американцы. Все всё понимают.

Но думайте о, так сказать, институционных стимулах. В чьих интересах создавать систему, где нет мошенничества на экзаменах?

Никто не хочет скандалов, жалоб, судебных исков, неизбежных обвинений в дискриминации.

Никто не хочет тратить собственное время и силы на организацию Самых Справедливых Экзаменов.

Как админы захватили университеты

Всё стало особенно плохо, когда универы захватили администраторы. Я писала об этом раньше.

В этом захвате виноваты все.

Профессора с радостью сбросили с себя все функции, которые можно было сбросить, якобы чтобы сконцентрироваться на исследованиях.

Администраторы, подхватившие эти функции, получили власть и деньги и начали массивно лоббировать за создание новых институционных структур, новых должностей, процедур, комиссий, правил, и прочего. Вопросы, которые раньше решались неформально, на ходу, за минуту, теперь решаются длинной процедурой.

Скажем, многие преподы (включая меня) уже 20 лет запрещают студентам пользоваться любой электроникой во время лекций. Но раньше к нам иногда подходили студенты и говорили, мол, можно ли мне исключение, у меня такая травма, не могу держать карандаш в руке. И мы на ходу говорили да.

Но теперь у нас такой власти нет. Теперь мы им говорим идти в офис студентов с инвалидностями, где от них требуют каких-то документов на рассмотрение какому-то бюрократу, который по какой-то процедуре что-то решает.

Преподы просто заходят в класс и видят каких-то студентов почему-то с компьютерами. Данный случай, конечно, мелочь, но это — везде.

В результате, власть перешла от профессоров к безлицым, неизвестным админам.

Из-за плодящейся бюрократии мошенничество среди студентов стало повсеместным. Только слепой этого не видит.

Ибо раньше, чтобы попросить пользоваться компьютером без хорошей причиы, нужно было посмотреть преподу в лицо и соврать. А теперь нужно подать бумажку в контору, и все знают, какую и куда, и какой врач за деньги ее тебе выпишет.

Вранье потеряло личностный компонент. И теперь врать не только не стыдно, но и, в какой-то мере, кто не врет, тот шмак и лузер.

И вранье теперь повсюду — а система осталась прежней, построенной на «кодексе чести». Списывание, групповая работа там, где требуется индивидуальная, использование нанятых людей для сдачи экзаменов, воровство условий экзаменов, которые должны были храниться в тайне, и так далее.

И добил последний клин в гроб, конечно, ИИ.

Замечательный натуральный эксперимент в Брауне

Вот сегодняшняя новость.

Университет Браун, часть Лиги Плюща. Очень престижный.

Некий профессор экономики, зная, что люди отвечают на стимулы, всегда давал мидтерм-экзамен (экзамен в середине семестра) в классе.

Но в прошлом году в Брауне произошла стрельба — вооруженный человек убил двоих студентов и ранил еще девятерых.

Естественно, студенты решили не позволить хорошему кризису пропасть даром и потребовали плюшек. Сдавать мидтерм-экзамен дома, якобы из-за того, что они боятся его писать в классе.

Всё шито белыми нитками, но проф решил не устраивать скандала и согласился.

Результат: средний балл на мидтерме — 96 из 100 возможных. А в предыдущие годы средний балл был от 65 до 80. Распределение оценок принципиально отличалось от нормального распределения, которое было в предыдущие годы.

Проф прогнал свой экзамен через ЧатГПТ и обнаружил, что один из популярных ответов, которые давали студенты — технически верный, но плохой, и «не-человеческий» — это именно то, что предложил ЧатГПТ.

Проф написал студентам, что подозревает их в использовании ИИ, и что финальный экзамен будет в классе, а не дома.

И еще проф написал — сразу видно, что экономист, продуктивно воспользовался экспериментом! — что если распределение оценок на финальном экзамене окажется тем же, что на мидтерме, то он оставит мидтерм в силе. Но если нет, то он объявит мидтерм недействительным.

Тут же 18 студентов бросили класс. Еще 9 остались, но не пришли на финальный экзамен.

И распределение оценок на финальном экзамене подтвердило подозрения профа — средний балл был 48.6 (а на мидтерме 95), самый низкий за все годы его преподавания. Раньше средний балл никогда не падал ниже 65.

Почему балл упал? Да потому, что студенты не работали в семестре, а тупо надеялись выехать на списывании ЧатаГПТ.

Всего несколько студентов получили похожие оценки на мидтерме и на финальном экзамене.

См. картинку — это потрясающе. Оценки мидтерма практически все около максимальных. Только один студент получил выше оценку на финальном экзамене, чем на мидтерме, и еще один — приблизительно похожие оценки.

Поголовное мошенничество. Массовое.

Конечно, теперь Браун решил открыть новую бюрократическую структуру, по изучению читинга и ИИ, и начать наказывать мошенников.

И что с этого?

Мне в этой истории нравится не скандал с поголовным мошенничеством, а то, как случай превращается в натуральный эксперимент.

В нормальной жизни университет почти никогда не соглашается на честный «эксперимент над собой».

Кстати, я в свое время предлагала устраивать эксперименты. Разумеется, безуспешно. Никто не хочет сознательно делать одну группу студентов «контрольной», а другую «экспериментальной», чтобы потом сравнивать качество преподавания, честность и провалы карьеры. Это слишком страшно, слишком политически токсично. Поэтому почти все наши разговоры об образовании остаются на уровне теории и морали.

Типичный повод для отказа был — ну, вы догадались -- что эксперименты подобного типа «неэтичны». Ну да, эсперименты с лекарствами от рака у детей этичны, а эксперименты над тем, какой метод преподавания приводит к лучшим результатам, неэтичны.

Но иногда случайный шок заставляет систему сделать то, что она никогда бы не сделала добровольно. Вот, как в Брауне — стрельба неожиданно разрешила изменить правила сдачи экзамена.

И у профессора появляется то, о чём мечтают эмпирические экономисты: две режимные группы, два институциональных мира, одинаковый курс, тот же преподаватель, те же студенты, разные условия стимулов. Это не лаборатория, а институт, который сам случайно поставил на себе опыт.

В этом и прелесть натуральных экспериментов:
они возникают там, где никто не собирался ничего доказывать. Меняем одну деталь — экзамен переносим из аудитории домой — и мир внезапно раскрывает, сколько было честности, а сколько удобного мифа.

Кстати, если вы уже прыгаете на стуле с идеями о том, как построить идеальный эксперимент такого типа и протестировать объем мошенничества в других универах и классах, просто знайте, что его ни за что не пропустит университетская комиссия по этике работы с людьми (IRB).

Главная функция которой, конечно же, держать и не пущать.

А здесь IRB-комиссию не спросили, потому что, формально, это не был эксперимент.

Если вам нужен повод еще раз пнуть этих IRB-бюрократов и прочих «этических философов», которые уничтожают экспериментальную науку многомесячным болотом разрешательного процесса — вот вам повод.

Если бы не IRB, какой-нибудь шустрый аспирант непременно протестировал бы размах ИИ-читинга раньше.

А так мы сидим, как почти буквальные подсадные утки, и ждем следующего стрелка, то бишь, катаклизма.