ИИ в TCF
Что мы знаем про искусственный интеллект, используемый в TCF?
С мая 2024 года (уже год как) в письменной части TCF, сдаваемой на компьютере, постепенно начали внедрять систему автоматической оценки — FIDELIA. Это не замена человеку, а дополнение к привычной двойной проверке: теперь одна из двух оценок может быть поставлена искусственным интеллектом.
Что такое FIDELIA?
FIDELIA — это автоматизированная система помощи при проверке, разработанная France Éducation international в сотрудничестве с научной лабораторией CENTAL (Université de Louvain-la-Neuve, Бельгия). Система принадлежит исключительно FEI.
FIDELIA использует направленную модель искусственного интеллекта, не генеративную. Это значит, как утверждается составителями, что на одну и ту же работу она всегда будет давать один и тот же результат, без случайных отклонений. Модель стабильна, воспроизводима и не подвержена влиянию усталости или настроения. Мы надеемся 😂
Как работает новая схема оценки?
📍Сохраняется принцип двойной «слепой» проверки, действующий с 2014 года.
📍Если работа сдана на компьютере, то она будет проверена одним корректором-человеком и системой FIDELIA.
📍Итоговая оценка выносится на основе двух результатов.
📍В случае расхождения между оценками — проводится третья проверка человеком.
Таким образом, оценка основывается на сотрудничестве человека и машины.
На сайте написано, что
📌в 70% случаев оценки FIDELIA и человеческого корректора совпадают;
📌однако система может затрудняться в оценке нетипичных текстов, которых не было в её базе;
📌В таких ситуациях роль человеческого корректора особенно важна, потому что только человек способен гибко интерпретировать незнакомые языковые конструкции.
FIDELIA, в свою очередь, всегда стабильна, не устает и не ошибается из-за невнимательности. Где-то мы это уже слышали. Она обеспечивает единообразную проверку — как если бы работу проверяла целая группа корректоров.
Как создавали FIDELIA: основные этапы
Разработка FIDELIA — это результат многолетней работы. Вот ключевые шаги, через которые прошли разработчики:
1️⃣Ещё 10 лет назад была введена двойная проверка письменных работ — именно она стала необходимым предварительным условием для появления системы автоматической оценки.
2️⃣France Éducation international создала большую базу письменных работ TCF, уже проверенных экзаменаторами. Из этой базы было отобрано 27 000 текстов, при этом тщательно следили за тем, чтобы корпус был разнообразным и не отдавал предпочтения какой-то одной группе кандидатов.
3️⃣Все эти тексты были повторно проверены 55 сертифицированными корректорами TCF, чтобы уточнить и закрепить уровни.
4️⃣Затем специалисты выделили 48 языковых признаков — не дублирующихся, чётко измеримых — которые действительно помогают отличать один уровень владения языком от другого.
5️⃣Модель обучили: её научили оценивать уровень текста на основе уже присвоенного ему уровня и этих 48 параметров.
Если кому-то интересно моё мнение — по мне, внедрение искусственного интеллекта в систему оценки TCF — это логичный и закономерный шаг. Лично меня это новшество только ещё раз убедило в мысли, которую я давно разделяю: сдать экзамен — это не то же самое, что «выучить весь французский».
Именно поэтому в своей работе я делаю акцент на корпусный подход, просто не знала, что он так называется, и обучаю тому, как соответствовать конкретным ожиданиям формата и нужного уровня. Видимо, продолжу делать это и дальше — теперь уже с оглядкой на машины. В ближайших планах написать примерно +100500 писем в FEI, чтобы докопаться до сути некоторых вопросов. Буду держать вас в курсе.