Сколько было скандалов прошедшим летом - там воровали ответы из Интернета, тут студенты писали за школьников. А вот надо же: на ЕГЭ прошлого года жульничали еще не очень много.
У моего преподавателя по матстатистике была присказка: чем дальше в лес - тем меньше телефонов. Шутка шуткой, но одно дело, когда телефоны считают на глазок, а другое - когда факт подтвержден статданными. Того своего преподавателя я почему-то вспомнил, когда слушал другого специалиста по матстатистике - проректора Московского института открытого образования Ивана Ященко. Выводы из исследования, проведенного по просьбе Рособрнадзора, получились забавные. Оно и понятно: еще никто за десять лет существования ЕГЭ не пробовал выяснить закономерности, с ним связанные. Как те телефоны в лесу...



Комментарии (33)
"... лучше отделять тех, кто пытается сдать "на халяву", от тех, кто готовился, но обладает низкими способностями...."
(1). Если продукт работы -- низок до безобразия и никак НЕ соответствует 11 годам отсидки, то что толку считать это наличием образования -- коли его все равно НЕТ. По той причине, по другой......... Пока не будет позиции: если НЕТ, то значит НЕТ -- то профанация продолжится. Лучше аттестат с двойкой выдавать, чем рисовать что-то "за старания" (без плодов).
(2). Раздувание хоть и простой части -- как угодно, но потянет время, потребное для более сложной части. (Если не разделять ЕГЭ вовсе, как предлагает Касьянов). Да и наличие случайного "шума", когда сильные ребята будут где-нибудь да описки всякие делать на пустом месте -- тоже увеличится.
В одном выигрыш, в другом проигрыш...... Так что варианты получаются в итоге -- так или иначе компромиссные.
Это должно создать стимулы для более серьёзной подготовки, когда всем станет ясно, что "халява" не пройдёт. И, кстати, позволит точнее устанавливать уровень порога для несдачи. Согласитесь, есть разница - выполнить правильно 3 задания или 15 заданий! Можно надеяться как-нибудь выполнить 3 задания - но чтобы сдать 15, пусть и простых, придётся готовиться. К тому же само значение порога никак не связано с методикой измерений - важен принцип корректности измерений (измеряем именно то, что надо) и минимизации погрешности измерений. Иначе зачем вообще что-то измерять?
Всё сказанное про ЕГЭ по математике - только мои предположения . Для того, чтобы делать сколько-нибудь серьёзные выводы, нужен доступ к результатам ЕГЭ.
"...задания части B достаточно сложны для части учащихся, находящихся вблизи нижнего порога..."
Там, у нижнего порога ТАКОЕ находится, что наводить точность тут -- разве что ради предлога: как бы выдать желаемое за действительное. Докуда бы опустить ещё критерии, чтобы отсутствующее среднее выдать за присутствующее.
Зачем, кому это надо?
"Сложность" части В и так гуманна до безобразия.
На "В чём, по-Вашему, Ященко неправ? Угадайку в математике НАДО было оставить?" - задания части B достаточно сложны для части учащихся, находящихся вблизи нижнего порога. Поэтому точность измерений в этой области заметно снизилась из-за того, что убрали ОЧЕНЬ ПРОСТЫЕ и ПРОСТЫЕ задания части A. К моему удивлению, по физике угадайка начинается только для самых сложных заданий части A, для простых заданий её нет. Я предполагаю, что то же относится и к математике. Соответственно, для повышения точности измерений надо было бы ввести дополнительно 7-10 очень простых и 7-10 простых вопросов части A, и при этом пороговый балл увеличить.
Я не понял, почему так должны различаться: случаи, когда сдаёт не тот человек, от случаев, когда ответ взят из Интернета или пришёл от "помощника" по телефону. Или от друга, сидящего за соседним столом. Этот "помощник" и выступает в роли того, другого человека. Почему там гауссово, а тут не гауссово?
И ещё не понимаю.
"... "угадайка" в вопросах части A ЕГЭ возникает только в заданиях высокой сложности, а в части B её нет. ...
...Ященко был не прав, убирая вместе с частью A простые вопросы с выбором ответа из ЕГЭ по математике)...."
В чём, по-Вашему, Ященко неправ? Угадайку в математике НАДО было оставить?
Я предложил другую методику: задания анализируются по сложности (проценту выполнения) и разбиваются на две части, подобранные по сложности так, чтобы средние сложности заданий и распределения для этих частей совпали. После чего можно строить зависимость баллов, полученных ОДНИМ И ТЕМ ЖЕ ЧЕЛОВЕКОМ для этих двух частей, друг от друга. И строим линейную аппроксимацию. В случае "естественных" данных отклонения от полученной прямой обязаны распределяться по гауссу. При наличии системных нарушений отклонения не будут гауссовыми. Имеются ещё очень чувствительные способы анализа, но их я пока не публиковал, поэтому раскрывать не буду. (Единственное, что я могу сказать: "угадайка" в вопросах части A ЕГЭ возникает только в заданиях высокой сложности, а в части B её нет. Поэтому решение об увеличении числа сложных вопросов части A вместо части B в ЕГЭ по физике является ошибочным и крайне вредным. Точно так же Ященко был не прав, убирая вместе с частью A простые вопросы с выбором ответа из ЕГЭ по математике).
Исключение составляет случай, когда идёт подмена части сдающих другими (учителями, студентами) - такое отклонение данным методом не зафиксировать. А вот если в регионе всем раздали 2-3 варианта, в которых решено не на 100%, но близко к тому - аномалия выявится. В 2010 году по Москве из 10 тыс. человек сдававших физику не более 300-500 человек показали аномальные результаты.
По поводу разлиция физики и математики: я, конечно, анализировал результаты по математике только для очень специфического контингента учащихся. Да и ЕГЭ по физике добровольный. Но, зная как проходила сдача ЕГЭ по разным предметам в Санкт-Петербурге и зная результаты сдачи ЕГЭ по физике в Москве я уверен, что в 2010 году сверхмассовых нарушений не было ни в Санкт-Петербурге, ни в Москве. Если бы мне удалось получить допуск к результатам ЕГЭ по разным предметам, я бы много что мог проверить... Но пока доступ не дают.
Вадим, Вы меня заинтриговали. Что означает "результаты -- как у Ященко"? Ведь ЕГЭ по математике и по физике -- две разные игры. Совершенно. Один обязателен, другой --нет. Для желающих-заинтересованных. Существенно разные контингенты. Да кстати, и корреляция между результатами ЕГЭ и прочими видами испытаний -- тоже относится лишь к той НЕБОЛЬШОЙ части школьников, что идут сдавать физику.
Вопрос о списываниях, "помощи", роли Интернета. Все ли аномалии, по-Вашему, ловятся? Собственно, почему, например, роль "помощи" по мобильнику или Интернету не ложится, в свою очередь, ТОЖЕ под гауссово распределение?
Так можете коротенько-тезисно обозначить: ЧТО именно Вы обнаружили, какие выводы совпадают с Ященко и почему?
Различие результатов пробных ЕГЭ/ГИА от основных -- ещё и психологические. Там игра "не на деньги", понарошку, тут -- "на деньги". Так что на результаты по школе --тут влияет такая трудноизмеримая штука, как "настрой". В том числе, ежели хотите, насколько учеников этой школы застращали, чтобы они и к пробному отнеслись серьёзно.
По крайней мере, похоже, удалось отстоять необходимость поступления в вузы по дипломам олимпиад. И, я надеюсь, эти результаты дадут возможность препятствовать ликвидации лицеев и гимназий.
И не надо переоценивать возможность влияния научных данных на методику преподавания или на ситуацию у нас в стране.
Вадим, спасибо за комментарий. У меня лишь один вопрос! На сколько и как могут повлиять Ваши научные исследования на качества текстов ЕГЭ. И второе, как тот факт , "что способность выполнять простые задания соответствует очень широкому диапазону способности выполнения более сложных заданий, от низкого до высокого. Показано, что способность выполнять сложные задания гарантирует способность выполнять более простые задания." учитывается и используется в практике современной школы?
Спасибо!
"То есть, всему надо учить, в том числе и учить учителй решать ЕГЭ, чтобы, таким образом, повысить качество по результатам ЕГЭ у учеников."
Ольга, то, что Вы обозначаете в своем комментарии, весьма важно. При большом колличестве нововведений не был решен вопрос сопровождения процессов внедрения, освоения, анализа результатов и т.д. ЕГЭ только один из элементов нового содержания, но который раскрывает многие проблемы в Российском образовании(результат), относительно способа модернизации образования.
Тр же и с просто подбором учеников, экзамен по информатике в сущности тест интеллекта и только потом программирования и знаний.
Разброс процентов в 30 и более, заведомо .
То есть, всему надо учить, в том числе и учить учителй решать ЕГЭ, чтобы, таким образом, повысить качество по результатам ЕГЭ у учеников. Пока у нас с этим туго. Года два назад приезжали в район люди, обучали за деньги - причем пропускали в зал в обмен на 150 руб. с человека за полтора часа работы. Честно, говоря, оказалось не очень полезно, как всегда, общие слова и пожелания из общедоступных инструкций. Хотя был бы полезен тренинг.
Вторую статью (Зависимость результатов измерения способностей учащихся от сложности заданий // Компьютерные инструменты в образовании, 2011. № 3. С.42-50) без разрешения редакции выложить не могу.
Привожу аннотацию:
Проведен анализ результатов ЕГЭ по физике для 10472 учащихся, а также моделирование на основе теории Раша с параметрами заданий, соответствующими результатам ЕГЭ. Предложена методика выявления формы зависимостей с помощью усреднения специальным образом отсортированных данных.
Показано, что результаты выполнения заданий части A ЕГЭ (тестов с выбором одного варианта из нескольких) могут быть объяснены с помощью теории Раша. Результаты выполнения заданий других типов (заданий частей B и C) качественно соответствуют предсказаниям теории Раша, но количественно отклоняются от соответствующих зависимостей.
При сравнении испытаний различной сложности очень важными факторами являются статистический разброс и нелинейность зависимостей. Показано, что способность выполнять простые задания соответствует очень широкому диапазону способности выполнения более сложных заданий, от низкого до высокого. Показано, что способность выполнять сложные задания гарантирует способность выполнять более простые задания.
Третья статья (Погрешность измерения результатов ЕГЭ по физике - соавтор Наиль Ханнанов), вроде бы, принята в журнал "Педагогика".
Результаты по учителям пока не на уровне научного исследования, это просто наблюдение по результатам выполнения тренировочных заданий олимпиады.
В свое время в тех регионах, где учителя в время аттестации сдавали экзамен по материалам ЕГЭ, проводилось исследование, сравнивали результаты учеников и их учителей. Исследование показало, что результаты у учеников и учителей было очень схожи. У учителей, которые слабовато сдавали экзамен и дети особо не блистали, и наоборот.
Причём впервые в стране, и эти результаты уже опубликованы (кстати, это были первые и единственные научные статьи по точности измерения современного варианта ЕГЭ. Единственная аналогичная статья по пробному варианту ЕГЭ была опубликована в 2004 году Хлебниковым).
- Вероятно, Ященко провёл аналогичное исследование, только более масштабное, так как у него имеется доступ ко всем материалам по математике.
Так вот, по Москве у меня для физики абсолютно такие же результаты, как у Ященко. А меня вряд ли кто-то заподозрит, что я делал это исследование "под заказ" - мне за него никто ни копейки не заплатил, это инициативное исследование, не включённое ни в какой план и проводимое исключительно за свой счёт из интереса.
К сожалению, у предложенной мной методики (вероятно, использованной Ященко) имеется недостаток - если за одного человека ЕГЭ писал другой, это невозможно выявить без сравнения результатов ЕГЭ по физике и результатов ЕГЭ по математике. А по другим предметам данных вообще нет. Можно делать только грубые оценки по отклонению от гауссова распределения - именно отсюда верхняя оценка в 7% нарушений.
Опять-таки, моё исследование (результаты не публиковались) показало, что уровень подготовки участников олимпиад имеет совершенно такое же распределение, как уровень подготовки учителей физики - от очень низкого уровня до очень высокого, с пиком в области относительно низких баллов (в основном на уровне школьной "четвёрки" - а многие и на уровне "тройки"). Как ни странно, не самые плохие учителя не очень хорошо умеют выполнять задания по своему предмету.
Так что если вместо учащихся на местах ЕГЭ будут писать их учителя - никакого резкого повышения результатов не будет.
И так, прекрасная маркиза, всё хорошо, всё хорошо?!
Рособрнадзору хочется верить -- блаженны верущие... А если ему хочется, чтобы и другие в это верили, то -- извините -- это уже блажь.
Этот щелкопер интересовался -- что закон велит только про обязательное ОСНОВНОЕ среднее?
"...За последние два года стало намного больше ребят, успешно сдающих ЕГЭ по физике и математике...."
Так ведь критерии "успешности" сильно спустили.
И так далее.
Ваш комментарий
Для того, чтобы добавить комментарий, необходимо авторизоваться.
Стать участником »