версия для печати27.01
Сколько было скандалов прошедшим летом - там воровали ответы из Интернета, тут студенты писали за школьников. А вот надо же: на ЕГЭ прошлого года жульничали еще не очень много.
       У моего преподавателя по матстатистике была присказка: чем дальше в лес - тем меньше телефонов. Шутка шуткой, но одно дело, когда телефоны считают на глазок, а другое - когда факт подтвержден статданными. Того своего преподавателя я почему-то вспомнил, когда слушал другого специалиста по матстатистике - проректора Московского института открытого образования Ивана Ященко. Выводы из исследования, проведенного по просьбе Рособрнадзора, получились забавные. Оно и понятно: еще никто за десять лет существования ЕГЭ не пробовал выяснить закономерности, с ним связанные. Как те телефоны в лесу...

подробнее »

пресс-центр МОН РФКомментарии (33)

Комментарии (33)   RSS-лента последних комментариев к этому материалу

воронн
30.01.12 16:28:00#33
На 32.
"... лучше отделять тех, кто пытается сдать "на халяву", от тех, кто готовился, но обладает низкими способностями...."
(1). Если продукт работы -- низок до безобразия и никак НЕ соответствует 11 годам отсидки, то что толку считать это наличием образования -- коли его все равно НЕТ. По той причине, по другой......... Пока не будет позиции: если НЕТ, то значит НЕТ -- то профанация продолжится. Лучше аттестат с двойкой выдавать, чем рисовать что-то "за старания" (без плодов).
(2). Раздувание хоть и простой части -- как угодно, но потянет время, потребное для более сложной части. (Если не разделять ЕГЭ вовсе, как предлагает Касьянов). Да и наличие случайного "шума", когда сильные ребята будут где-нибудь да описки всякие делать на пустом месте -- тоже увеличится.
В одном выигрыш, в другом проигрыш...... Так что варианты получаются в итоге -- так или иначе компромиссные.
Вадим Монахов
30.01.12 15:05:17#32
На #30: "Зачем, кому это надо? "Сложность" части В и так гуманна до безобразия." - дело в том, что повышение точности измерений позволит лучше отделять тех, кто пытается сдать "на халяву", от тех, кто готовился, но обладает низкими способностями. Простые задания выполняются очень быстро, поэтому имеющегося времени хватит.

Это должно создать стимулы для более серьёзной подготовки, когда всем станет ясно, что "халява" не пройдёт. И, кстати, позволит точнее устанавливать уровень порога для несдачи. Согласитесь, есть разница - выполнить правильно 3 задания или 15 заданий! Можно надеяться как-нибудь выполнить 3 задания - но чтобы сдать 15, пусть и простых, придётся готовиться. К тому же само значение порога никак не связано с методикой измерений - важен принцип корректности измерений (измеряем именно то, что надо) и минимизации погрешности измерений. Иначе зачем вообще что-то измерять?

Всё сказанное про ЕГЭ по математике - только мои предположения . Для того, чтобы делать сколько-нибудь серьёзные выводы, нужен доступ к результатам ЕГЭ.
Петр Токарев
30.01.12 14:21:03#31
Может быть, это глупая и нелепая идея, но всё-таки… нельзя ли ввести некое подобие контрольных сумм? В принципе, это как раз то, что предлагает #29. В точных науках это вполне реализуемо, но и в гуманитарных, как ни удивительно тоже.
воронн
30.01.12 14:19:08#30
На 29.
"...задания части B достаточно сложны для части учащихся, находящихся вблизи нижнего порога..."
Там, у нижнего порога ТАКОЕ находится, что наводить точность тут -- разве что ради предлога: как бы выдать желаемое за действительное. Докуда бы опустить ещё критерии, чтобы отсутствующее среднее выдать за присутствующее.
Зачем, кому это надо?
"Сложность" части В и так гуманна до безобразия.
Вадим Монахов
30.01.12 13:46:26#29
На #25: "почему так должны различаться: случаи, когда сдаёт не тот человек, от случаев, когда ответ взят из Интернета или пришёл от "помощника" по телефону" - если имеется 2-3 ОДИНАКОВЫХ варианта, с которых все списывают (ответ взят из Интернета с одного сайта), разницу легко заметить, т.к. отклонения будут в одну сторону. "Помощь по телефону" - это та же подмена человека, которую не обнаружить. Но если часть заданий человек выполнял сам, а часть списывал (или за него решал другой) - это будет аномальная точка, её легко обнаружить.

На "В чём, по-Вашему, Ященко неправ? Угадайку в математике НАДО было оставить?" - задания части B достаточно сложны для части учащихся, находящихся вблизи нижнего порога. Поэтому точность измерений в этой области заметно снизилась из-за того, что убрали ОЧЕНЬ ПРОСТЫЕ и ПРОСТЫЕ задания части A. К моему удивлению, по физике угадайка начинается только для самых сложных заданий части A, для простых заданий её нет. Я предполагаю, что то же относится и к математике. Соответственно, для повышения точности измерений надо было бы ввести дополнительно 7-10 очень простых и 7-10 простых вопросов части A, и при этом пороговый балл увеличить.
Петр Токарев
30.01.12 13:12:24#28
И вообще, стоит чётко разграничивать коррупцию (беспорядок, нарушения) и научную «стоимость» ЕГЭ. Это важно. Они хоть и связаны, но коррупция в её теперешнем виде имеет абсолютно другие корни и существует ещё и сама по себе. Борьба с ней – одна из главных (но не первая) причина введения ЕГЭ.
Петр Токарев
30.01.12 11:22:40#27
Как ни странно, независимость испытаний (как её понимает большинство) возможна. То есть вполне реально оторвать знания и умения от влияния «родных» стен и даже от пресловутой погони за показателями. Заметьте, что даже не большое изменение в процедуре способно нанести значительный вред любому (!) коррупционному сговору, как ни наивно это звучит. «Угадайка» устранима, и это, если не ошибаюсь, доказано математически. Проблема, правда, остаётся ещё и ввиду существования экспертных и апелляционных комиссий. А вот пересекающиеся знания – это действительно важный вопрос, от решения которого полностью зависит качество и структура испытаний будущего.
воронн
30.01.12 08:57:28#26
И кстати, эта гауссовость вообще основана на предположении о НЕЗАВИСИМОСТИ испытаний. (И модель Раша, кажется, тоже). В реальности -- это, похоже, не так. Знания, необходимые для выполнения разных заданий, ПЕРЕСЕКАЮТСЯ. Человек, не освоивший некую тему -- будет проваливаться на всех заданиях, где эта тема пригождается. И так далее.
воронн
30.01.12 08:45:15#25
На 22.
Я не понял, почему так должны различаться: случаи, когда сдаёт не тот человек, от случаев, когда ответ взят из Интернета или пришёл от "помощника" по телефону. Или от друга, сидящего за соседним столом. Этот "помощник" и выступает в роли того, другого человека. Почему там гауссово, а тут не гауссово?

И ещё не понимаю.

"... "угадайка" в вопросах части A ЕГЭ возникает только в заданиях высокой сложности, а в части B её нет. ...
...Ященко был не прав, убирая вместе с частью A простые вопросы с выбором ответа из ЕГЭ по математике)...."

В чём, по-Вашему, Ященко неправ? Угадайку в математике НАДО было оставить?
Владимир Риттер
30.01.12 01:23:52#24
На # 20. Я предлагаю сверить не только баллы предварительного экзамена "на интерес" и экзамена "на деньги", но и количество участвовавших. Окажется, что те, что получат 99,9 баллов из 100 на "интерес" играть просто не пришли. Чтобы вопрос о разнице в баллах не возник. Психологический фактор тоже поддаётся фиксации. Если задаться целью его учесть. например, в ежегодных анкетах, заполняемых выпускниками. Вот, только заполняли... Да! Есть ещё неучтённый В.В. Монаховым момент: изменение баллов после апелляции и повторной сдачи одного обязательного экзамена. в случае не преодоления "порога". Наверное, это будут незначительные отклонения от основной массы сдававших. Но пока данных нет... Вадим Валерьевич прав в том, что пока итоги ЕГЭ/ГИА (статистика со всеми возможными показателями) не будет в открытом доступе, то какие-либо расчёты и методики этих расчётов считать объективными по большому счёту нельзя.
Матвеева Татьяна
29.01.12 21:41:14#23
Вот это радует! Не повторять избитые аргументы публицистов против ЕГЭ (главным из которых является - нравится/не нравится), а использовать научный подход.
Вадим Монахов
29.01.12 18:16:07#22
На #21: Анализ формы распределения - принципиально неверный подход. Оно не является гауссовским и в принципе не может быть гауссовским, так как имеются принципиально разные программы обучения (базовая и профильная) с совершенно разным числом часов. Так что даже в идеале это будет наложением двух гауссиан.
Я предложил другую методику: задания анализируются по сложности (проценту выполнения) и разбиваются на две части, подобранные по сложности так, чтобы средние сложности заданий и распределения для этих частей совпали. После чего можно строить зависимость баллов, полученных ОДНИМ И ТЕМ ЖЕ ЧЕЛОВЕКОМ для этих двух частей, друг от друга. И строим линейную аппроксимацию. В случае "естественных" данных отклонения от полученной прямой обязаны распределяться по гауссу. При наличии системных нарушений отклонения не будут гауссовыми. Имеются ещё очень чувствительные способы анализа, но их я пока не публиковал, поэтому раскрывать не буду. (Единственное, что я могу сказать: "угадайка" в вопросах части A ЕГЭ возникает только в заданиях высокой сложности, а в части B её нет. Поэтому решение об увеличении числа сложных вопросов части A вместо части B в ЕГЭ по физике является ошибочным и крайне вредным. Точно так же Ященко был не прав, убирая вместе с частью A простые вопросы с выбором ответа из ЕГЭ по математике).

Исключение составляет случай, когда идёт подмена части сдающих другими (учителями, студентами) - такое отклонение данным методом не зафиксировать. А вот если в регионе всем раздали 2-3 варианта, в которых решено не на 100%, но близко к тому - аномалия выявится. В 2010 году по Москве из 10 тыс. человек сдававших физику не более 300-500 человек показали аномальные результаты.

По поводу разлиция физики и математики: я, конечно, анализировал результаты по математике только для очень специфического контингента учащихся. Да и ЕГЭ по физике добровольный. Но, зная как проходила сдача ЕГЭ по разным предметам в Санкт-Петербурге и зная результаты сдачи ЕГЭ по физике в Москве я уверен, что в 2010 году сверхмассовых нарушений не было ни в Санкт-Петербурге, ни в Москве. Если бы мне удалось получить допуск к результатам ЕГЭ по разным предметам, я бы много что мог проверить... Но пока доступ не дают.
воронн
29.01.12 17:04:06#21
На 8.
Вадим, Вы меня заинтриговали. Что означает "результаты -- как у Ященко"? Ведь ЕГЭ по математике и по физике -- две разные игры. Совершенно. Один обязателен, другой --нет. Для желающих-заинтересованных. Существенно разные контингенты. Да кстати, и корреляция между результатами ЕГЭ и прочими видами испытаний -- тоже относится лишь к той НЕБОЛЬШОЙ части школьников, что идут сдавать физику.

Вопрос о списываниях, "помощи", роли Интернета. Все ли аномалии, по-Вашему, ловятся? Собственно, почему, например, роль "помощи" по мобильнику или Интернету не ложится, в свою очередь, ТОЖЕ под гауссово распределение?
Так можете коротенько-тезисно обозначить: ЧТО именно Вы обнаружили, какие выводы совпадают с Ященко и почему?
воронн
29.01.12 16:53:13#20
На 10.
Различие результатов пробных ЕГЭ/ГИА от основных -- ещё и психологические. Там игра "не на деньги", понарошку, тут -- "на деньги". Так что на результаты по школе --тут влияет такая трудноизмеримая штука, как "настрой". В том числе, ежели хотите, насколько учеников этой школы застращали, чтобы они и к пробному отнеслись серьёзно.
Вадим Монахов
29.01.12 12:27:41#19
На #18: Будем надеяться, что эти результаты учтут при рассмотрении вопросов, связанных с развитией нашей системы образования.
По крайней мере, похоже, удалось отстоять необходимость поступления в вузы по дипломам олимпиад. И, я надеюсь, эти результаты дадут возможность препятствовать ликвидации лицеев и гимназий.

И не надо переоценивать возможность влияния научных данных на методику преподавания или на ситуацию у нас в стране.
Лариса Шейкина
29.01.12 11:37:57#18
На 13.
Вадим, спасибо за комментарий. У меня лишь один вопрос! На сколько и как могут повлиять Ваши научные исследования на качества текстов ЕГЭ. И второе, как тот факт , "что способность выполнять простые задания соответствует очень широкому диапазону способности выполнения более сложных заданий, от низкого до высокого. Показано, что способность выполнять сложные задания гарантирует способность выполнять более простые задания." учитывается и используется в практике современной школы?
Спасибо!
Лариса Шейкина
29.01.12 11:25:23#17
на 14.

"То есть, всему надо учить, в том числе и учить учителй решать ЕГЭ, чтобы, таким образом, повысить качество по результатам ЕГЭ у учеников."
Ольга, то, что Вы обозначаете в своем комментарии, весьма важно. При большом колличестве нововведений не был решен вопрос сопровождения процессов внедрения, освоения, анализа результатов и т.д. ЕГЭ только один из элементов нового содержания, но который раскрывает многие проблемы в Российском образовании(результат), относительно способа модернизации образования.
gsi
29.01.12 00:29:44#16
Связь балов учеников с баллами учителей имеется, но не прямая. Чему можно научить за один час в неделю выбравшего экзамен вот сейчас, хочу и точка, и никаких прав ему отказать и никакого его желания учиться тоже нет, просто потребовали от него четвертый экзамен, а на другие уроки он забивал, а "компьютер знаю"...
Тр же и с просто подбором учеников, экзамен по информатике в сущности тест интеллекта и только потом программирования и знаний.
Разброс процентов в 30 и более, заведомо .
gsi
29.01.12 00:19:59#15
Изменили принцип начисления баллов по математике в сторону больших ЧИСЕЛ балов, а теперь выдают это результат, ПОСТЫДИЛИСЬ БЫ как вдохновители шекоперов журналюг, так и сами, мозги включите, дай бог в луже лжи сгорят от стыда!
Ольга Столбовская
28.01.12 22:23:39#14
По поводу решения ЕГЭ учителями. Не всегда низкие результаты ЕГЭ у учителей связаны с плохим знанием предмета. Здесь может быть, напротив, знания предмета глубоки настолько, что человек пытается в простом вопросе отыскать подоплёку и некие глубины, в результате тратит время на простые вопросы, запутывается в сложных и т.д. Часто просто нет навыка работы с тестами. Это же бывает и с хорошо знающими предмет детьми.
То есть, всему надо учить, в том числе и учить учителй решать ЕГЭ, чтобы, таким образом, повысить качество по результатам ЕГЭ у учеников. Пока у нас с этим туго. Года два назад приезжали в район люди, обучали за деньги - причем пропускали в зал в обмен на 150 руб. с человека за полтора часа работы. Честно, говоря, оказалось не очень полезно, как всегда, общие слова и пожелания из общедоступных инструкций. Хотя был бы полезен тренинг.
Вадим Монахов
28.01.12 21:56:31#13
На #12: первую статью, посвящённую сравнительному анализу ЕГЭ и интернет-олимпиады по физике, можете прочитать по ссылке http://is.ifmo.ru/works/2011/Monahov-KOI-EGE.pdf
Вторую статью (Зависимость результатов измерения способностей учащихся от сложности заданий // Компьютерные инструменты в образовании, 2011. № 3. С.42-50) без разрешения редакции выложить не могу.
Привожу аннотацию:

Проведен анализ результатов ЕГЭ по физике для 10472 учащихся, а также моделирование на основе теории Раша с параметрами заданий, соответствующими результатам ЕГЭ. Предложена методика выявления формы зависимостей с помощью усреднения специальным образом отсортированных данных.
Показано, что результаты выполнения заданий части A ЕГЭ (тестов с выбором одного варианта из нескольких) могут быть объяснены с помощью теории Раша. Результаты выполнения заданий других типов (заданий частей B и C) качественно соответствуют предсказаниям теории Раша, но количественно отклоняются от соответствующих зависимостей.
При сравнении испытаний различной сложности очень важными факторами являются статистический разброс и нелинейность зависимостей. Показано, что способность выполнять простые задания соответствует очень широкому диапазону способности выполнения более сложных заданий, от низкого до высокого. Показано, что способность выполнять сложные задания гарантирует способность выполнять более простые задания.

Третья статья (Погрешность измерения результатов ЕГЭ по физике - соавтор Наиль Ханнанов), вроде бы, принята в журнал "Педагогика".

Результаты по учителям пока не на уровне научного исследования, это просто наблюдение по результатам выполнения тренировочных заданий олимпиады.
Лариса Шейкина
28.01.12 21:19:23#12
Вадим, есть возможность опубликовать свои мсследования на форуме. А почему нет? Сравним с предложенными. Будет более полная и объектвная картина.
Любовь Туз
28.01.12 17:23:25#11
С 2003 года в Республике ЕГЭ. В 2011 ЕГЭ сдавали "родительские кошельки".
Владимир Риттер
28.01.12 15:40:54#10
На №8. В том-то и дело. Я могу предложить сверять результаты предварительных ЕГЭ/ГИА и результаты собственно ЕГЭ/ГИА. На сколько баллов может ученик повысить свои достижения? А если у всех учеников одной школы разительное отличие? Для меня это означает, что все варианты ГИА были решены учителями. С ЕГЭ история другая -- там вариантов больше. Как делалось в Морозовске -- это даже для глубинки большая наглость. Не по сути, но по форме. Не все учителя настолько продажные, чтобы участвовать в этом дерьме. Поэтому есть некий "пул". Количество учителей там ограничено. Им приходится решать за нескольких "проплаченных". И только к отдельным приставлены "персональные" "мозги". Хотя и студнты тоже "подрабатывают". Главное, чтобы задания принесли или канал связи был надёжным. Этим же "клиентам" "рисуются" медали. Но найдёте ли вы их среди призёров или победителей хотя бы региональных олимпиад, конкурсов? Поставьте условием приёма в вузы не только высокие баллы ЕГЭ, но и приложение к ним побед/призёрства и, либо коррупция изменит координаты и вектор, либо "качество" первокурсников в МГИМО (и не только) повысится.
Владимир Кучурин
28.01.12 15:07:32#9
"Так что если вместо учащихся на местах ЕГЭ будут писать их учителя - никакого резкого повышения результатов не будет".

В свое время в тех регионах, где учителя в время аттестации сдавали экзамен по материалам ЕГЭ, проводилось исследование, сравнивали результаты учеников и их учителей. Исследование показало, что результаты у учеников и учителей было очень схожи. У учителей, которые слабовато сдавали экзамен и дети особо не блистали, и наоборот.
Вадим Монахов
28.01.12 11:47:08#8
На #4,7: Я сам проводил такое исследование по результатам 2010 года, только для ЕГЭ по физике (10 тыс. учащихся - вся Москва, плюс 500 учащихся из разных регионов) и математике (500 учащихся из разных регионов).
Причём впервые в стране, и эти результаты уже опубликованы (кстати, это были первые и единственные научные статьи по точности измерения современного варианта ЕГЭ. Единственная аналогичная статья по пробному варианту ЕГЭ была опубликована в 2004 году Хлебниковым).

- Вероятно, Ященко провёл аналогичное исследование, только более масштабное, так как у него имеется доступ ко всем материалам по математике.

Так вот, по Москве у меня для физики абсолютно такие же результаты, как у Ященко. А меня вряд ли кто-то заподозрит, что я делал это исследование "под заказ" - мне за него никто ни копейки не заплатил, это инициативное исследование, не включённое ни в какой план и проводимое исключительно за свой счёт из интереса.

К сожалению, у предложенной мной методики (вероятно, использованной Ященко) имеется недостаток - если за одного человека ЕГЭ писал другой, это невозможно выявить без сравнения результатов ЕГЭ по физике и результатов ЕГЭ по математике. А по другим предметам данных вообще нет. Можно делать только грубые оценки по отклонению от гауссова распределения - именно отсюда верхняя оценка в 7% нарушений.

Опять-таки, моё исследование (результаты не публиковались) показало, что уровень подготовки участников олимпиад имеет совершенно такое же распределение, как уровень подготовки учителей физики - от очень низкого уровня до очень высокого, с пиком в области относительно низких баллов (в основном на уровне школьной "четвёрки" - а многие и на уровне "тройки"). Как ни странно, не самые плохие учителя не очень хорошо умеют выполнять задания по своему предмету.
Так что если вместо учащихся на местах ЕГЭ будут писать их учителя - никакого резкого повышения результатов не будет.
Владимир Риттер
28.01.12 07:16:52#7
На # 5. Россобрнадзору виднее... А пара-тройка жирнолистов всегда найдётся, с воспоминаниями об их преподавателях матанализа или теории вероятности, или без... И интервью возьмут у "самовидцев" о том, что все были в белых халатах и "скафандрах", чтобы вирус коррупции не проник нечаянно в мозг.
Владимир Риттер
28.01.12 07:11:43#6
Что желает Рособрнадзор и Министерство образования в качестве ответной реакции на эту новость? 1) Закрепления в головах мысли: всё не так уж плохо, как было и могло бы быть, а будет ещё лучше. 2) Шум вокруг ЕГЭ раздут. 3) Альтернативы ЕГЭ нет. 4) Возможности совершенствования ЕГЭ безграничны, или, в любом случае есть.

И так, прекрасная маркиза, всё хорошо, всё хорошо?!
Ольга Столбовская
28.01.12 07:09:17#5
У нас в 2011 году один выпускник как раз 2009 решил снова сдать ЕГЭ для поступленгия по русскому, математике и обществознанию. Говорит, что списывало тогда меньше детей, чем этот раз.
Владимир Риттер
28.01.12 07:00:39#4
Рособрнадзор после громких скандалов, которые являются верхушкой айсберга или, вернее, целой Атлантиды жульничества и коррупционности под названием "ЕГЭ", заказал и оплатил исследование. Удивительно, что исследование вообще показало наличие "отдельных недостатко" и что "кое-где и кое-кто у нас порой честно жить не хочет...". А не объявило прошлогодние вопиющие случаи "исключением из общего правила непорочной сдачи ЕГЭ".

Рособрнадзору хочется верить -- блаженны верущие... А если ему хочется, чтобы и другие в это верили, то -- извините -- это уже блажь.
Филолух
28.01.12 06:47:23#3
C одним согласен: части учеников после 9-го надо идти в техникум, а не хвататься, как за юбку, за школу...
Тариэль Эдоков
28.01.12 06:36:46#2
По Конституции 1993 г. обязательным является Основное общее образование. По "Закону об образовании" 1992 г. (редакция 1996 г.) обязательным все же является среднее.
воронн
28.01.12 06:20:16#1
В статье: "...В России всеобщее полное среднее образование. Так велит закон...."
Этот щелкопер интересовался -- что закон велит только про обязательное ОСНОВНОЕ среднее?

"...За последние два года стало намного больше ребят, успешно сдающих ЕГЭ по физике и математике...."
Так ведь критерии "успешности" сильно спустили.

И так далее.

Ваш комментарий

Для того, чтобы добавить комментарий, необходимо авторизоваться.
Стать участником »

Рассылка Педсовета



Выходит еженедельно по средам.
Подробнее »

Новые комментарии   RSS-лента последних комментариев к материалам сайта

ЛМС школа

1001 идея интересного занятия с детьми. Сезон 2011/2012

300 руб.

Сборник работ участников конкурса на Всероссийском интернет-педсовете


Сборник творческих произведений "Вселенная Учитель"

300 руб.

Сборник является подтверждением Вашего участия конкурсе творческих произведений "Вселенная Учитель" и может быть использован для портфолио, а также для подарка коллегам, передачи в библиотеку и т.д.


Оформление сертификата (печатного)

190 руб.

Печатный сертификат предоставляется любому зарегистрированному на сайте Pedsovet.org участнику для документального подтверждения размещения материалов в Интернете; участия в интернет-сообществах; размещения портфолио (личного сайта, блога) в Интернете; подтверждения авторских прав.


Сборник докладов 12-го Всероссийского интернет-педсовета

300 руб.

Сборник является подтверждением Вашего участия во всероссийской акции http://12.pedsovet.org и может быть использован для портфолио, а также для подарка коллегам, передачи в библиотеку и т.д.