Личный кабинет

Пересчет первичного балла в тестовый

Обсуждается шкала ЕГЭ
Семенов Вадим ( Пользователь )
Сейчас пересчета "первичных" баллов (по одному за каждый правильный ответ в тестовой части плюс несколько за задачи из части С) в "тестовые" то там применяется однопараметрическая модель Раша в модификации Ю.М.Неймана. Я считаю это обстоятельство одним из недостатков нынешнего исполнения ЕГЭ. Объясню, почему.

1. Строго говоря, применение модели Раша не вполне обоснованно с математической точки зрения, поскольку не обеспечиваются необходимые для нее условия. Разумеется, преобразование является монотонным, т.е. большему первичному баллу будет соответствовать больший тестовый балл (и наоборот) и поэтому его можно использовать для конкурсного приема в вузы. Но без соблюдения необходимых условий в таком шкалировании теряется всякий смысл, поскольку создается лишь видимость реализации всех преимуществ этой теории.

2. Результат шкалирования не имеет какой-либо общепонятной интерпретации. В результате итоговый результат начинает интерпретироваться широкими массами как процент правильно выполненных заданий (что совершенно не соответствует действительности). Когда же выясняется, что такого простого и наглядного смысла в тестовом балле нет, нередко возникает позиция "чувствую, мухлюют, но обосновать не могу". В частности, по русскому языку (самому легкому предмету) такой пересчет дает более низкий тестовый балл, чем первичный и недоумение "за что мне срезали баллы?"

Раз уж нет возможности применить модель Раша, было бы гораздо разумнее использовать т.н. "рейтинг-балл". Он определяется как процент выпускников, которые сдали экзамен хуже. Скажем, рейтинг-балл 80 означает, что данный выпускник сдал лучше, чем 80% выпускников. Если вуз устанавливает проходной балл на уровне 80, значит он отбирает лучшие 20%. Простой и понятный всем смысл. Идеальный показатель для конкурсного отбора в вузы. Сразу понятно, какой вуз какой уровень требований предъявляет к своим абитуриентам.

Что касается "оценок в аттестат", то для этого рейтинг-балл не слишком подходит. Эта оценка должна зависеть только лишь от знаний самого выпускника, а отнюдь не от того, как этот же экзамен сдали другие. Тут правильнее использовать процент правильно решенных заданий. Например, по довольно общепринятой шкале, которая, похоже, уже сложилась в общественном сознании, оценка “2” ставится, если усвоено менее 40% материала (дано менее 40% правильных ответов), “3” -- 40-60%, “4” – 60-80%, “5” – 80-100%. При этом надо учитывать только задания из тестовой части, поскольку нетестовая часть С явно выходит за пределы школьной программы и является скорее аналогом вступительных экзаменов в вузах.

Я попытался оценить распределение оценок в соответствии с этой шкалой по данным за 2002г, доступным публично. Вот выдержка из моих подсчетов:

Предмет----“2”---“3”---“4”---“5”
Математ---42% 24% 19% 15%
Физика-----27% 39% 20% 14%
Рус.язык----2% 7% 23% 68%

Математика/физика и русский язык приведенены здесь потому, что они являются своеобразными полюсами – наиболее трудными и наиболее легким предметом. Прочие предметы занимают промежуточное положение, причем естественнонаучные предметы являются более трудными и сдаются хуже, чем гуманитарно-обществоведческие.

В целом можно сказать, что более 40% двоек по математике это весьма внушительная цифра. Притом, задания тестовой части достаточно элементарные, а для того, чтобы набрать 40% верных ответов нужно решить не так уж много заданий, ведь около 25% правильных ответов можно получить на заданиях с выбором ответа просто отвечая случайным образом.

Увы, такова горькая правда: чуть ли не половина школьников не усваивает программу 11 классов по математике даже на тройку. Поразительно, но факт: значительная часть из них в последствии каким-то образом поступает в вузы, ведь высшее образование у нас уже практически всеобщее. Это к слову деградации обычных вступительных экзаменов.

Что касается физики, то несколько более лучший результат объясняется тем, что математика в том году обычно была обязательным для сдачи предметом, а физику сдавали по желанию. Т.е. те, кто считали себя достаточно сильными в этом предмете и собирались поступать по соответствующему профилю. И при этом среди этих "сильных" почти треть двоечников.
Сергей Галаган ( Пользователь )
(Семенов В.Д. @ 17.07.2006, 08:25) <{POST_SNAPBACK}>
Поразительно, но факт: значительная часть из них в последствии каким-то образом поступает в вузы, ведь высшее образование у нас уже практически всеобщее. Это к слову деградации обычных вступительных экзаменов.

Что касается физики, то несколько более лучший результат объясняется тем, что математика в том году обычно была обязательным для сдачи предметом, а физику сдавали по желанию. Т.е. те, кто считали себя достаточно сильными в этом предмете и собирались поступать по соответствующему профилю. И при этом среди этих "сильных" почти половина двоечников.


Не уверен, что в любой модели ЕГЭ корректно можно сравнивать предметы и даже в одном предмете в разные годы. Это разное.

Количество 5-2 задается сверху, я понимаю так. Может я плохо понимаю?

Характерно, что кореляция между вступительными оценками и учебой в вузе далеко не прямая, и еще меньше к выпуску из вуза, в успехах в дальней работе, карьере...
Приняли - забыли, разовая акция.
Семенов Вадим ( Пользователь )
(Galagan Sergei Igorevich @ 17.07.2006, 17:37) <{POST_SNAPBACK}>
Не уверен, что в любой модели ЕГЭ корректно можно сравнивать предметы и даже в одном предмете в разные годы. Это разное.


Насколько я могу судить по общедоступным данным, результаты достаточно стабильные. Процент правильных ответов, которые нужно набрать для получения той или иной оценки довольно стабилен для каждого предмета и мало меняется год от года. А вот между предметами разница значительная.

(Galagan Sergei Igorevich @ 17.07.2006, 17:37) <{POST_SNAPBACK}>
Количество 5-2 задается сверху, я понимаю так. Может я плохо понимаю?


Да, так и есть. Пятерок и двоек ставится примерно по 10% по всем предметам, остальное делится примерно поровну между тройками и четверками. Вне зависимости от трудности предмета, исключение только для математики. Чтобы добиться 10% двоек на математике пришлось бы опустить уровень тройки на уровень угадывания, т.е. необходимое количество правильных ответов можно было бы набрать не решая вообще ничего, а ставя крестики случайным образом.

Все это несправедливо и неправильно. Выпускник не должен получать более низкую оценку только из-за того, что предмет легкий и остальные выпускники сдают его тоже хорошо. Равно как и несправедлива более высокая оценка из-за того, что остальные сдают этот предмет плохо. Для оценки в аттестат значение должен иметь только личный уровень выпускника, его личный процент усвоения материала, его личный процент правильных ответов, как бы ни сдавали этот предмет все остальные.
Вера Попкова ( Пользователь )
На сайте ege.edu.ru есть письмо о методике шкалирования тестовых баллов. В целом для меня это больше похоже на "птичий язык", но, насколько я уловила общий смысл, уровень соответствия первичных и итоговых баллов зависит как раз от того, как выполнили задание в целом по стране именно в текущем году и именно с дйствующими КИМами.
Там же есть статистика результатов ЕГЭ за этот год. Там соотношение оценок совсем не такое печальное, как в приведенных данных за 2002 год (тогда ЕГЭ только начинался в рамках эксперимента, и участвовали в нем очень немногие регионы).
И самых главный вопрос: какими критериями вы оцениваете "легкость" экзамена? Как можно сравнить сложность математики и русского языка? На мой взгляд, математика как раз гораздо проще своей однозначностью: там либо есть тождественность, либо нет. А вот русский язык, в силу своего исторического развития, построен больше на исключениях, чем на правилах...
Андрей Лукутин ( Пользователь )
(scorkat @ 26.07.2006, 10:15) <{POST_SNAPBACK}>
На сайте ege.edu.ru есть письмо о методике шкалирования тестовых баллов. В целом для меня это больше похоже на "птичий язык", но, насколько я уловила общий смысл, уровень соответствия первичных и итоговых баллов зависит как раз от того, как выполнили задание в целом по стране именно в текущем году и именно с дйствующими КИМами.
Там же есть статистика результатов ЕГЭ за этот год. Там соотношение оценок совсем не такое печальное, как в приведенных данных за 2002 год (тогда ЕГЭ только начинался в рамках эксперимента, и участвовали в нем очень немногие регионы).
И самых главный вопрос: какими критериями вы оцениваете "легкость" экзамена? Как можно сравнить сложность математики и русского языка? На мой взгляд, математика как раз гораздо проще своей однозначностью: там либо есть тождественность, либо нет. А вот русский язык, в силу своего исторического развития, построен больше на исключениях, чем на правилах...

На мой взгляд, дело не только в этом.
Скажите коллеги, чем пятерка в школе N отличается от пятерки в школе Z? Я имею ввиду оценку, выставляемую в дневник, журнал, аттестат. Ничем. Что там, что там высший бал.
Что такое пятерка по ЕГЭ?
Для Министерства образования одно, для ВУЗов другое.
Если по министерским пересчетам - 5 баллов по истории 66 баллов, то для РГГУ, МГИМО, РУДН - 90 и выше.
И...???
Семенов Вадим ( Пользователь )
(scorkat @ 26.07.2006, 12:15) <{POST_SNAPBACK}>
Там же есть статистика результатов ЕГЭ за этот год. Там соотношение оценок совсем не такое печальное, как в приведенных данных за 2002 год (тогда ЕГЭ только начинался в рамках эксперимента, и участвовали в нем очень немногие регионы).


Вы, наверное, не очень внимательно прочли. Я не приводил никаких данных за 2002г. Я посчитал распределение оценок по некоей абсолютной шкале. Что касается реального ЕГЭ, то соотношение оценок в2002г и в этом примерно одинаковое, т.к. оно задается заранее и потому никакой полезной информации не несет.

(scorkat @ 26.07.2006, 12:15) <{POST_SNAPBACK}>
И самых главный вопрос: какими критериями вы оцениваете "легкость" экзамена? Как можно сравнить сложность математики и русского языка?


По проценту усвоения школьной программы.
Алексей Бутузов ( Пользователь )
(Семенов В.Д. @ 17.07.2006, 19:48) <{POST_SNAPBACK}>
...Пятерок и двоек ставится примерно по 10% по всем предметам, остальное делится примерно поровну между тройками и четверками. ...исключение только для математики. Чтобы добиться 10% двоек на математике пришлось бы опустить уровень тройки на уровень угадывания, т.е. необходимое количество правильных ответов можно было бы набрать не решая вообще ничего, а ставя крестики случайным образом.
Все это несправедливо и неправильно. Выпускник не должен получать более низкую оценку только из-за того, что предмет легкий и остальные выпускники сдают его тоже хорошо. Равно как и несправедлива более высокая оценка из-за того, что остальные сдают этот предмет плохо. Для оценки в аттестат значение должен иметь только личный уровень выпускника..., как бы ни сдавали этот предмет все остальные.

М-дааа, забавная и грустная ситуация. Но саму формулу я бы посмотрел, Вадим Дмитриевич, не просветите? (правда, я гуманитарий - от комментариев не откажусь smile.gif )
Последствия ее использования могу проиллюстрировать на примере сдачи ЕГЭ по истории в этом году.

Случай 1.
Выпускник на ЕГЭ по истории получает оценку "3". (Поздравляем!) Для этого достаточно набрать 33 вторичных балла (из 100). А теперь о реальных успехах:
17 из 69 выполненных заданий - 24,6% всей работы
Чуть больше половины сделанных из заданий уровня "А" (33 задания), "В" и "С" - не притрагиваемся, и "золотой ключик будет наш!" tongue.gif Не каждый учитель поставит 3 балла за такие "успехи"!

Случай 2.
Абитуриентке надо поступить в престижный ВУЗ, где требуется 75 баллов [вторичных] за ЕГЭ-история. 75 - такого балла не предусмотрен, а чтобы получить 76 надо сделать
58 из 69 выполненных заданий - 84,1% всей работы
Если для 75% за ЕГЭ можно недобрать 17 баллов за задания, то для 75 вторичных - 11! С таким успехом в июне сдали ЕГЭ-история 6,5 % выпусников.
Выводы можно делать разные. Но кажется, к месту сказать - ШКОЛА: "Научим всех!" - и не ошибется, ВУЗы: "Ученье свет, а за свет надо платить!" - ЕГЭ и это подтверждает! tongue.gif

Ниже прилагаю файл с расчетом баллов по истории:
Сергей Галаган ( Пользователь )
Как анекдот, ученик пытавшийся правильно решать одну задачу части С, которую никто даже не пытался, получил рекомендацию -" отлично" в одном из предварительных тестов. К другим частям не прикасался.
Может я сам бы дал такую рекомедацию.
Татьяна Дедюлькина ( Пользователь )
(Андрей Лукутин @ 26.07.2006, 11:24) <{POST_SNAPBACK}>
На мой взгляд, дело не только в этом.
Скажите коллеги, чем пятерка в школе N отличается от пятерки в школе Z? Я имею ввиду оценку, выставляемую в дневник, журнал, аттестат. Ничем. Что там, что там высший бал.
Что такое пятерка по ЕГЭ?
Для Министерства образования одно, для ВУЗов другое.
Если по министерским пересчетам - 5 баллов по истории 66 баллов, то для РГГУ, МГИМО, РУДН - 90 и выше.
И...???

Андрей Владимирович! А вот по моим наблюдениям, даже в одной школе за одну и ту же работу один учитель поставит 4(не рационально решено, нет ссылки и т.д.), а другой ставит 5, а школы вообще невозможно сравнивать. Именно это и делает меня стороником ЕГЭ при всех его недостатках.
Андрей Лукутин ( Пользователь )
(Татьяна @ 28.07.2006, 17:09) <{POST_SNAPBACK}>
Андрей Владимирович! А вот по моим наблюдениям, даже в одной школе за одну и ту же работу один учитель поставит 4(не рационально решено, нет ссылки и т.д.), а другой ставит 5, а школы вообще невозможно сравнивать. Именно это и делает меня стороником ЕГЭ при всех его недостатках.

Татьяна! Повторю свою мысль.
Речь не о том, что вес субъективной пятерки, которая ставится учителем школы Ч и школы З разные. Моя учительница истории всегда ставила мне 4-ки. И правильно делал. Зато в ВУЗ поступал - нет проблем. Это тема не обсуждается априори.
ЕГЭ - общегосударственный экзамен позиционируется как выпускной и вступительный. По нему - тройка, есть тройка, пятерка - пятерка. Ни один субъект, кроме не принимает участия в оценивании. Не важно - отличник он, двоечник, сын министра или младший брат президента.
Однако, ЕГЭшная оценка для всех вузо разная. Для заборостроительного - 5 - это 3 балла, а для МГИМО - 99.
ВУЗ сам устанавливает свою шкалу.
Раз уж всех под одну гребенку, то и для ВУЗОВ надо установить единую шкалу. А то пока учителя да дети страдают.
Или не так.

footer logo © Образ–Центр, 2018. 12+