Личный кабинет

Тест как инструмент оценки

Михаил Богданов ( Пользователь )
На форуме, посвященном информ. технологиям возникло обсуждение, которое имеет прямое отношение к нашей теме педсовета...
В частности коллеги начали обсуждать какие программные продукты эффективны для самостоятельного использования и проведения с их помощью мониторинга текущих знаний учащихся... В связи с этим я там высказал след. мысль (привожу ниже без купюр).

Интересно знать мнение участников Педсовета - 2008 по этому поводу...

вообще-то странно, что все время обсуждается технология создания тестов, но никто не вспоминает про то, что программное обеспечение - это лишь инструмент, от которого НЕ ЗАВИСИТ (!) качество тестов.

Куда важнее обсуждать проблему того, как ПРАВИЛЬНО составлять вопросы, как формировать композицию теста..
Например, Вы наверняка задавались вопросом сколько вопросов в тесте должно быть относительно измеряемого объекта, как формулировать вопрос, как проверять тест на валидность, как рассчитывать результат, как его интерпретировать... Но на форуме об этом - ни слова... al.gif

В психологии тестированию посвящена ОЧЕНЬ большая и серьезная часть обучения в любом ВУЗе, а в педагогике этот вопрос как-то почти не освещен... зато многие обсуждают например то, какие типы вопросов "более точно решают задачу тестирования", демонстрируя совершенно непрофессиональный подход к вопросу тестирования...

напрашивается аналог: мы понаставили в школы компьютеров, интерактивных досок, подключили интернет, но не научили учителей ими пользоваться. Результат известен: доски используются не по назначению (или просто не используются), в классах стоят игрушки, преподаватели информатики (!! - не говоря о предметниках) зачастую знают о компьютере меньше учащихся. и зачем была нужна техника, морально устаревающая быстрее, чем обучаются работники ею пользоваться...?

с тестами та же ерунда: многие бросились их создавать и пользовать, получают какие-то (никто не понимает - какие) результаты, делают выводы, которые зачастую не имеют никакого отношения к реальности, вызывающие к тому же недовольство и недоверие учащихся и родителей...
Хорошо, если автор тестов позаботился об их качестве, но зная нашу систему административно - популистского управления образованием, мониторинги и тесты внедряются очень часто по приказу без соответствующей подготовительной работы и обучения специалистов...

на вопрос - а где об этом можно почитать, мои коллеги - тестологи порекомендовали работы А.Н. Майорова ("Теория и практика создания тестов для образования", издатель - Народное образование, 2000) , В.С. Аванесова (Композиция тестовых заданий), Ю.М. Нейман, В.А. Хлебников (Введение в теорию моделирования и параметризации педагогических тестов, Москва - 2000)....
+ нужно изучать теорию общих систем и почитать работы психологов, которые занимаются тестами...

зная законы и научную основу тестирования, будет легче выбирать систему тестирования и работа с ней будет осмысленной.

И в завершение: если говорить о технологиях, то я вас, коллеги вынужден разочаровать: ни одна из доступных сегодня систем создания тестов НЕ отвечает требованиям, предъявляемым наукой... причина: все технологии ТУПО выдают ответ: столько было правильных ответов, а столько - неправильных... Но это "сырой балл", а значит - малоинформативный и, возможно даже, приводящий к неправильным выводам.. Почему? возвращаю к вышеприведенным авторам...
smile.gif
Владислав Редюхин ( Пользователь )
(mbogdanov @ 28.08.2008, 00:07) <{POST_SNAPBACK}>

И в завершение: если говорить о технологиях, то я вас, коллеги вынужден разочаровать: ни одна из доступных сегодня систем создания тестов НЕ отвечает требованиям, предъявляемым наукой... причина: все технологии ТУПО выдают ответ: столько было правильных ответов, а столько - неправильных... Но это "сырой балл", а значит - малоинформативный и, возможно даже, приводящий к неправильным выводам.. Почему? возвращаю к вышеприведенным авторам...

Интересно знать мнение участников Педсовета - 2008 по этому поводу...
Человека со свободой воли и волей над своей свободой ни одной системой тестов не схватишь. На что уж мощен тест Киттелла, ассоциативные тесты или тест Люшера . Но можно хотя бы попытаться усовершенствовать КИМы...

Когда-то давно сопоставляя развитие советских и зарубежных детей пятикоассиникам давали текст и задание "Укажите ошибки". Причем в тексте содержались как орфографические и синтаксические ошибки, так и логические, типа, "ручеек, весело журча перемахивал через вершину горы." Наших школьников, исправоявшиз логическиек ошибки было 6%, западных - 38%.

Сталкиваясь в физике с задачами, у которых были лишние данные, или их не хватало, или неверно были сформуоированы условия, или задача решения не имела, я как-то пвтался обобщить это на любые тесты. В том числе и на ЕГЭ. Но тогда Хлебников ушел, работать стало не с кем, и это осталось в виде шутки на ИнтерГУРУ - тест "Для догадливых"

Описание теста: Есть тесты построенные на знании фактической информации, есть тесты на выявление способностей. В тесте "На догадливость" его автор Редюхин В.И. пытается на простом содержании расширить возможность выбора за счет выхода за пределы перечисленных конкретных ответов и введения ответа "другое". Более того - даже за счет отрицания "правильности" самой постановки такого вопроса. Что иногда и может выступать верным ответом. Это в чем-то перекликается с встречающимися в школьной учебной практике задачами с недоопределенными, переопределенными и противоречивыми исходными данными.
Время на тест: 30 мин.
Количество вопросов: 30
Количество прохождений: 234
Средний процент: 48,5%
Качество прохождения: 50%
Стоимость: 10 гуриков
Просмотр результатов по данному тесту
Михаил Богданов ( Пользователь )
(Редюхин Владислав Иванович @ 28.08.2008, 01:28) <{POST_SNAPBACK}>
Человека со свободой воли и волей над своей свободой ни одной системой тестов не схватишь. На что уж мощен тест Киттелла, ассоциативные тесты или тест Люшера . Но можно хотя бы попытаться усовершенствовать КИМы...


скажу так: нас на псих факе учили одному - НИКОГДА не использовать тесты в отрыве от иных средств диагностики. Тест - лишь один из нескольких инструментов, которыми должен УМЕЛО пользоваться профессионал. Этот инструмент позволяет во многом упростить работу (автоматизировать, если хотите), дать пищу для анализа на основании статистики аналогичных исследований и дать базовый набор материалов для интерпретации результатов. Но все это следует использовать только в сочетании с иными средствами диагностики: интервью, наблюдение, анализ "истории болезни", и т.д....
переводя все это в плоскость педагогических измерений следует иметь в виду, что мы работаем все с тем же "материалом" - человеком, а значит законы и принципы оценки его реакций (а учение - суть есть психическая функция..) сродни в психологии и педагогике.

Следовательно, негоже использовать тесты как единственный метод оценки, равно как моветоном можно смело называть "создание тестов" на коленках в спешке или по приказу с верху в формулировке "завтра провести тестирование!"...
Ну и, разумеется, в идеале, все используемые нами тесты должны быть НАУЧНО ОБОСНОВАННЫМИ, то есть тест для педагогических измерений должен проходить процедуру доказательства его валидности и достоверности с учетом практики естественно-научного подхода, ровно так же как это делается в случае с психологическими тестами.

Пы-Сы: Кстати, тесту Роршаха (его интерпретации) в университетах штатов профессиональные психологи (практикующие !!) обучаются по 4 - 5 лет..... и только после очень серьезного испытания на клинических больных обучившемуся работе с этой методикой психологу предоставляется официальное право использовать ее в работе...
Так что это только в кино они там все с легкостью работают с Пятнами Роршаха)))
Артем Андреев ( Пользователь )
(mbogdanov @ 28.08.2008, 00:07) <{POST_SNAPBACK}>
И в завершение: если говорить о технологиях, то я вас, коллеги вынужден разочаровать: ни одна из доступных сегодня систем создания тестов НЕ отвечает требованиям, предъявляемым наукой... причина: все технологии ТУПО выдают ответ: столько было правильных ответов, а столько - неправильных... Но это "сырой балл", а значит - малоинформативный и, возможно даже, приводящий к неправильным выводам.. Почему? возвращаю к вышеприведенным авторам...

Со всеми теор посылами согласен, а вот по "тупо технологиями" не очень уловил smile.gif Чего должен и кому еще выдать тест? Можно тезисно? А то по книжкам авторов может получиться долго выискивать smile.gif

P.S. Это не значит, что я не согласен, что тест должен выдавать что-то еще. Должен, особенно преподавателю, но вот что именно - интересно...
Ольга Осинцева ( Пользователь )
(Редюхин Владислав Иванович @ 28.08.2008, 01:28) <{POST_SNAPBACK}>
Интересно знать мнение участников Педсовета - 2008 по этому поводу...
Человека со свободой воли и волей над своей свободой ни одной системой тестов не схватишь. На что уж мощен тест Киттелла, ассоциативные тесты или тест Люшера . Но можно хотя бы попытаться усовершенствовать КИМы...

Когда-то давно сопоставляя развитие советских и зарубежных детей пятикоассиникам давали текст и задание "Укажите ошибки". Причем в тексте содержались как орфографические и синтаксические ошибки, так и логические, типа, "ручеек, весело журча перемахивал через вершину горы." Наших школьников, исправоявшиз логическиек ошибки было 6%, западных - 38%.

Сталкиваясь в физике с задачами, у которых были лишние данные, или их не хватало, или неверно были сформуоированы условия, или задача решения не имела, я как-то пвтался обобщить это на любые тесты. В том числе и на ЕГЭ. Но тогда Хлебников ушел, работать стало не с кем, и это осталось в виде шутки на ИнтерГУРУ - тест "Для догадливых"

Описание теста: Есть тесты построенные на знании фактической информации, есть тесты на выявление способностей. В тесте "На догадливость" его автор Редюхин В.И. пытается на простом содержании расширить возможность выбора за счет выхода за пределы перечисленных конкретных ответов и введения ответа "другое". Более того - даже за счет отрицания "правильности" самой постановки такого вопроса. Что иногда и может выступать верным ответом. Это в чем-то перекликается с встречающимися в школьной учебной практике задачами с недоопределенными, переопределенными и противоречивыми исходными данными.
Время на тест: 30 мин.
Количество вопросов: 30
Количество прохождений: 234
Средний процент: 48,5%
Качество прохождения: 50%
Стоимость: 10 гуриков
Просмотр результатов по данному тесту


На мой взгляд, тесты можно применять при оценке базового уровня знаний учащегося по предмету. Глубина знаний может быть выявлена только при непосредственном общении экаменатора и экзаменуемого. Так, например, если ученик набрал 20 баллов (по матиматике), то необходимые баллы при поступлении он может набрать при собеседовании в ВУЗе.
Айказ Мкртичян ( Пользователь )
Я считаю, что нельзя всех оценивать с помощью тестов. У ученика должен быть выбор в какой форме сдавать экзамен. help.gif У людей разная скорость мышления.
Михаил Богданов ( Пользователь )
(Артем @ 28.08.2008, 10:30) <{POST_SNAPBACK}>
Со всеми теор посылами согласен, а вот по "тупо технологиями" не очень уловил smile.gif Чего должен и кому еще выдать тест? Можно тезисно? А то по книжкам авторов может получиться долго выискивать smile.gif

P.S. Это не значит, что я не согласен, что тест должен выдавать что-то еще. Должен, особенно преподавателю, но вот что именно - интересно...


если тезисно и весьма обобщенно, то система тестирования должна содержать в себе несколько инструментов (помимо собственно инструмента проведения теста):
1. модуль верификации вопросов в базе, автоматически отсеивающий некорректные вопросы (те, на которые большинство участников не отвечают или отвечают с легкостью)
2. модуль автоматической композиции теста по задаваемым параметрам (рассчитывающий по спец. формулам длину теста, расставляющий вопросы в нужном порядке и т.д.)
3. инструмент создания вопросной базы с присваиванием вопросам характеристик (тэгов)
4. статистический модуль, обрабатывающий массив данных с результатами и выдающий различные формы отчетов по большому количеству задаваемых параметров
5. модуль для отработки аппеляций (вывод протолколов теста)
6. модуль выдачи документа о прохождении тестирования (сертификата, например) и ведения базы данных по таким выданным документам
7. модуль импорта/экспорта вопросных баз
8. модуль шифрования,дешифрования персональных данных участников тестирования и результатов испытаний
и т.д.

но главное во всем этом даже не это. Главный военный секрет Мальчиша-Кибальчиша заключается в том, что система должна быть изначально "заточена" под методологию тестирования, а не наоборот...
Михаил Богданов ( Пользователь )
(Айказ Карибович @ 28.08.2008, 10:45) <{POST_SNAPBACK}>
Я считаю, что нельзя всех оценивать с помощью тестов. У ученика должен быть выбор в какой форме сдавать экзамен. help.gif У людей разная скорость мышления.

Вы правы в том, что скорость реакции разная и это усложняет процесс оценки знаний с помощью теста. Однако должен не согласиться, с тем, что кому-то нужно, ввиду "медленной реакции" давать "освобождение", как от армии)

На самом деле, грамотно созданный тест позволяет делать достаточно точные измерения даже в том случае, если испытуемый не проходит его и на 2/3 (а то и половину!). Доказательством тому, например, приведенные выше известные психологические тесты. В методичках по ним даже особо говорится, что НЕ НУЖНО настраивать клиента на обязательное прохождение всех вопросов - важно ответить качественно на то количество вопросов, на сколько успеешь. Результат все равно будет, и будет достаточно высоко валидный.

Именно поэтому я и говорю о методиках и научной обоснованности композиции теста в первую очередь и лишь во вторую - о технике. А то, о чем говорите Вы как раз-таки и относится к некачественным тестам, созданным по наитию и содержащим неоправданные вопросы...
Михаил Богданов ( Пользователь )
(Осинцева Ольга Витальевна @ 28.08.2008, 10:33) <{POST_SNAPBACK}>
На мой взгляд, тесты можно применять при оценке базового уровня знаний учащегося по предмету. Глубина знаний может быть выявлена только при непосредственном общении экаменатора и экзаменуемого. Так, например, если ученик набрал 20 баллов (по матиматике), то необходимые баллы при поступлении он может набрать при собеседовании в ВУЗе.

Мы на эту тему довольно много говорили с коллегами в ИТМО на конференции.. Меня убедило то, что говорят (и подтверждают статистикой) специалисты, а именно: грамотно созданный тест позволяет мерить достаточно глубоко - здесь важную роль играет методика создания тестовой матрицы, на основании которой формируется вопросная база.
Если тестолог правильно разложил дидактические единицы, которые мы измеряем в матрице и потом при формировании композиции теста использовались рассчетные формулы мат. статистики в сочетании с принципами теории общих систем, то результатом этой работы станет тест, который будет работать вполне корректно и измеряться им будет не только базовый, но и любые иные уровни знаний... Все зависит от того, ЧТО является предметом исследования, ведь именно от поставленной цели исследования зависит процесс формирования матрицы теста.
Ирина Нечитайло ( Пользователь )
система должна быть изначально "заточена" под методологию тестирования, а не наоборот...
С этим утверждением я не только согласна, но обеими руками проголосую "за", так как современная школа не "заточена" на методологию тестирования, т.е. преподавание идет по отдельным программам, а тестирование как бы отдельным видом программы, инородным, ощущается и существует.
Учитель-русовед, получается, должен и программу выполнять неукоснительно, и к ЕГЭ как-то умудряться готовиться на уроке...
В Белгородской области в приказном порядке на каждом уроке русского языка и математики (обязательные предметы) учитель должен повторять отдельные материалы КИМов. Но ведь время урока не резиновое...

footer logo © Образ–Центр, 2018. 12+