Личный кабинет

ВИП-2006: Прошел месяц...

Работа модераторов: Промежуточные итоги и ...
Алексей Бутузов ( Пользователь )
Как оценить работу модераторов
Прошел месяц с начала нового учебного года на ВИП. Напомню, что начался он чуть раньше календарного учебного года – 22 августа.
Как оценить работу модераторов? Критерии оценки обсуждались много раз, но лишь один может быть достоверно измерен – количество сообщений, оставленных модератором как активным участником.
[attachment=1531:attachment] (файл обновлен 2.11.2006: информация за 9 недель работы ВИП-2006/7 --- 22.08 - 30.10.2006 )
Сентябрь – месяц, конечно, суетный, занятой. На форумы времени остается мало. Однако, круг актичнвых модераторов определился.
Елена Зачесова ( Пользователь )
(Алексей Бутузов @ 23.09.2006, 16:59) <{POST_SNAPBACK}>
Как оценить работу модераторов? Критерии оценки обсуждались много раз, но лишь один может быть достоверно измерен – количество сообщений, оставленных модератором как активным участником.
Сентябрь – месяц, конечно, суетный, занятой. На форумы времени остается мало. Однако, круг актичнвых модераторов определился.

Алексей!
Пока я еще имею доступ (и на правах ветерана-модератора в отставке tongue.gif tongue.gif tongue.gif ) позвольте предостеречь от попытки всё сосчитать wink.gif и напомнить, что на семинаре 26 февраля именно наша группа обсуждала критерии успешной модерации. http://pedsovet.org/forum/index.php?act=ST...t=60#entry12239

Возможно, неплохо бы вернуться к обсуждению.

Цитирую:
"Критерии эффективности работы модератора.
На основании очного обсуждения (в группе и после выступления) и знакомства с итогами он-лайн голосования http://pedsovet.org/forum/index.php?showtopic=997&st=40 были выделены критерии, которые с высокой степенью достоверности (дисперсия менее 1) не могут являться показателями успешности:
1) количество поданных жалоб;
2) количество отредактированных постов.

На основании обсуждения были также исключены следующие критерии, т.к. они не отражают содержательной ценности и во многом являются искусственными параметрами (легко поддаются как подсчету, так и фальсификации):
1) количество участников обсуждения в теме;
2) количество времени проведенного посетителями в теме;
3) количество скачиваний, ссылок и цитирований.

Примечание: На трудностях использования количественных параметров при оценке качественных характеристик можно остановиться особо. При обсуждении была выявлена аналогия с ЕГЭ: считают не то, что НУЖНО, а то, что ВОЗМОЖНО сосчитать. Результат и эффективность подобного оценивания – сомнительны.

Предложенный для оценивания эффективности работы модераторов вариант «оценивание коллегами» на обсуждении в группе был исключен. В ходе общего обсуждения повторно предложен Редюхиным В.И. и Огородниковым А.В.
Результаты фактически проведенного оценивания и их обсуждение можно посмотреть на http://pedsovet.org/forum/index.php?showto...5533;entry12232 .

По итогам обсуждения в группе оставлен как перспективный вариант «Содержательность обсуждений», но с нерешенным вопросом о подборе адекватных форм и методов практического применения".

Шепотом: а Ваше предложение уже неактуально?
Елена
Любовь Цой ( Пользователь )
(Алексей Бутузов @ 23.09.2006, 16:59) <{POST_SNAPBACK}>
Как оценить работу модераторов
Прошел месяц с начала нового учебного года на ВИП. Напомню, что начался он чуть раньше календарного учебного года – 22 августа.
Как оценить работу модераторов? Критерии оценки обсуждались много раз, но лишь один может быть достоверно измерен – количество сообщений, оставленных модератором как активным участником.
[attachment=1411:attachment]
Сентябрь – месяц, конечно, суетный, занятой. На форумы времени остается мало. Однако, круг актичнвых модераторов определился.


Мне представляется, что если НЕКТО согласился быть модератором и, как минимум, включается в тему и удерживает в цивилизованных рамках дискуссию, то этого вполне достаточно, чтобы оценить его работу на удовлетворительную.
Игорь Сухин ( Пользователь )
(lubov @ 24.09.2006, 23:01) <{POST_SNAPBACK}>
Мне представляется, что если НЕКТО согласился быть модератором и, как минимум, включается в тему и удерживает в цивилизованных рамках дискуссию, то этого вполне достаточно, чтобы оценить его работу на удовлетворительную.

Солидарен. Самое главное, чтобы все обсуждения велись уважительно. В целом, это сейчас и наблюдается. Год назад и полгода назад было не так - проблем хватало…

Кстати, а что с сайтом? Сегодня почти целый день - не работали форумы, вчера был тоже такой период. Новые атаки хакеров?
Алексей Бутузов ( Пользователь )
(Зачесова @ 24.09.2006, 03:34) <{POST_SNAPBACK}>
Алексей!
Пока я еще имею доступ (и на правах ветерана-модератора в отставке tongue.gif tongue.gif tongue.gif ) позвольте предостеречь от попытки всё сосчитать wink.gif и напомнить, что на семинаре 26 февраля именно наша группа обсуждала критерии успешной модерации. http://pedsovet.org/forum/index.php?act=ST...t=60#entry12239
Возможно, неплохо бы вернуться к обсуждению.
Браво! Очень рад, что именно Вы подняли этот вопрос! ar.gif

не могут являться показателями успешности:
1) количество поданных жалоб;
2) количество отредактированных постов.
...также исключены следующие критерии:
1) количество участников обсуждения в теме;
2) количество времени проведенного посетителями в теме;
3) количество скачиваний, ссылок и цитирований.
Примечание: На трудностях использования количественных параметров при оценке качественных характеристик можно остановиться особо. При обсуждении была выявлена аналогия с ЕГЭ: считают не то, что НУЖНО, а то, что ВОЗМОЖНО сосчитать. Результат и эффективность подобного оценивания – сомнительны.
Помню, помню! И не могу не согласиться. И от цИфИрИ может быть неточноть...
Но разве не показательно количество сообщений самого модератора? Со всеми поправками и допущениями. Модераторов-активных участников, по крайней мере, видно.
Мне стало понятнее, одна из причин того, что сложно было получить текст договора - нет человека - нет бумажки (как ни грустно) при всем моем уважении!
(lubov @ 24.09.2006, 23:01) <{POST_SNAPBACK}>
Мне представляется, что если НЕКТО согласился быть модератором и, как минимум, включается в тему и удерживает в цивилизованных рамках дискуссию, то этого вполне достаточно, чтобы оценить его работу на удовлетворительную.
Согласен!
Только для этого надо хотя бы появляться и как-то реагировать на обсуждения в "подведомственном" форуме.
Занятость, изменение планов и т.д. - это, конечно, не предмет для оценивания! blush.gif
По итогам обсуждения в группе оставлен как перспективный вариант «Содержательность обсуждений», но с нерешенным вопросом о подборе адекватных форм и методов практического применения".

Может быть мысль отстоялась и появилось что-то перспективно-конкретное?
Шепотом: а Ваше предложение уже неактуально?
Елена
Актуально, можно альтруистично, но лучше составить и переслать мне договор! smile.gif --- a_butuzov@mail.ru
Владислав Редюхин ( Пользователь )
(lubov @ 24.09.2006, 23:01) <{POST_SNAPBACK}>
Мне представляется, что если НЕКТО согласился быть модератором и, как минимум, включается в тему и удерживает в цивилизованных рамках дискуссию, то этого вполне достаточно, чтобы оценить его работу на удовлетворительную.


Если модератор УДЕРЖИВАЕТ, то это работа, а если она сама УДЕРЖИВАЕТСЯ, то модерация - это синекура.

Модерация как всякая профессиональная работа ОПЛАЧИВАЕТСЯ (худо или бедно, но модельно). Для оплаты необходимы показатели (индикаторы) эфеективности работы модератора. Активность самого модератора является, на мой взгляд, необходимым, но недостаточным показателем эффективности его работы на закрепленном форуме.

Предлагаю тут же эти показатели (принципы, критерии, требования, правила, стандарты и шаблоны) и обсудить. И связать зарплату модератора с комплексным показателем эффективности егоработы.

На ком если не на себе готовиться к введению БОРа в том числе в образовании с янваваря 2007 года? tongue.gif tongue.gif И деньги небольшие - потерять не жалко, и все на самом себе прочувствуешь... Давайте?
Владислав Редюхин ( Пользователь )
Уважаемые коллеги!
На ветке "ВИП-2006: Прошел месяц..." начинаем подводить промежуточные итоги первых недель работы ВИП-2006.
Каким должен быть ВИП как СМИ?
Какие изменения произошли на нем в последний период?
Могут ли быть модераторы ВИП редакторами ВИП-СМИ?
Каким образом оценивать работу модераторов?
...и другие вопросы работы модератора, которые важны для Вас

ПРИОРИТЕТЫ
Три области оценивания: 1) уровень предметности профессионального содержание, 2) массовость и спрос, 3) моральный климат на форуме ВИП
ПРИНЦИПЫ
Поэтапность. На первом этапе считать его ИССЛЕДОВАТЕЛЬСКИМ. САМОисследовательским и НИКАКИХ оргвыводов НЕ ДЕЛАТЬ.
Второй этап при внедрении разработанных на первом МЕХАНИЗМАХ повыщения эффективности СМИ ВИПа считать пилотным.
И ТОЛЬКО на третьем этапе вводить механихмы морального и материального стимулирования модераторов и участников.
КРИТЕРИИ
Критерий 1 - использование всевозможных статистических данных уже готовых, но не ПРЯМЫХ,а косвенных - отношение каких-то величин.
Критерий 2. Испльзовать самооценку и внешнююю многопозиционную оценку
Критерий 3. Организовать экспертную независимую оценку эффективности.
ТРЕБОВАНИЯ по Критерию 1.
На ВИПе множество явленных и неявленных цифр. Данные на Рамблере, - 10 самых активнх, ну и т.д.
Из них можно получить разные - "процент сообщений присланных ТОП-10 на данный момент, например. Идея в том, чтобы смотреть не САМИ ПОКАЗАТЕЛИ, а ДИНАМИКУ их изменений, плюс или минус в процентах. И исследовать как это корелирует, например, с активностью самого модератора в этот период... Или с ТОП-10... НАЩУПЫВАТЬ закономерноти. Вести исследование. Всем и каждому...
ПРАВИЛА, СТАНДАРТЫ... Могут возникнуть только на следующих этапах. Но примерно такие:
Правило частоты. Не допускай, чтобы на твоей ветке фамилия участника зависали... "Висеть" неотвеченной может только твоя реплика
Нет двое суток сообщений на ветке - пиши сам. Не отвечают на два тових посыла - проси коллегу-модератора, чтобы написал. Не отвечают - напиши ОДИН раз сам, но НЕ БОЛЕЕ! И пусть висит... Или до возобновления или до закрытия через три месяца.
Сергей Галаган ( Пользователь )
(Редюхин Владислав Иванович @ 30.09.2006, 17:54) <{POST_SNAPBACK}>
ПРИОРИТЕТЫ
Три области оценивания: 1) уровень предметности профессионального содержание, 2) массовость и спрос, 3) моралный климат на форуме ВИП
ПРИНЦИПЫ
Поэтапность. На первом этапе считать его ИССЛЕДОВАТЕЛЬСКИМ. САМОисследовательским и НИКАИХ оргвыводов НЕ ДЕЛАТЬ.
Второй этап при внедрении разработанных на первом МЕХАНИХМАХ повыщения эффективности СМИ ВИПа считать пилотным.
И ТОЛЬКО на третьем этапе вводить механихмы морального и материального стимулирования модераторов и участников.
КРИТЕРИИ
Критерий 1 - испоьльзование всевозможных статистических данных уже готовых, но не ПРЯМЫХ,а косвенных - отношение каких-то величин.
Критерий 2. Испльзовать самооценку и внешнююю многопозиционную оценку
Критерий 3. Организовать экспертную независимую оценку эффективности.
ТРЕБОВАНИЯ по Критерию 1.
На ВИПе множество явленных и неявленных цифр. данные на Рамблере, - 10 самых активнх, ну и тюд.
Из них можно получить разные - "процент сообщений присланных ТОП-10 на данны ймомент., например. Идея в том, чтобы смотреть не САМИ ПОКАЗАТЕЛИ, а ДИНАМИКУ их изменений, плюс или минус в процентах. И исследовать как это корелирует, например с активностью самого модератора в этот период...Или с ТОП-10... НАЩУПЫВАТЬ закономерномти. Вести иссследование. Всем и каждому...
ПРАВИЛА, СТАНДАРТЫ.... Могут возникнуть только на следующих этапах. Но примерно такие:
Првило частоты. Не допускай чтобы на твое ветке фамилия участника зависали..."Висеть" неотвеченной может только твоя реплика
Нетдвое суток сообщений на ветке - пиши сам. Не отвечают на два товоих посыла - проси коллегу-модератора чтобы написал. Не отвечают - нпипиши ОДИН раз сам, но НЕ БОЛЕЕ! И пусть висит... Или до возобновления или до закрытия через три месяца.


И через год некоторые темы поднимаются и звучат. Нет, чистой арифметикой и шаблоном экспертизы нельзя подходить к СМИ-Педсовет.
Привлекательность для учителей во многом определяется не вышеперечисленным, а ПОЛЬЗОЙ. Причем рафинированой явной и открытой. На тарелочке, желательно с каемочкой из позитивных эмоций попутно.
Пока особо не наблюдается, за исключением отдельных тем.
Очень плохо, что нет чего-то подобного Инфотеке. Может есть смысл иметь нечто подобное сайту СОМ ФИО для каждого передмета? Новости по предметам, или областям БУПа, для разнообразия и особого лица. Примерно как сдела вначалеТ.Дедюлькина, только вебстраницей с древом, новостями, открывающейся при входе в предмет.
Возможно постоянно держать в "новых сообщениях" последние сообщения из предметных веток?
Для учителей рубрикатор сложен, не каждый находит свой предмет хоть что-то полезное себе и бросает поиски, может и навсегда.
Алексей Бутузов ( Пользователь )
(Редюхин Владислав Иванович @ 30.09.2006, 00:16) <{POST_SNAPBACK}>
...Активность самого модератора является, на мой взгляд, необходимым, но недостаточным показателем эффективности его работы на закрепленном форуме.
Предлагаю тут же эти показатели (принципы, критерии, требования, правила, стандарты и шаблоны) и обсудить.
Согласен, оценка должна быть комплексной. А вот про БОРы просил бы дать ссылочку. Извините, утерял...

(Редюхин Владислав Иванович @ 30.09.2006, 17:54) <{POST_SNAPBACK}>
ПРИОРИТЕТЫ Три области оценивания: 1) уровень предметности профессионального содержание, 2) массовость и спрос, 3) моральный климат на форуме ВИП
хотелось добавить также грамотность и "читабельность" сообщений, но это, видимо, критерий, подчиненный Вашему пункту № 2

Поэтапность. На первом этапе считать его ИССЛЕДОВАТЕЛЬСКИМ. САМОисследовательским и НИКАКИХ оргвыводов НЕ ДЕЛАТЬ. Второй этап при внедрении разработанных на первом МЕХАНИЗМАХ повышения эффективности СМИ ВИПа считать пилотным.
И ТОЛЬКО на третьем этапе вводить механизмы морального и материального стимулирования модераторов и участников.
КРИТЕРИИ
Критерий 1 - использование всевозможных статистических данных уже готовых, но не ПРЯМЫХ, а косвенных - отношение каких-то величин.
Критерий 2. Использовать самооценку и внешнюю многопозиционную оценку
Критерий 3. Организовать экспертную независимую оценку эффективности.
Вы как исследование предлагаете проводить - самоисследование? наблюдение и рефлексия?
С Рамблер топ-100 хорошо отслеживать общую динамику на сайте, сложнее с отдельными страницами - громоздкая процедура, слишком много времени отнимет! Стоит ли такая игра свеч?

С механизмами для меня беда - совсем не знаком. al.gif
Лишь с тем, что на семинаре 26.02 сего года применялся - само- и взаимооценка...
Критерии мне нравятся. Какие кроме описанных еще могут быть критерии по критерию 1?

ПРАВИЛА, СТАНДАРТЫ... Могут возникнуть только на следующих этапах. Но примерно такие:
Правило частоты. Не допускай, чтобы на твоей ветке фамилия участника зависали... "Висеть" неотвеченной может только твоя реплика
Нет двое суток сообщений на ветке - пиши сам. Не отвечают на два твоих посыла - проси коллегу-модератора, чтобы написал. Не отвечают - напиши ОДИН раз сам, но НЕ БОЛЕЕ! И пусть висит... Или до возобновления или до закрытия через три месяца.
Пример хороший, от конкретных действий построен! ...а если тема "не катит", не интересна, интересна лишь автору? С одной стороны, она может и не стоить внимания аудитории, а с другой, аудитория не "выросла" до нее...

(Galagan Sergei Igorevich @ 30.09.2006, 20:30) <{POST_SNAPBACK}>
И через год некоторые темы поднимаются и звучат. Нет, чистой арифметикой и шаблоном экспертизы нельзя подходить к СМИ-Педсовет.
Привлекательность для учителей во многом определяется не вышеперечисленным, а ПОЛЬЗОЙ. Причем рафинированой явной и открытой. На тарелочке, желательно с каемочкой из позитивных эмоций попутно.
Пока особо не наблюдается, за исключением отдельных тем.
Сергей Игоревич, о "чистой арифметике" речь не шла. Разносторонность - да, но как ее реализовать? А к тому же, критерий должен быть понятный, измеритель под него адекватный, чтобы сравнить можно было - получить изменения во времени, динамику. Желательно, не громоздкий...

Польза - важный критерий, ВИР написал о нем. Но не всегда тот, кому предназначена информация понимает, что именно это для него полезно, а не то, что он ищет!

Инфотека обсуждалась в реале и виртуале год назад, но, видимо мы пока не готовы (за отдельным исключением!) к ее созданию!
Владислав Редюхин ( Пользователь )
(Galagan Sergei Igorevich @ 30.09.2006, 20:30) <{POST_SNAPBACK}>
Привлекательность для учителей во многом определяется не вышеперечисленным, а ПОЛЬЗОЙ. Причем рафинированой явной и открытой. На тарелочке, желательно с каемочкой из позитивных эмоций попутно..

Да, Сеергей Игоревич, это так, если обсуждать ПРОЕКТИРОВАНИЕ работы модератора. А здесь предлагается обсудить ОЦЕНКУ работы модератора по каким-то характеристикамм форума.

Но все равно Вы правы, - качество его работы можно оценивать и по конечному результатиу - по итогами его работы в СМИ по ОКАЗАНИЮ ИНФОРМАЦИОННЫХ УСЛУГ, по удовлетворенности участника.

И в образовании, и в СМИ, и в других сферах деятельности для этого есть известный прокатанный путь - КНИГА ЖАЛОБ И ПРЕДЛОЖЕНИЙ. Пусть она висит на ВИПе и адресована тем, кто платит деньги модераторам - организаторам и владельцам ВИПа. А они уж принимают управленческое решение относительно модераторов, которые у них на РАБоте.

Спасибо, Сергей Игоревич!

footer logo © Образ–Центр, 2018. 12+