ОСНОВНЫЕ ПОНЯТИЯ ПЕДАГОГИЧЕСКОЙ ТЕСТОЛОГИ..

§ 1.
ОСНОВНЫЕ ПОНЯТИЯ ПЕДАГОГИЧЕСКОЙ ТЕСТОЛОГИИ

Тестология – междисциплинарное научное направление, основным предметом которого является обоснование методов разработки и применения тестов.

Педагогическая тестология – прикладное направление научной педагогики, призванное заниматься научными вопросами разработки тестов, применяемых для объективного контроля учебных достижений.

Педагогическое задание – средство интеллектуального развития, образования и учения, способствующее активизации учения, повышению качества и эффективности учебного процесса.

Виды педагогического задания – вопрос, задача, учебная проблема, упражнение, кроссворд, учебный проект, тест, т.е. задания тестового и нетестового характера.

Задача №1.
1. Дайте определение педагогическим заданиям нетестового характера.
2.Приведите примеры заданий нетестового характера из области формирования языковой компетенции на выбранном Вами этапе обучения.
3.Назовите достоинства и недостатки этих форм.
4.Обоснуйте, на каком этапе оценивания процесса формирования языковой компетенции оптимально использовать эти виды педагогического задания.



Педагогический тест – система1 заданий специфической формы2, определённого содержания3, возрастающей трудности4 – система заданий, создаваемая с целью объективно оценить структуру ЗУН и за короткое время измерить уровень подготовленности большого числа учащихся / испытуемых.

Комментарии к определению:

1. Система означает, что в тесте собраны задания, которые обладают системообразующими свойствами:
а) принадлежность к одной и той же системе знаний (учебной / научной дисциплине)
б) тематическая, логическая связь между заданиями;
в) упорядоченность заданий от самого лёгкого до самого трудного (!)

2. Специфическая форма тестового задания проявляется в том, что задание теста представляет собой не вопрос, не задачу, а утверждение. В зависимости от данного испытуемым ответа утверждение превращается в истинное или ложное высказывание (оно легко кодируется принятым двоичным – 0 или 1 – кодом и оценивается центром обработки информации, компьютером, тестологом.) Избегается многословность, неопределённость, субъективность мнения, возможные при ответе на вопросы.

3. Определённое содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебного курса; прочее не включается в тест ни в коем случае.
*Содержание теста существует, сохраняется и передаётся в одной из четырёх основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
*Единственным теоретически оправданным в педагогической тестологии критерием упорядочения содержания теста является критерий трудности заданий. Тест – это система заданий возрастающей сложности.
* Содержание теста проходит экспертизу у опытных педагогов, задача которых ответить: можно ли с помощью предложенных в тесте заданий корректно оценить содержание, уровень и структуру компетенции данного контингента испытуемых? Экспертная группа опытных педагогов анализирует цель теста, содержание заданий (значит, и ЗУН, необходимые для выполнения теста) и качество теста.
* Качество теста – мера его надёжности, валидности (ценности) и эффективности, т.е. в целом, его объективность.

4. Возрастающая трудность заданий теста позволяет выполнить первые слабо подготовленным учащимся, половину теста – средне подготовленным, и подавляющее большинство заданий самым подготовленным испытуемым.
* Трудность задания может определяться двояко:
А) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения задания;
Б) после эмпирического опробывания заданий, с подсчётом доли неправильных ответов.
*В классической теории тестов многие годы рассматривались только эмпирические показатели; в новых вариантах педагогических и психологических тестов больше внимания характеру умственной деятельности испытуемых.

Требования к заданию в тестовой форме:

1. Одинаковость для всех испытуемых.
2. Инструкции по выполнению каждого задания.
3. Адекватность инструкции форме и содержанию задания.
4. Краткость и чёткость выражения смысла инструкции и задания.
5. Формулирование задания в логической форме высказывания.
6. Фасетность = вариативность содержания задания.
7. Наличие определённого места для ответов.
8. Одинаковость правил оценки ответов в рамках принятой формы.

Преимущества тестовых заданий:
1. Краткость – тщательный подбор слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания.
А) исключаются повторы, малопонятные, редко употребляемые, неизвестные учащимся символы, слова, затрудняющие понимание смысла.
Б) примерное количество слов в задании – 3-9. (Лучше меньше!)
В) наличие не более одного придаточного предложения.
Г) для краткости лучше спрашивать о чём-то одном!

2. Логическое преимущество – возможность его естественного превращения после ответа учащегося в логическую форму истинного или ложного высказывания.

3. Технологическое преимущество – соответствие требованиям автоматизации рутинных компонентов обучения и контроля знаний

4. Семантическое преимущество – лучшее понимание смысла и значения задания.
* Отсутствие лишних слов, знаков, неясности интонации.

5. Преимущество объективности – возможность оценивания результатов обучения без участия преподавателя

Форма тестовых заданий

Форма тестовых заданий – средство организации, упорядочения и существования содержания теста.
Выбор формы теста подразумевает предварительный анализ содержания учебного материала, его классификацию, установление межпредметных и межтематических связей, укрупнение дидактических единиц через элементы композиции заданий.

Формы тестовых заданий:

1. Задания с выбором правильного ответа (даются готовые ответы на выбор)
* логическая основа – закон исключённого «третьего», т.е. правильный выбор даёт единственное истинное высказывание.
* Для проверки классификационных знаний лучше использовать задания, имеющие не один, а несколько правильных ответов и с соответствующей инструкцией их выделить.
* Ещё один вариант задания с выбором – «Обвести кружком номер наиболее правильного ответа.»

2. Задания открытой формы
* Отсутствует готовый ответ.
* Тестируемый вписывает свой вариант ответа в отведённом месте.
* После вписывания ответа высказывание становится истинным или ложным.

3. Задания на установление соответствия
*Элементам одного множества требуется поставить в соответствие элементы другого множества.

4. Задание на установление правильной последовательности
* Требуется отметить правильную очерёдность вычислений, действий, шагов, операций, терминов в определении, и т.д.

Каждая форма теста позволяет проверить специфические компетенции.
Выбор форм зависит от цели тестирования, содержания теста, от технических возможностей и уровней подготовленности преподавателя в области теории и методики тестового контроля ЗУН.

Педагогически корректны те задания, которые не только правильны с точки зрения содержания учебной дисциплины, соответствуют учебной программе и образовательным стандартам, но и рассчитаны на реальный уровень ЗУН испытуемых, вариативны и оптимальны по трудностям.

Некоторые формы тестов, помимо вариантов, делятся на виды.
* Задания с выбором правильного ответа:
А) с одним правильным ответом;
- с двумя, тремя, четырьмя, пятью и более ответами
Б) с несколькими правильными ответами;
В) с одним наиболее правильным ответом

Цель педагогические задания:
1. учебная, формирующая компоненты компетенции
* К заданиям, имеющим эту цель, не предъявляются требования тестовых заданий.
2. контрольная
* Применение заданий тестового характера


Задача № 2:
Какие виды педагогических заданий из числа выше названных пригодны для автоматизированного контроля?
Какие виды педагогических заданий могут использоваться и для обучения (в процессе формирования языковой компетенции) и контроля (измерения сформированной компетенции), а какие - для обучения или контроля? Приведите примеры на языковом материале выбранного Вами этапа обучения.




Разновидности педагогических заданий:

I. По критериям теста:
1. Тестовые
* отвечают требованиям предметной чистоты содержания (или одномерности), логической правильности содержания задания, правильности формы, требованиям аксиомы локальной независимости [это требование статистической независимости ответов испытуемых одного уровня подготовленности на различные задания теста], технологичности, эффективности, известной трудности и коррелируемости задания с критерием оценки.
* отвечают требованиям аддитивности (складываемости, суммируемости) оценок, выставляемых за ответы в каждом задании.

2. псевдотестовые – задания, похожие по форме на тестовые, но не отвечающие в полной мере требованиям статистической теории тестов.
* Одно из требований этой теории – статистическая независимость ответов на задания теста у студентов одного уровня подготовленности.
* Если у них правильный ответ на одно задание зависит от правильного ответа на другое задание, то такие задания тест не образуют.


3. нетестовые

II. По другим критериям:

1. Цепные задания – те, в которых правильный ответ на последующее задание зависит по содержанию от правильного ответа на предыдущее задание.
* Это могут быть задания любой формы.

2. Тематические задания – совокупность заданий любой формы, созданных для контроля компетенций по одной изученной теме.

3. Текстовые задания – совокупность заданий открытой формы для контроля компетенции в области каждого учебного текста.

4. Ситуационные задания – инструмент для проверки ЗУН испытуемых действовать в практических, экстремальных и других ситуациях.




Задача № 3.
Подготовьте примеры упомянутых выше разновидностей педагогических заданий по измерению формируемых и сформированных языковых подкомпетенций на выбранном Вами этапе обучения. Ваш ответ предусматривает: наименование измеряемого ЗУМ, тип / разновидность педагогического задания, содержание инструкции к выполнению, критерии оценки
Пример:
Фонетический кроссворд по теме «»
1. Цель – контроль сформированности / формирование умения транскрибировать (анализировать фонемный состав) 10 вновь введённых лексических единиц по теме «».
2. Задание – нетестовое, цепное, открытой формы
3. Инструкция к выполнению – «Впишите в соответствующие клетки транскрипционные знаки, соответствующие звукам, из которых состоят указанные слова»
4. Критерии оценивания кроссворда из 10 слов: 100 % = «5», 80-90 %= «4», 70-60 % = «3», 50-60 % = «2», <50 % = «1»



§ 2.
ЗАДАНИЯ С ВЫБОРОМ ОДНОГО
ИЛИ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

Подобные задания весьма распространены в тестовой практике и считаются удобной формой для автоматизированного контроля компетенций. Суть задания: после ознакомления с содержанием высказывания следует выбрать один ответ из двух (трёх, четырёх, пяти) предложенных, в результате чего высказывание становится либо истинным, либо ложным.
К этим заданиям хорошо относятся тестируемые, считая, что найти нужный ответ среди готовых, сформулированных проще. Однако далеко не всегда легко правильный ответ отличить от неверного! В хорошо сделанных заданиях неправильные ответы кажутся правдоподобнее, чем правильный ответ.

Задания с двумя ответами

Содержание задания требует выбора однозначного ответа «Верно» или «Неверно» (англ. «True - False») или одного из двух содержательных вариантов.
Рекомендуются два варианта стандартной инструкции:
1) «Обведите кружком вариант правильного ответа.» - если тестовый контроль проводится на стандартных бланках.
2) «Нажмите на клавишу с номером правильного ответа» - если тестирование проводится с помощью ПК.

Примеры
«Обведите кружком вариант правильного ответа»
The visitor was not going to steal
a) anything;
b) something
Отрицательный суффикс английского прилагательного
А) –ful;
Б) – less.
Порядок слов в английском вопросе
А) прямой;
Б) обратный.
He is younger than me.
a) Dxn mJ
b)Dqn mI






Принципы композиции задания

1. Самый распространённый – принцип противоречия: использование в одном из вариантов ответа частицы «не», отрицательных предлогов, наречий, приставок, суффиксов. Подбираются такие два ответа, чтобы второй отрицал первый (Типа А или не А).

Примеры
«Обведите кружком вариант правильного ответа»
*He can’t do anything for himself: he is .
a) helpful;
b) helpless
*Порядок членов предложения в вопросе к подлежащему
А) меняется на обратный;
Б) не меняется на обратный.
*London during World War II.
a) suffered;
b) did not suffer.
*Глагол “to love” в длительных временах .
А) употребляется;
Б) не употребляется


В подобных заданиях отрицается не смысл самого задания, а содержание первого ответа; испытуемый выбирает то, что считает правильным.

2. Немного отличается по логическим свойствам и языковым тонкостям принцип противоположности ответов. Подбираются такие ответы, которые, будучи антонимичными по смыслу, допускают возможность переходных понятий или состояний. Например, между понятиями «здоровый - больной» можно расположить понятия «практически здоров», «немного болен» и др. (Сравните с полностью противоположными понятиями «здоровый – не здоровый»; второй ответ полностью отрицает первый)

Примеры
«Обведите кружком вариант правильного ответа»
*“She was followed by them” переводится как
А) «Она следовала за ними.»
Б) «Они следовали за нею.»
*“We want them to help us” означает « Мы хотим »
А) помочь ему
Б) чтобы он помог нам
*Временной глагол в вопросах стоит
А) до подлежащего;
Б) после подлежащего



Функциональное отличие 1-го и 2-го принципов: при противоречии используются отрицания, при противоположности один содержательный ответ заменяется другим, антонимичным по смыслу.
Поскольку в логике оба эти принципа попадают под класс антонимичных понятий, они могут быть объединены в один общий принцип антонимичности подбора ответов в заданиях с двумя ответами.

3. Принцип однородности: подбираются такие два ответа, которые относятся к одному роду, виду, или отображают две основные стороны, грани явления:

Примеры
«Обведите кружком вариант правильного ответа»

*Буква “G” перед “E, I, Y” читается .
А) /G/
Б) /g/
*Русскому «слышать» соответствует
А) hear;
Б) here.
*St. Paul’s Cathedral was designed by .
a) Indigo Johns;
b) Sir Christopher Wren.
*The British monarch today is .
a) Elizabeth I;
b) Elizabeth II.



4. Принцип кумуляции: содержание второго ответа вбирает в себя (кумулирует)содержание первого и содержит дополнительную информацию.

Примеры
«Обведите кружком вариант правильного ответа»
*Герундий обладает свойствами .
А) глагола и существительного;
Б) глагола, существительного и наречия.
* R.L. Stivenson wrote .
a) novels.
b) novels and poems.
* Местоимение «some» употребляется в предложениях.
А) утвердительных;
Б) утвердительных и отрицательных предложениях.
* Местоимение «some» употребляется в вопросах.
А) специальных;
Б) специальных и общих.


Задания, построенные по принципу кумуляции интересны тем, что учащиеся, приученные давать полные и правильные ответы, часто выбирают последний ответ, ошибочно предполагая, что он всегда самый правильный. Правильные ответы рекомендуется распределять примерно поровну на месте первого и второго ответов.

5. Принцип сочетания слов (знаков) по 2 или по 3 (реже 4) в каждом ответе.
Можно предположить два варианта заданий с использованием этого принципа.
А) сочетание более или менее однородных и правдоподобных пар ответов;
*Существительные образуются при помощи суффиксов .
А) – ous, - y, - ful, - less
б) – ment, - ion, - tion, - hood
Б) использование правила цепочки: последнее слово первого ответа становится первым словом второго ответа
* Sir Arthur Conan Doyle wrote .
a) detective and science-fiction stories;
b) science-fiction stories and poems.

ОСНОВНЫЕ ЭЛЕМЕНТЫ КОМПОЗИЦИИ ТЕСТОВЫХ ЗАДАНИЙ
С ДВУМЯ ОТВЕТАМИ

1. Инструкция для учащихся:
А) краткая;
Б) чёткая;
В) общая и стандартная для всех испытуемых;
Г) пишется один раз, если все задания составлены по одной форме;
Д) изменяется при каждом изменении формы задания.
2. Содержательная основа задания:
А) пишется прописными буквами, что сразу позволяет отделить содержание задания от ответов на него;
Б) ответы лучше писать строчными буквами;
В) может использовать принцип фасетности (вариативности) – возможность замены основных элементов задания и укрупнения проверяемой единицы знаний, активизации самостоятельной работы и исключения условий для списывания; это главный принцип композиции, позволяющий сразу создавать несколько вариантов одного и того же задания. Число вариантов зависит от содержания задания – формой оно не ограничивается.
Примеры заданий с одним {фасетом}:
* Приставка {un-}означает, что слово .
А) положительное;
Б) отрицательное.
Фасетные задания могут иметь множество вариантов, как, например:
* Глагол{run}
{speak}
{wash}
{}
А) правильный;
Б) неправильный
* Последняя согласная в Причастии 1 глагола {run}
{catch}
{smell}
{wash}
{cross}
{} .
А) удваивается;
Б) не удваивается.
Подобные задания не боятся рассекречивания на примере 1-2 элементов, т.к. для правильного ответа надо быть готовым ответить на любой их вариант.

Использование фасетных заданий основано на выделении учебных единиц. Учащиеся должны знать общее правило (принцип) деления контролируемого явления на два типа, и поэтому все варианты рассматриваются как равно трудные.

Пример задания с двумя фасетами:
* {Participle I} is in {Present Simple}.
a) used
b) not used
В подобных примерах название формы глагола и грамматического времени могут быть заменены, что делает задание более вариативным и позволяет охватить укрупнённую учебную единицу.

Для достижения краткости в каждом задании лучше спрашивать о чём-то одном. Утяжеление задания требованием что-то найти, решить и затем ещё и объяснить отрицательно сказывается на качестве задания, хотя с педагогической точки зрения легко понять причину такого подхода.

Содержание задания и ответы формулируются как можно яснее и короче; в них не должно быть ни одного лишнего слова и даже знака. Для того, чтобы задание было коротким, в нём должна отражаться одна идея. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющим минимумом средств добиваться максимума ясности смысла задания.

Полностью исключаются повторы слов, малопонятные, редко употребляемые, неизвестные учащимся символы, иностранные слова, затрудняющие понимание смысла. Примерное число слов в заданиях – 5-7; чем меньше, тем лучше. Хорошо, когда задание содержит не более одного придаточного предложения.

Содержание задания набирается прописными буквами, ответы – строчными.

3. Ответы к заданиям
Ответы должны быть короткими и содержательными, как и формулировка задания.
* ”Hair” means .
1) заяц;
2) волосы

Во многих зарубежных тестах ответы к заданиям кодируются не цифрами, а буквами.

* ”Hair” means .
a) заяц;
b) волосы

В отсутствие техники (для автоматической обработки тестовых бланков) лучше использовать цифры, что удобнее для статистической проверки качества ответов.

Ответы обычно замыкают задание, поэтому они пишутся в конце отдельно от задания. Однако бывают случаи, когда ответы ставятся в середину задания.
* The family | a) was | sitting around the table.
| b) were |

* The police | a) is | looking for a criminal.
| b) are |

Здесь меняется внешний вид заданий только из-за того, что ответы пишутся посредине текста задания. Прямые линии используются для дифференциации ответов от текста задания. Ответы лучше писать посередине: так они лучше воспринимаются. Все повторяющиеся слова в ответах рекомендуется вынести в основу (stem) задания. Ответы становятся короче, а задание приобретает логическую ясность.
* Лицо, число, время и вид сказуемого определяется по
А) смысловому глаголу.
Б) временн
·му глаголу.
После коррекции задания оно выглядит так:
* Лицо, число, время и вид сказуемого определяется по глаголу
А) смысловому
Б) временн
·му

При формулировании заданий с двумя ответами особое внимание уделяется подбору правдоподобного, но неправильного ответа, он в американской тестовой литературе называется distractor (to distract - отвлекать), в Англии – foil. В заданиях с 2-мя ответами хороший дистрактор отвлекает на себя примерно половину слабо подготовленных испытуемых. Талант разработчика проявляется, в первую очередь, в разработке содержательно корректных и эффективных дистракторов.
Каждый ответ должен привлекать к себе испытуемых; при этом правильный привлекает знающих, неправилный – незнающих. Мера привлекательности определяется долей испытуемых, выбравших данный ответ.
Примеры с дистракторами:
* The British-English for “цвет” is .
a) color;
b) colour.
* Tomorrow he will tell me if he . to the garden party next Saturday.
a) comes;
b) will come.
* Tomorrow if he to the garden party, he will tell us about his last trip to Africa.
a) will come;
b) comes
Задача № 4
Составьте по 2 примера заданий с двумя ответами по контролю компетенций в области разных ярусов языка с эффективными дистракторами. Примеры выше.

4. Оценка
Обычно принято за правильный ответ в каждом задании давать 1 балл, за неправильный ответ – ноль. Суммирование всех баллов, полученных испытуемыми, даёт число правильных ответов. Это число обозначается буквой R (от “Right”). Оно ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого».
Среди недостатков заданий с 2-мя ответами – сравнительно высокая вероятность угадывания правильного ответа – она равна 1/2. Но полученные с помощью догадки баллы корректируются – ровно на столько, на сколько может увеличиться сумма вследствие этого.
Формула коррекции для задания с 2-мя ответами имеет простой вид:
Xci = Ri - Wi,
где Xci – скорректированный на догадку тестовый балл любого испытуемого i (отсюда и смысл индекса ci),
Ri – тестовый балл до коррекции;
Wi – число ошибочных ответов (от “Wrong”)

При предположении, что испытуемый не знает правильный ответ ни на одно задание и пытается отвечать наугад, Ri в заданиях с 2-мя ответами принимается равным Wi. Если испытуемый наберёт 18 баллов в 30 заданиях, то его скорректированный балл равен:
Xci = 18 – 12 = 6
Таким образом, было набрано 18 баллов, а после коррекции осталось 6. Столь сильная коррекция произошла из-за того, что 18 баллов мало отличаются от той суммы, которую можно набрать, ничего не зная, отвечая просто наугад. В большинстве случаев она будет близка к 15 (половина от 30). А вот в случае получения, скажем, 27 баллов коррекция менее заметна:
Xci = 27 – 3 = 24
Т.е. чем лучше знания, тем ниже коррекция на догадку.
Любопытен случай, когда Ri меньше половины возможных баллов. Тогда Ri отрицательно, что можно интерпретировать так: испытуемый не только не знает учебного материала, но и неудачлив в своих попытках угадать правильные ответы.

Задача № 5
Выскажите своё мнение о необходимости делать коррекцию результатов тестирования на возможность угадывания, считаете ли это объективным действием при оценивании и почему.




***
Достоинства заданий с 2-мя ответами:
1. краткость заданий;
2. быстрота тестирования;
3. высокая технологичность
4. эффективность в текущем контроле и самоконтроле ЗУН, в профориентации, профессиональном отборе.

Недостатки заданий с 2-мя ответами:
1. возможность угадывания правильного ответа
Средство борьбы – коррекция балла тестирования на угадывание
2. запоминание неправильного ответа
Если такое имеет место, то скорее всего в пределах текущего, а не итогового контроля.
3. быстрое рассекречивание: после тестирования испытуемые быстро сообщают друг другу содержание заданий и ответы на них.
Средство борьбы – разработка фасетов, увеличение числа заданий, их классификация по темам и по трудности.



Сфера применения заданий с 2-мя ответами:
1. экспресс-диагностика, при которой точность измерения менее важна, чем быстрота (начало изучения дисциплины);
2. самоконтроль, быстро позволяющий обнаружить пробелы в собственных знаниях и затем ликвидировать их.

3. автоматизированные контрольно-обучающие программы, в которых обучение начинается с тестирования и им же заканчивается: хорошее обучение всегда дифференцированное или, того лучше, индивидуализированное (адаптивное), поэтому выявление входного уровня компетенций здесь особенно важно.

4. устный групповой опрос, в процессе которого преподаватель читает задание, а учащиеся либо сразу, либо через 3-5 секунд, отвечают все сразу (хорошо слышны неправильные ответы, которые сразу же корректируются; высокая активность, эмоциональное общение и помощь в процессе контроля).

Задача № 6
Составьте тест итогового контроля компетенций, состоящий из заданий с 2-мя ответами, по Вашему этапу обучения. Включите в него задания «от простого – к сложному», посвящённые всем уровням языка. Количество заданий должно быть достаточным для контроля ключевых компетенций и уменьшающим возможность угадывания правильного ответа.




Приложенные файлы

  • doc 26521320
    Размер файла: 119 kB Загрузок: 0

Добавить комментарий