Стрюков Г.А. О единстве критериального и нормат..

СС. Стрюков Г.А. О единстве критериального и нормативного подходов к оцениванию знаний учащегося // Психологический журнал. – Т. 16, № 2. – 1995. – С. 120-127.
с.120.
ПСИХОЛОГИЧЕСКИЙ ЖУРНАЛ
Том 16 № 2 1995
Психологические проблемы образования
© 1995 г. Г.А. Стрюков
О ЕДИНСТВЕ КРИТЕРИАЛЬНОГО И НОРМАТИВНОГО ПОДХОДОВ К ОЦЕНИВАНИЮ ЗНАНИЙ УЧАЩИХСЯ
Анализируется роль социально-психологических установок учителя при оценивании знаний учащихся, обсуждаются психологические аспекты внедрения обязательных критериальных стандартов в систему образования. На основе представленного экспериментального материала делается вывод о необходимости сосуществования двух подходов к оцениванию знаний учеников: критериального и нормативного.
Ключевые слова: знания, психометрика, школьная отметка, социально-психологическая установка, критериальные и нормативно-статистические образовательные стандарты.
Оценивание знаний учащихся представляет собой разновидность измерения, в основе которого лежит соотнесение параметров оцениваемого объекта с заданным стандартом (эталоном). Результат такого оценивания выражается либо в форме вербальной характеристики (отлично, хорошо, удовлетворительно, плохо), либо в виде условного балла – 5, 4, 3, 2. От чего зависит качество оценивания знаний? В самом общем виде можно сказать, что оно определяется психометрическим совершенством двух главных компонентов процедуры оценивания: технологией получения первичной информации о знаниях учащихся, четкостью и обоснованностью образовательных стандартов. Остановимся на некоторых аспектах затронутой проблемы.
Знания ученика – это его «внутреннее состояние», структура, которая не может быть оценена непосредственно, а должна быть предварительно выражена (объективизирована) в виде действий, доступных внешнему наблюдению и измерению. Объективизация осуществляется в процессе выполнения учеником познавательных заданий, валидных и адекватных поставленной цели. Если структура знания однородна и проста и ее выявление предстает как задача воспроизведения конечного набора действий (пример: знание таблицы умножения), то конструирование валидного комплекса проверочных заданий (теста) сводится к созданию статистически представительной (репрезентативной) выборки контролируемых действий. Однако знания, подлежащие контролю, в большинстве случаев имеют более сложную и гибкую структуру, оценка которой предполагает воспроизведение не только на уровне копирования (репродукции), но и проверки способности к различного рода трансформациям (понимание, интерпретация, использование в нестандартных ситуациях). Оценка такого рода знаний является в своей основе очень сложной психометрической процедурой и предполагает выполнение ряда взаимосвязанных и взаимозависимых условий, среди которых важнейшими будут: 1. Анализ и систематизация основных компонентов знания и подтверждение достаточности заданий для измерения каждого их них (обеспечение валидности по содержанию). 2. Проверка надежности (точности, однозначности) внешних индикаторов знания4 3. Установление стандартов качества (уровня) знания. 4. Сохранение процесса контроля знания в «разумных» временных пределах, исключающих искажающее влияние фактора утомления учеников.
За каждым из перечисленных пунктов, в свою очередь, стоят многочисленные частные теоретические и технические проблемы.
с.121
Сложность измерения в сфере психологических феноменов предопределяет технологическое несовершенство методик контроля в обучении и делает их уязвимыми для критики. Вопрос о технике и качестве оценивания знаний в течение длительного времени (с конца XIX в.) является предметом устойчивого интереса специалистов. К настоящему времени накопилась обширная литература по проблеме; вышли обобщающие монографии, в которых рассматриваются достоинства и недостатки различных форм контроля знаний (устный опрос, письменные контрольные работы, тестирование), подробно анализируются проявления субъективизма и погрешностей измерения в системе оценивания знаний [1, 5-7].
Кроме психометрических причин невысокого качества оценки знаний учащихся, которые вытекают из принципиальной сложности измерений в психологии и педагогике, существуют искажения, вносимые социальными установками. Считается, что школьные оценки чаще всего завышены, и причиной тому – пресловутая «показуха» и «процентомания», боязнь отрицательных социальных последствий второгодничества, которые «давят» на учителя и побуждают его завышать («натягивать») оценки («три» пишем, «два» – в уме). Многие видят в этом (и не без оснований) разрушающий школу фактор, который следует решительно искоренять.
Каковы масштабы «бедствия» и можно ли определить количественную меру завышения оценок? Есть ли, кроме социальных, чисто психологические причины, побуждающие учителя завышать оценки ученикам? Существует ли проблема «занижения» оценок?
Имеются данные итогового контроля знаний девятиклассников, который проводился департаментом образования Нижегородской области в мае 1992 г. Всего было обследовано 19 районов Нижегородской области (7 районов Нижнего Новгорода, 7 прилегающих к нему крупных районных центров и 5 отдаленных сельских). Обследование имело статус «экспериментального тестирования» по математике, физике и русскому языку. В нем приняли участие около 4 тысяч девятиклассников. Для проверки знаний по математике использовался тест, разработанный сотрудниками лаборатории диагностики Нижегородского областного института повышения квалификации работников образования. Знания по физике и русскому языку оценивались с помощью тестов, созданных в центре «Тест» (Черноголовка Московской области). Тесты включали соответственно 58, 25 и 75 заданий. В качестве критерия успешности выполнения тестов использовался единый показатель – процент правильно решенных заданий.
Перед тестированием учителя давали интегральную оценку предметных знаний учеников по специально разработанной семибалльной шкале. Критерии выставления оценок (баллов) были следующие: 7 – блестящие знания, выходящие за рамки требований школьной программы и учебников; 6 – отличные успехи в пределах требований школьной программы; 5 – хорошие, ровные знания по предмету (при этом ученик не всегда правильно ориентируется в сложных разделах программы, нестандартных учебных ситуациях); 4 – в целом ученик справляется с программой обучения, и знания можно оценить как удовлетворительные с точки зрения соответствия минимальным требованиям к уровню знаний; 3 – знания поверхностные, отрывочные, на уровне механического запоминания отдельных фактов (оценить знания как удовлетворительные можно лишь с большой «натяжкой»); 2 – знания неудовлетворительные даже с точки зрения самых минимальных требований; 1 – абсолютное незнание и неспособность усвоить самый элементарный материал по предмету.
Нетрудно увидеть, что семибалльная шкала по сравнению с традиционной вербальной и пятибалльной шкалами более дифференцированно подходит к оценкам «отлично» и «неудовлетворительно», она как бы «растянута» на верхнем и нижнем полюсах.
Соотношение между вербальной, пятибалльной и семибалльной шкалами представлено в табл.1.
с.122
Таблица 1
Вербальная шкала
Пятибалльная шкала
Семибалльная шкала

Отлично
5
7,6

Хорошо
4
5

Удовлетворительно
3
4

Неудовлетворительно
2,1
3,2,1


В эксперименте приняли участие более 100 учителей. Перед выставлением семибалльных оценок они получали инструкцию: «По мнению некоторых специалистов, традиционная пятибалльная шкала не обладает достаточной мощностью для дифференцирования знаний. Мы просим Вас оценить знания своих учеников по предлагаемой семибалльной шкале. Когда будете выставлять семибалльные оценки, будьте, пожалуйста, внимательны и действуйте строго по инструкции». Объектом анализа в работе стали три группы экспериментальных, данных: 1. Результаты тестирования по математике, физике, русскому языку. 2. Четвертные (итоговые за четверть) журнальные оценки в традиционной пятибалльной шкале (интегрально за первые три четверти) .3. Семибалльные экспериментальные оценки.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
На рисунке представлено распределение пятибалльных и семибалльных оценок по математике, приведенных к единой вербальной шкале с четырьмя градациями качества: отлично, хорошо, удовлетворительно, неудовлетворительно (соотношения заданы в табл. 1).
Как видно из рисунка, в системе четвертных пятибалльных оценок кривая распределения имеет квазинормальный вид, т. е. доминируют средние значения (удовлетворительно, хорошо) при незначительном количестве неудовлетверительных и отличных оценок. Иную картину видели при анализе распределения семибалльных оценок. Здесь доминируют неудовлетворительные оценки и наблюдается равномерное снижение количества оценок по мере увеличения их «цены». По математике 45% всех семибалльных оценок попадает в разряд неудовлетворительно, 30% –удовлетворительно, 22 – хорошо, 3 – отлично. Аналогичное распределение семибалльных оценок наблюдается по физике и русскому языку (физика: неудовлетворительно–46%, удовлетворительно–34, хорошо – 17, отлично – 3; русский язык: неудовлетворительно – 44%, удовлетворительно – 34, хорошо – 20, отлично – 2).
Представленные усредненные данные являются достоверными, они устойчивее воспроизводятся в своих элементарных составляющих: всюду наблюдалось расхождение между журнальными пятибалльными и экспериментальными семибалльными оценками по типу, представленному на рисунке. Отмеченное расхождение можно трактовать как свидетельство завышения журнальных оценок у значительного процента учеников (особенно в диапазоне «удовлетворительно»). Радикальный вывод из полученных данных таков: если бы учителя были более откровенными в выражении своего мнения о знаниях учеников, то доля неудовлетворительных четвертных оценок составила бы не 2–3, а 40–45%.
Здесь необходимо подчеркнуть следующее. Когда говорится о завышении оценок, то нужно иметь в виду, что речь идет о субъективном мнении учителей, а не о соотнесении четвертных оценок с неким объективным стандартом качества знаний. Факт завышения оценок фиксируется при сопоставлении четвертных оценок и экспериментальных семибалльных (хотя, разумеется, и в том, и в другом случае они опираются на внешне заданный критерий). При этом считалось, что, выставляя семибалльные оценки, учителя получали возможность оценить знания
с.122.

Распределение пятибалльных и семибалльных оценок по математике, приведенных к единой вербальной шкале (в процентах от общего числа оценок). Сплошная линия – по 5-балльной шкале. Пунктирная линия – по 7-балльной шкале.
«в целом», более объективно, безотносительно к случайным и конъюктурным соображениям, которые зачастую определяют четвертные оценки. Можно предположить, что в семибалльных оценках учитель ближе к истине, т. е. к тем требованиям в знаниях учеников и их качеству, которые зафиксированы в программных документах и министерских инструкциях по выставлению оценок.
Не отмечено ни одного случая занижения четвертных оценок, т. е. фактов, когда семибалльная оценка на две единицы больше четвертной пятибалльной. К примеру, в журнале за четверть стоит 4 («хорошо»), а семибалльная оценка – 6 («отличные знания»), то есть учителя, выставляя семибалльные оценки в массовом прядке (можно сказать, единодушно), признаются в частном завышении четвертных оценок и отрицают факты занижения.
Сама по себе информация об ухудшении успеваемости в старших классах и о том, что часть подростков выпадает из полноценного учебного процесса в ожидании окончания школьной «муки», не является откровением для специалистов. Сходная картина наблюдается и в других странах. Вот что, к примеру, пишется о ситуации в Великобритании: «Стоит обратиться к тому моменту, когда дети становятся подростками, как приходится признать, что надежды первых лет обучения часто так и остаются неосуществленными. Очень многие выходят из школы, не овладев даже на посредственном уровне теми основными навыками, которые требуются обществу... Как же можно оправдать длительное пребывание в государственном учреждении, заканчивающееся подобным образом?» [4, с.16].
Итак, подводя итог результатам сравнения официальных четвертных и экспериментальных оценок, можно сделать вывод: учителя, оценивающие знания по нестандартной шкале и мало озабоченные отрицательными социальными последствиями такого оценивания, склонны признать знания учеников в массе своей неудовлетворительными, что не согласуется с официально выставляемыми оценками в классных журналах.
Теперь возникает вопрос: как соотносятся четвертные оценки учителей с реальными знаниями учеников? При этом необходимо заметить, что термин «реальный» по отношению к понятию «знания» является скорее метафорой, чем строгим определением. «Реальные знания» в рассматриваемом контексте – объективная информация о знаниях учеников, полученная с помощью достоверного независимого источника. У нас таким источником были результаты тестирования. Не обсуждая сущности тестирования как метода контроля знаний, его достоинства и недостатки в сравнении с традиционными методами, отметим лишь, что с помощью тестов, подобных нашим («закрытого типа»), легче всего обеспечить валидность по содержанию, объективность и надежность измерения в ситуации итогового контроля знаний.
Вопрос о качестве учительских оценок как меры знания учеников занимает специалистов многих стран. Так, К. Ингенкамп [5] делает сравнительный анализ соотношения тестовых результатов по математике и учительских оценок в 37 классах шестого года обучения в одном их районов Берлина. Он называет полученные данные «гротескными» и делает вывод: «Полученная учеником отметка зависит не столько от фактического уровня его знаний» сколько от случайной принадлежности к тому или иному классу» [ 5, с. 117].
с.124
Таблица 2
Результаты тестирования по математике (средний % правильно выполненных заданий теста, приходящийся на одного ученика) и распределение журнальных четвертных оценок (в % от общего числа)
Номер района
Результаты тестирования
Четвертнe оценки



2
3
4
5

1
66.2
3,03
45.8
44.7
6.44

2
61,1
6,04
50,0
33.6
10.3

3
59,4
2,6
48.3
37,8
11,3

4
57,1
1.0
48.5
44.4
6.1

5
56,6
0,8
55,2
– 39,0
5.2

6
54,7
6,6
43.2
38,5
11.7

7
52,7
2.3
51,5
38.7
7.4

8
52,1
5,8
56,1
34,2
4,5

9
48,9
6,9
55,8
29.2
8.0

10
46.9
2.6
49,1
41,2
7,0

11
46.4
0,6
54,8
39,0
5,6

12
45,3
4,1
52,6
35,0
8,2

13
42,5
3,0
45.8
37.9
13.3

14
42,2
7.6
55.2
30,5
6,6

15
42,0
3.8
57,4
30,4
8.4

16
41,5
1.4
56,5
32,4
9.6

17
38,0
2,54
64,0
27,1
6.4

18
37.0
4,0
510
34,6
8.4

19
36.1
2.0
60,0
29,3
9,0

Коэффициенты ранговой корреляции

0,05
– 0,64
0,61
– 0,15


В табл. 2 приведены ранжированные результаты тестирования по математике и распределение журнальных четвертных оценок в 19 районах Нижегородской области. Обращает на себя внимание тенденция к росту процента удовлетверительных оценок (3) за счет уменьшения доли хороших оценок (4) в динамике ухудшения результатов тестирования. Процент неудовлетворительных (2) и отличных (5) оценок не обнаруживает связи с тестовыми показателями предметной подготовки. В последней строке табл. 2 приведены коэффициенты ранговой корреляции Спирмена между результатами тестирования и процентными долями школьных оценок, которые подтверждают сделанные выводы.
Однако было бы заблуждением полагать на основе обнаруженных корреляций, что уровень предметной подготовки адекватно отражается в изменении распределения школьных оценок в срединном диапазоне оценочной шкалы. В действительности обнаруженные сдвиги в распределении оценок отражают очень небольшую долю дисперсии тестовых результатов. Анализ показывает, что изменение в уровне предметной подготовки сопряжено с равномерным сдвигом «цены» школьных отметок по всему диапазону оценочной шкалы при сохранении в целом «нормальной» структуры их распределения (80–90% всех оценок приходится на срединные значения – 3 и 4, и лишь 10–20% на крайние значения – 2 и 5). В качестве иллюстрации приведем тестовые результаты учеников разных групп успеваемости в двух районах. В табл. 2 эти районы занимают полярные позиции:
с.125 1-й и 19-й районы по результатам тестирования. Тестовые эквиваленты школьных оценок в первом районе таковы: 2 – 62,0; 3 – 61,8; 4 – 69,2; 5 – 73,4. Аналогична картина у второго района: 2 – 31,0; 3 – 34,5; 4 – 35,6; 5 – 48,9. Приведенные данные свидетельствуют о том, что двоечники и троечники одного района обнаруживают существенно более высокий уровень математической подготовки, чем «четверочники» и «пятерочники» другого. Разумеется, надо иметь в виду, что при массовом тестировании уровень результатов самых слабых учеников в классе несколько завышен за счет подсказок, списывания у более сильных. Анализ бланков ответов подтверждает наличие таких «заимствований". Но так или иначе старая педагогическая истина о различном «весе» оценок у разных учителей и в разных школах предстает на «районном уровне» очень наглядно.
Проведенное в данной работе сопоставление школьных отметок с результатами независимой тестовой экспертизы знаний подтверждает выводы многих исследователей о неудовлетворительном качестве оценивания знаний учеников. (Не случайно, вместо термина «оценка» чаще всего употребляется эвфемизм «отметка»). Главный упрек: по школьной отметке без дополнительной информации (сведений о школе, учителе, данных независимых проверок) невозможно судить о реальном уровне предметной подготовки ученика. В заблуждении пребывают и сами ученики, плохо представляющие действительную соотносительную силу своих знаний и свои возможности на рынке образовательных услуг.
Однако утверждение, что школьные отметки не являются объективными свидетельствами знаний учеников, не означает, что между оценками учителей и знаниями учеников нет соответствия. Как свидетельствуют данные многих исследований, в том числе и обнаруженные в настоящей работе, оно есть, но носит локальный характер, «привязано» к местной системе отсчета. Соотнесение результатов тестирования у учеников разных групп успеваемости показывает, что учителя своими отметками четко дифференцируют учеников по уровню предметной подготовки. Но при этом складывается впечатление, что они мало озабочены тем, чтобы выставляемые отметки строго соответствовали требованиям программы и министерских инструкций. Учителя стремятся использовать весь диапазон отметок и выбирают точку отсчета (или, скорее, вынуждены ее выбирать), которая дает возможность распределять отметки по типу нормальной кривой (3–12% отличных отметок, 0–5% неудовлетворительных, основная масса отметок более или менее равномерно делится на группы «удовлетворительно» и «хорошо».
Существует расхожее мнение, что учителя при выставлении отметок ориентируются на среднего ученика, который и определяет «цену» выставленных отметок по всему диапазону. Это не совсем так. Данные настоящей работы показывают, что учитель в своей практике отталкивается от уровня лучшей трети учеников. Именно эта треть задает точку отсчета и определяет оценочное отношение к остальным ученикам. Учителя склонны считать, что они из тактических соображений завышают оценки, особенно в нижней части оценочной шкалы (натягивают тройки). При этом такое мнение характерно и для учителей, работающих в сильных (профилированных) классах. Данные анализа субъективных оценок более 100 учителей, работающих с контингентом учеников разного уровня предметной подготовки, имеют одинаковую картину: знания 40–45% учеников, по их мнению, не отвечают минимальным требованиям.
Мы уже касались проблемы процентомании и административного давления на учителя при оценивании знаний учеников. Признавая процентоманию как педагогическую реальность, думается, что ее роль в искажении картины знаний учащихся преувеличивается. Роль психологических причин в искажении более весома, чем административных. Можно спросить: поставил бы учитель 40–45% итоговых неудовлетворительных оценок за четверть, если бы все было разрешено
с.126 и никто на него не давил? Весьма и весьма сомнительно, потому что учитель не смог бы в этом случае создать нормальную рабочую атмосферу в классе.
Есть общая закономерность в педагогике: «Чем ниже уровень знаний, тем мягче проводится оценка» [5, с. 118]. Это эмпирически установленный факт имеющий в своей основе психологические причины. Контролируя знания и выставляя отметки, учитель не может абстрагироваться от социальных, личностных и эмоциональных факторов, которые неизбежно сопутствуют процессу оценивания. Учителю в первую очередь важно обеспечить объективное дифференцирование учеников по знаниям, внушить уверенность в справедливом отношении, поддержать самооценку и уровень притязаний каждого ученика. Решение таких сложных психологических задач по самой своей сути предполагает гибкий подход к оцениванию знаний.
Отметка в современной школе – это мера успехов ученика на фоне ближайшего окружения (в классе, в школе}, это прежде всего средство мотивирования учебной деятельности, но никак не показатель знаний, исходящий истребований единого государственного стандарта.
Какими должны быть образовательные стандарты и зачем они нужны школе?
В ответе на этот вопрос можно усмотреть два подхода, две ориентации. Управляющие структуры в системе образования при установлении стандартов оценки знания исходят из государственной задачи контроля за качеством образовательного процесса, ориентируются на содержание учебного предмета и некий обязательный минимум знания, определяемый логикой усвоения учебного материала (критериальный подход, ориентация на единый образовательный стандарт).
Практикующие педагоги при оценке знаний учеников склонны исходить из логики эффективной организации учебного процесса, где на первый план выступают проблемы эмоциональной атмосферы в классе и построения нормальных отношений между участниками процесса. Отметка выступает здесь как показатель дифференциации учеников в классе по знаниям с использованием всего диапазона оценочной шкалы (нормативно-статистический подход, ориентация на гибкий стандарт, исходящий из местных условий).
Усилия органов управления образованием по повышению качества оценивания знаний учащихся предстают в ретроспективе как стремление преодолеть нормативный подход и утвердить критериальную ориентацию при выставлении школьных отметок. Периодически пересматриваются программы обучения (с акцентом на большую формализацию учебных требований и детальное перечисление конечных целей учения), уточняются критерии выставления отметок. Не отрицая полезности такой работы, все же представляется бесперспективным призывать и принуждать учителей строго придерживаться инструкций по выставлению отметок, исходящих из единого образовательного стандарта. Сознательно или неосознанно учителя будут нарушать их. Хотя можно услышать, что некоторые учителя работают без троек, а другие ставят неудовлетворительные оценки чуть ли не трети учеников в классе, все же, как свидетельствуют многочисленные данные, учитель массовой школы не может сделать значительного крена в нормальной структуре распределения отметок без серьезного нарушения баланса психологических сил в классе.
Сейчас мы являемся свидетелями попытки внедрения новых государственных образовательных стандартов в массовую школу. Высказывается мнение, что существующие стандарты задаются в очень общем виде (нетехнологично) и количественно оценить степень соответствия знаний целям обучения невозможно [2, 8]. Предлагаемые новые временные государственные образовательные стандарты по основным школьным предметам [3] снабжены образцами унифицированного инструментария (тестами) и критериями для практической проверки соответствия знаний учеников обязательному минимуму. Авторы новых стандартов указывают на то, что существующие учебные программы исходят из того объема знаний, который соответствует уровню отличной подготовки. Остальные отметки выставляются методом вычитания, в зависимости от объема незнания, проявленного
с.127.
учеником. В новых стандартах за точку отсчета берется обязательный минимум знания, определяющий тех, кому можно поставить «зачтено». Отметки 4 и 5 будут выставляться методом суммирования в зависимости от объема дополнительных знаний. При этом мыслится, что ученик сам выбирает уровень успеваемости (ограничивается отметкой «зачтено» или пытается добиться большего). Создатели проекта новой технологии оценивания знаний усматривают в ней значительные преимущества, связанные с мотивированием учебного процесса. Все это очень спорно, так как предлагаемый подход к оцениванию знаний очевидно сужает свободу нормативного маневра учителя в психологически наиболее напряженном нижнем участке оценочной шкалы.
ВЫВОДЫ
Подводя итог обсуждению затронутой проблемы, следует предостеречь от чрезмерного акцента на жесткий критериальный подход в системе образовательных стандартов. Учитель непременно должен иметь официальное право на подход к оцениванию знаний, исходящий из ориентации на локальную статистическую норму. Разумеется, такое право должно иметь свои границы.
Представляется возможным (и даже необходимым) существование двух способов оценивания знаний учеников. Во-первых, это традиционная школьная отметка, выставляемая учителем и сориентированная на локальную соотносительную норму. Главная ее функция – зафиксировать различия в знаниях учеников, исходя из местного стандарта. Во-вторых, оценивание по результатам тестирования, проводимого независимыми службами контроля за качеством образования с ориентацией на стандарты широкого уровня (региональные, государственные, международные). Стандарты могут быть как критериального, так и нормативного типа.
Задача такого тестирования не в том, чтобы выставить оценку, подобную школьной, а в том, чтобы установить соответствие знаний учеников некоторому стандарту с последующей квалификационной категоризацией учебных заведений, ученических аттестатов. Становление такой службы представляется насущной задачей развития образования.
СПИСОК ЛИТЕРАТУРЫ
1. Анастази А. Психологическое тестирование. М., 1982. Кн. 2.
2. Беспалько В. П. Слагаемые педагогической технологии. М., 1982.
3. Временный государственный образовательный стандарт. Общее среднее образование. Математика. М., 1993.
4. Дональдсон М. Мыслительная деятельность детей. М., 1985.
5. Ингенкамп К. Педагогическая диагностика. М., 1991.
6. Марченко Е. К. Методы квалиметрии в педагогике. М., 1982.
7. Стоунс Э. Психопедагогика. Психологическая теория и практика обучения. М., 1984.
8. Требования к знаниям и умениям школьников. М., 1987.

Приложенные файлы

  • doc 23627616
    Размер файла: 130 kB Загрузок: 13

Добавить комментарий