Анализ критериев оценки письменной части итогового экзамена 2015-2016 учебного года и уточнение критериев оценки письменной части итогового экзамена (написание абзаца)

В данном параграфе будут представлены составленные нами критерии оценивания письменной части (написание абзаца) летнего экзамена по дисциплине «Английский язык» для неязыковых специальностей НИУ ВШЭ на основе действующих дескрипторов, разработанных Департаментом иностранных языков.

На первом этапе исследования нами была проведена проверка письменных работ (абзацев) студентов первого курса 2015;2016 учебного года согласно установленным НИУ ВШЭ критериям оценивания письменной речи (абзаца). В данном анализе участвовало 20 учащихся, результаты и порядковый номер студента можно увидеть в Приложении 3.

Как видно из приведенных данных по результатам работ, уровень владения письменной речью у студентов первого курса бакалавриата достаточно высок. Но в процессе изучения письменных работа учащихся (написание абзаца), были выявлены определенные особенности, не нашедшие отражения в актуальных критериях оценивания абзаца. В связи с этим, было принято решение сделать попытку по улучшению имеющихся дескрипторов с внесением некоторых качественных и количественных изменений. Для этих целей нами было принято решение расширить максимально возможный балл с 10 до 20 баллов, что значительно облегчило процесс создания новой шкалы. (Приложение 5).

В ходе проверки экзаменационной письменной части нами было установлено, что не все студенты усвоили структурный вид абзаца. Трое учащихся (№ 11,13,18) разделили свою письменную работу на смысловые блоки: предложение, выражающее основную мысль, затем с новой строки основная часть, с новой строки заключение, что является грубейшим нарушением академической структуры абзаца. Но обозначить (снизить балл) подобное нарушение не было возможности в силу отсутствия данного критерия в дескрипторах департамента. Таким образом, уместным будет предложение по оцениванию наличия верной структуры абзаца, весом в 1 балл, так как здесь не может быть вариаций: либо структура соблюдена, либо нарушена. Данное дополнение будет полезным и для оценивания в будущем написание эссе, где правильная структура играет не меньшую роль. Здесь же, также весом в 1 балл следует критерий «Стиль», выражающийся в соблюдении в письменной работе академического стиля письма, либо в полном его отсутствии. В этом же блоке, объединенном под названием «Организация», мы предлагаем оценивать логику абзаца (2 балла максимум), выраженную в использовании слов-связок и соблюдении общей логики письменной работы. Например, отсутствие логики в построении высказывания оценивается в 0 баллов. Если высказывание не всегда можно назвать логичным и, например, имеются ошибки в использовании средств логической связи И/ИЛИ замечена избыточность использования средств логической связи, то за данный критерий учащемуся полагается 1 балл. 2 балла присуждается, соответственно, студенту, не нарушившему логику высказывания и адекватно употребившему все необходимые слова-связки.

Также по действующей шкале критериев было сложно оценить наличие в письменном продукте употребления активной лексики, которая на наш взгляд представляет собой большую ценность в качестве показателя уровня коммуникативной компетенции учащегося и уровня владения академическим вокабуляром. Максимально оценить данный пункт предлагается в 3 балла, где 0 баллов будет означать полное отсутствие в работе активной лексики и скудный лексический запас с пятью и более ошибками, два балла будут говорить об употреблении более 3−4 элементов активной лексики и допущенных ошибках не более, чем в двух словах. Соответственно, использование лексического запаса, соответсвующего поставленной задаче и наличие более 5 элементов активной лексики, и отсутствие лексических ошибок будет оценено в максимальный балл. Стоит отметить, что в графе «Общая грамотность» нами было принято решение об отказе от проверки пунктуации, так как ни один рассмотренный нами УМК не уделяет внимание данному вопросу. Также нам показалось уместным предложить разделить критерий «Содержание» на два аспекта: наличие и адекватность вводного предложения и, аналогичным образом, наличие и адекватность заключения. По своей сути, умение правильно ввести в тему и заключить ее, являются первейшими показателями аналитических способностей учащегося, ведь правильное суммирование и перефразировка заданной информации отражает общее понимание контекста и его идеи. Данному аспекту предлагается отдать вес в количестве двух голосов и для введения, и для заключения, где максимальный балл означает наличие ясного введения/заключения с четким отражением/суммированием заявленной идеи, соответственно, 0 баллов означает абсолютное их отсутствие или неадекватность поставленной задаче. Более подробная информация также содержится в Приложении 5.

Для определения степени валидности дополненных критериев, была проведена их апробация на студенческих письменных работах, оцененных ранее по критериям, созданным Департаментом иностранных языков НИУ ВШЭ. С результатами данного эксперимента можно ознакомиться в Приложении 3.

В ходе апробации усовершенствованных критериев была доказана их соотнесенность с существующей шкалой оценивания, так как в итоговых результатах, о которых можно судить по получившейся диаграмме, уровень результатов оценивания шкалы Департамента иностранных языков находится примерно на одном уровне с результатами письменных текстов по уточненным критериям. (Приложение 4).

На наш взгляд, наибольшую ценность предложенная шкала оценивания представляет за счет своей гранулярности, что позволяет не только выставить однозначный суммарный балл, но главное — аргументировать его. Преимущество данного метода оценивания абзаца в рамках действующего критерия «Содержание», равное 4 баллам, и его, предложенной нами, альтернативой в виде нескольких критериев: «Topic sentence» (2 балла), «Аргументация» (3 балла), «Поддерживающие идеи» (3 балла), «Заключение» (2 балла).

Каждый столбец — это студент, а окрашенный сектор столбца означает выполненность того или иного критерия. Так, например, студенты № 8 и № 9 получили итоговый одинаковый балл (при соотнесенной шкале в 10 и в 20 баллов), где 12 равняется 6 баллам, а 11 приравнивается к 5. Но как можно заметить из полученной диаграммы (Приложение 4), судя по уточненной шкале, студент № 8 не суммировал идею работы заключительным предложением, за что и не получил 2 балла. В свою очередь мы видим, что у студента № 9 структура абзаца соблюдена, но он привел меньше аргументов, чем требовалось в задании.

Таким образом, уточненная шкала критериев помогает по-новому взглянуть на оценивание академического письма (абзаца), уделяя большее внимание деталям структуры, содержанию и общей грамотности академического письма, что способствует более критичному восприятию экзамена и, как следствие, повышению его эффективности. На наш взгляд, уточнения, внесенные нами в существующую шкалу оценивания письменной части итогового экзамена НИУ ВШЭ по «Английскому языку» для неязыковых специальностей, адекватны и могут быть приняты к дальнейшему рассмотрению и внесению правок.