Тестовий контроль знань студентів з загально технічних дисциплін

Анотація: У статті розглядаються преваги та недоліки контролю знань за допомогою тестів. Аналізуються їхні основні характеристики: дійсність, надійність, важкість і рівна складність. Перевірено надійність тестів з вибірковою формою відповідей, показані прийоми її підвищення. Визначаються критерії оцінки результатів тестування. Приводяться приклади тестових завдань з теоретичної механіки.
Ключові слова: тестовий контроль, технічні дисципліни, характеристики тестів, складання тестів, критерії оцінки.

Тестовый контроль знаний студентов по общетехническим дисциплинам

Анотация: В статье рассматриваются достоинства и недостатки контроля знаний с помощью тестов. Анализируются их основные характеристики: достоверность, надежность, трудность и равная сложность. Проверена надежность тестов с выборочной формой ответов, показаны приемы ее повышения. Определяются критерии оценки результатов тестирования. Приводятся примеры тестовых заданий по теоретической механике.
Ключевые слова: тестовый контроль, технические дисциплины, характеристики тестов, составление тестов, критерии оценки.

Постановка проблемы. Контроль знаний студентов занимает важное место в процессе обучения. Различают предварительный (вводный) контроль, текущий контроль (устный опрос, контрольные работы, расчетно-графические задания) и итоговый контроль в форме экзаменов, зачетов, курсовых и дипломных проектов.
Среди перечисленных форм контроля все большее развитие получает тестовый контроль, который рекомендован Министерством образования и науки Украины и документами Болонской конвенции. Тестовый контроль в этих документах рассматривается как одно из средств совершенствования процесса обучения. Актуальными являются вопросы обобщения, систематизации имеющегося опыта и выработки рекомендаций в области создания тестовых заданий и проведения тестового контроля знаний, умений и навыков.
Выделение не решенных раньше частей общей проблемы.
Технические дисциплины, как правило, содержат теоретические положения (основные понятия и определения, законы и теоремы, нормативные документы, стандарты и т.п.) и учебный материал практического характера (задачи и задания, связанные с математическими вычислениями и с выполнением графических работ). При изучении этих дисциплин широко используются компьютерные технологии. Поэтому разработка заданий для тестового контроля по техническим дисциплинам имеет ряд особенностей, нуждающихся в изучении.
Анализ исследований и публикаций по проблемам тестового контроля показывает, что основными вопросами этих исследований являются:
- разработка классификации тестов, например, по форме предъявления заданий и по форме ответов на них; по количеству вариантов выбора правильного ответа ("один из двух", "один из многих", "множественный выбор из известного числа вариантов" и т.д.); [2].
- методические приемы составления тестов;
- методы повышение надежности тестов; [1]
- методика проверки тестов и оценивания результатов тестирования;
- особенности использования технических средств при проведении тестовых контролей и обработке их результатов.
Постановка задачи. Целью статьи является обобщение имеющегося опыта тестового контроля знаний студентов и изучение особенностей такого контроля для технических дисциплин.

Тест (Test) – слово английского происхождения, означающее испытание, пробу, экзамен.
Тесты дают возможность однозначно трактовать результаты проверок.
Тесты успеваемости – это совокупность специально подобранных заданий для выявления знаний, требующие коротких однозначных ответов.
 Тесты имеют ряд важных позитивных качеств:
- Возможность проверить степень усвоения значительной части учебного материала, одновременно охватить большое количество студентов, обеспечить объективность в оценивании знаний.
- Экономия времени: студенту не нужно самостоятельно формулировать и давать расширенные письменные ответы.
- Проверка тестов не требует значительных усилий и времени, однозначность правильных ответов облегчает оценивание. Проверку может выполнить не специалист в данной учебной дисциплине.
- Студенты через небольшой промежуток времени могут узнать о результатах своих ответов.
 Однако, тесты имеют определенные недостатки:
- Тесты не всегда позволяют в полной мере проверить степень понимания учебного материала, т.к. выявляется не сам ход решения, а только результат. Например, в определенных задачах один и тот же ответ может быть получен разными путями, и не известно, выбран ли наиболее рациональный способ решения.
- Отдельные тесты адресуются только к памяти студента, и не вызывают интенсивной умственной работы.
- Тесты не способствуют развитию речи студента. Особенно это относится к использованию технических, математических и других, характерных для данной учебной дисциплины, терминов.
- С помощь тестов успеваемости, в которых предлагается выбрать правильный ответ из нескольких предложенных, невозможно установить степень получения некоторых навыков. Например, - навыков выполнения чертежно-графических работ, навыков работы с клавиатурой компьютера и т.п. Хорошо известно, например, что при сдаче экзамена для получения водительского удостоверения с помощью тестов определяются знания правил дорожного движения, а навыки вождения автомобиля устанавливает экзаменатор, наблюдая за действиями водителя. Поэтому метод тестирования целесообразно разумно объединять с другими методами проверки знаний студентов.
Наиболее распространенной классификацией тестов можно считать классификацию по форме их построения: а именно тесты с конструируемыми ответами и тесты с выборочными ответами.
Характерным для первого вида тестов является то, что студенты самостоятельно составляют короткие однозначные ответы. Недостатком таких тестов является то, что они не удобны при проверке и обработке результатов.
Тесты с выборочными ответами содержат один или несколько правильных ответов, которые нужно выбрать из числа предложенных. Их недостатком является то, что они ограничивают возможность студента в формулировании этих ответов.
При разработке тестов нужно обращать внимание на ряд общих для них характеристик. Важнейшими из них являются: достоверность или валидность (от английского слова – valid – соответствовать), надежность, трудность, равная сложность вариантов.
 Тест успеваемости является достоверным, если он измеряет уровень усвоения именно тех знаний, которые интересуют преподавателя. Мерой достоверности теста успеваемости является коэффициент корреляции r между оценками, полученными при тестировании и оценками, полученными при проверке знаний другими объективными методами (например, на экзамене) [1].
r= (Sxy)/ Sx2y2 (1)
где x=xi – , y=yi - . Здесь xi – оценка тестирования, yi – оценка, полученная на экзамене, , - соответствующие средне арифметические оценки. Чем больше величина коэффициента корреляции приближается к единице, тем тест больше отвечает требованиям истинности. Тестовые задания, степень истинности которых меньше 0,3, использовать не следует.

 Надежность тестов характеризуется вероятностью случайного, неосмысленного выбора правильного ответа, иначе говоря, "угадывания".
Пусть n – количество вопросов в тестовой карточке, k – количество выборочных ответов на каждый вопрос, тогда вероятность "угадать" один правильный ответ на один вопрос p= . Обозначим т – общее количество правильных ответов студента, необходимое для получения определенной оценки ("удовлетворительно", "хорошо" или "отлично"). Предположим, что карточка теста содержит 5 вопросов, на каждый из которых приведено 5 возможных ответов, среди которых один ответ – правильный, а для того, чтобы "заработать" оценку "удовлетворительно" нужно дать 3 правильных ответа. По формуле Бернулли подсчитаем вероятность удовлетворительной оценки при случайном неосмысленном выборе 3–х правильных ответов.
pn(m) = pm(1-p)n-m.
Здесь n!, m!, (n-m)! – факториалы целых чисел, т.е. n!=1•2•3•…•n.
Тогда n=5, m=3, k=5 и p= =0.2.
p5(3)= 0,23(1-0.2)2=0,05.
Теперь определим вероятность оценки "хорошо" (m=4) при случайном выборе правильных ответов.
p5(4)= 0,24(1-0.2)=0,006.
Вероятность случайной оценки "отлично" (m=5) очень мала:
p5(5) = 0,25(1-0.2)0=0,0003
Таким образом, вероятность случайного получения положительной оценки при 5-и вопросах в карточке теста и при 5-и возможных ответах на каждый из вопросов:
P5=p5(3)+ p5(4)+ p5(5) =0,05+0,006+0,0003=0,056, т.е.около 6%.
Аналогично определим случайность положительной оценки при 4-х вопросах в карточке (n=4) и при 4-х возможных ответах на каждый вопрос (k=4). Оценка "удовлетворительно" соответствует 2-м правильным ответам (m=2), "хорошо" – трем ответам (m=3), а оценка "отлично" – 4–м правильным ответам (m=4), p=1/k=0,25. Тогда вероятность оценки "удовлетворительно" при случайном выборе ответов:
p4(2) = =0,21.
Вероятность случайно получить оценку "хорошо":
p4(3) = =0,048.
Вероятность случайной оценки "отлично" p4(4)=0,254=0,004.
Вероятность случайной положительной оценки при 4-х вопросах в карточке теста и при 4-х возможных ответах на каждый вопрос составляет:
P4=p4(2) + p4(3) + p4(4) =0, 21+0, 048+0,004=0, 262, т.е. 26%.
Надежность таких тестов нельзя считать достаточной.
Реально надежность теста может оказаться еще меньше. Если студент может осмысленно указать правильный ответ только на один из четырех вопросов, то ему достаточно случайно выбрать еще один правильный ответ из трех оставшихся вопросов и получить оценку "удовлетворительно".

Трудность является одной из важных характеристик тестов. Поэтому, составляя тест, нужно обращать внимание на трудность каждого его вопроса, которая определяется процентом правильных ответов, данных студентами за определенное время. Тест считается чересчур легким, если на все вопросы все студенты ответили правильно, и чересчур трудным, когда ни один студент на них не ответил правильно. Из тестов устраняются чересчур легкие и очень трудные вопросы. Как правило, в тест включаются лишь те вопросы, на которые получено не более 80 – 85% и не менее 10 – 15% правильных ответов. В принципе лучшие студенты должны правильно отвечать на все вопросы, на которые правильно ответили более слабые студенты.
Равная сложность вариантов теста может быть достигнута, если вопросы одинаковой трудности и тождественного смысла распределить по параллельным вариантам. Добиться, чтобы все варианты были абсолютно равны по сложности, вряд ли возможно. Чем меньше вариантов теста, тем легче обеспечить равную их сложность. Один и тот же вариант теста может быть предъявлен одновременно разным студентам и при этом обеспечена самостоятельность ответов.
Тесты, составленные преподавателем или даже группой опытных специалистов, конечно, не гарантированы от ошибок и неточностей. Поэтому они требуют проверки. Естественно, например, предложить эти задания другим преподавателям для рецензии. Полезно установить:
- Достаточно ли ясен и однозначен каждый из вопросов?
- Действительно ли важны те вопросы учебного курса, понимание и усвоение которых проверяется?
- Сколько времени требуется для ответов на все вопросы?
- Удачно ли подобраны выборочные ответы?
 Выборочные ответы
Составление достаточного количества правдоподобных ответов (например, 4-5) представляет собой трудоемкую, а иногда и неразрешимую задачу.
- В качестве неправильных целесообразно использовать ответы, содержащие типичные ошибки студентов. Опытный преподаватель хорошо знает, какие пробелы в знаниях студентов, какие нарушения хода умственных рассуждений приводят к ошибкам в ответах на вопросы или при решении задач. Именно эти ошибочные ответы, наиболее распространенные среди студентов, целесообразно включать в тест.
- Необходимо избегать таких вопросов, правильные ответы на которые можно получить, выполняя ошибочные действия. Например, проекция вектора на координатную ось равна произведению его модуля на косинус угла наклона. Если задать угол a=450, то тот же результат можно получить, умножая модуль вектора на синус угла, т.к. в этом случае sina=cosa.
- В ряде случаев нужно оговаривать допустимую точность вычислений (например, до десятых) или измерений (при решении графических задач, например, с точностью до мм).
- Целесообразно в тестах использовать такие вопросы, которые без выборочных ответов лишены законченного смысла. Например: "Какие из перечисленных ниже величин, не являются векторными: 1.масса, 2.скорость, 3.сила, 4.ускорние, 5.время?". Без альтернатив данный вопрос лишен законченного смысла. Кроме, этого вопрос предполагает два правильных ответа (1 – масса и 5 – время), что повышает его надежность.
Оценка результатов тестирования.
Важным вопросом применения тестов успеваемости является определение объективных критериев оценки их выполнения. Учитывая вероятность неосмысленного (случайного) выбора правильных ответов, можно доказать, что при 8 – 10 вопросах и 4 – 5 ответах на каждый из них, нижняя граница положительной оценки должна соответствовать не менее, чем 60% правильных ответов, "4" – 80…90%, а "5" – 90…100% правильных результатов. Поэтому, если тест состоит из 10 примерно равных по сложности вопросов, оценка "удовлетворительно" должна соответствовать 6 – 7-и правильным ответам, "хорошо" – 8 – 9-и, а "отлично" – 9 – 10-и правильным ответам. Соответственно, при 5-и заданиях, оценка "удовлетворительно" выставляется за 3 правильных ответа, " хорошо" – за 4, а "отлично" – за 5 правильных ответов.
Если тест состоит из разных по сложности вопросов, то опытный преподаватель может для оценки результатов тестирования назначить коэффициенты сложности вопросов (например, от 1 до 2).
Рассмотрим примеры составления тестов.

Теоретическая механика
При изучении теоретической механики студентам предлагаются задачи, решить которые можно, используя определенные законы, теоремы и т.н. "принципы" (например, "принцип Даламбера"). Часто одну и ту же задачу можно решить разными способами. И в этом случае нужно научиться выбирать наиболее рациональный путь решения.
Пример 1. Рассмотрим пример задания, цель которого – выяснить знание теоремы о трех силах и умение использовать ее для решения задач. Эта теорема говорит о том, что, если под действием трех сил тело находится в равновесии, то линии действия этих сил пересекаются в одной точке.
Определить реакцию опоры А, если вес Р балки АВ равен 100 кН. (рис.1). Если студент использует данную теорему, то из уравнения SFky=0, он найдет RA=P/2cos600=100кН. (рис.2).

Рис.1 Рис. 2 Рис. 3

Однако, эту же задачу можно решить, не используя теорему о трех силах. В этом случае студент может составить и решить уравнения равновесия произвольной плоской системы сил, разложив RA на две составляющие RAX и RAY (рис.3), и получить тот же результат. Этот путь решения значительно длиннее. Поэтому в данном примере целесообразно иначе сформулировать условие. Например, не задавая вес балки, определить угол наклона реакции RA к оси Х.

Выводы и перспективы дальнейших исследований.
 При разработке тестов необходимо учитывать такие, общие для любой учебной дисциплины характеристики, как достоверность, надежность, трудность и равную сложность вариантов.
 С точки зрения надежности тестов с выборочными ответами количество вопросов в тестовом задании должно быть не менее 5 – ти при таком же количестве предлагаемых ответов на каждый из них.
 В заданиях по общетехническим дисциплинам часто искомый результат можно получить, используя различные методы решения. Поэтому вопросы тестового контроля с выборочными ответами должны быть сформулированы так, чтобы ответ можно было получить, используя только один метод решения, именно тот, знание которого проверяется.
 В тестовых заданиях по общетехническим дисциплинам зачастую необходимо оговаривать необходимую точность вычислений или точность графических построений.
 Тесты, содержащие графические задания, должны составляться с учетом уровня навыков оформления чертежно – графических работ, т.к. качество этих работ зависит от отведенного на их выполнение времени.
Одним из направлений дальнейших исследований является разработка методики тестирования по графическим дисциплинам, в частности, по компьютерной графике.

Литература
1. Дж. Глас, Дж. Стэнли. Статистические методы в педагогике и психологии, "Прогресс", Москва, - 1997. - 216 с.
2. Тестова перевірка знань учнів. За редакцією канд.. пед. наук Н.М.Розенберга. Радянська школа", К., - 1973. – 168 с.

Класи: Вища школа

Предмети: Інші предмети