В последнее время все большее распространение получают
программные продукты, позволяющие достичь отчуждения пользователя
программных продуктов от их разработчика за счет своей доступности для
понимания и перенастройки, а также открытости для дальнейшей доработки
непосредственно пользователем. Подобные системы (ГАЛАКТИКА, ПАРУС,
ТЕКТОН, 1С: Предприятие, БЭСТ и др.) обычно носят комплексный характер,
А называть их принято открытыми или расширяемыми.

С переходом предприятия (или любой другой организации) к
использованию приобретаемых и вновь устанавливаемых автоматизированных
систем управления и учета (систем поддержки принятия решений) особенно
актуальным оказывается обучение настройке и работе с ними широкого круга
специалистов (обучаемых). Убедиться в том, насколько результативным
оказался процесс обучения, можно лишь так или иначе проверив знания
обучаемых.

Как правило, оценить усвоение предмета обучаемыми позволяет
проведение аттестации, предполагающее использование системы специально
разработанных тестов, опрос по экзаменационным билетам, выполнение
различных контрольных работ и т. д. В конечном счете прошедшие аттестацию

могут быть сертифицированы.

Особенности сертифицирования обучаемых по тем или иным
программным продуктам обусловливаются их спецификой. Так уверенное
владение любой открытой системой поддержки принятия решений
предполагает демонстрацию со стороны обучаемых твердых знаний и навыков
работы, как минимум, со следующими программными продуктами:

- средство разработки Приложений (своего рода Конструктор или
Дизайнер), с помощью которого, как правило и создана система
поддержки принятия решений;

содержание настоящего исследования.

Основные положения, которые должны обязательно найти отражение в
программе аттестации (Программе), будут следующими:

1. Программа должна учитывать степень подготовленности аттестуемых
и круг охватываемых вопросов. В связи с тем, что сертифицированию
подлежат специалисты различного профиля, уровень их знакомства с
программными продуктами будет неодинаков.

Реализовано это может быть с помощью специально
предусмотренного в программе системного справочника
(кодификатора), позволяющего учесть не только профиль
аттестуемого, но и степень его подготовленности. Настройками
кодификатора также может определяться допустимое время на
прохождение аттестации. Должна быть предусмотрена возможность
изменять его при необходимости.

Программа должна иметь расширяемую и редактируемую базу
знаний, включающую перечень контрольных вопросов (и ответов к

ним) и заданий. В зависимости от специализации аттестуемых
вопросы и задания могут иметь разграничение по уровню сложности и
по категориям аттестуемых.

Для этого, например, все вопросы и задания в базе знаний могут
быть упорядочены по степени их сложности, а также по соответствию
требованиям, предъявляемым к знаниям аттестуемого того или иного
профиля. Группирование вопросов и заданий по тематике и уровню
сложности в этом случае может задаваться другим системным
справочником - диапазонами кодов. Принадлежность вопроса
(задания) к тому или иному разделу будет определяться его
порядковым номером (кодом).

3. Программа должна предусматривать ввод анкетных и других
необходимых данных об аттестуемом (степень освоения им средств
разработки и системы поддержки принятия решений). Тем самым
аттестуемый заявляет о той сертификационной категории, которую он
предполагает подтвердить.

На основе введенных данных об аттестуемом должен быть

сформирован "билет" с обязательной последующей проверкой
соответствия номеров контрольных вопросов и заданий диапазонам
кодов, установленным для данной сертификационной категории.

Ответы аттестуемого на вопросы позволят оценить его уровень
знания терминологии и способность ориентироваться в программных
продуктах в целом. Выполнение аттестуемым контрольных заданий
должно составить наиболее информативную частью аттестации, так
как дает возможность получить представление не только об отдельных
навыках работы с программными продуктами, но и его умение
использовать их при решении поставленных задач, зачастую
требующих комплексного подхода.

4. Программа должна быть обеспечена возможность выполнения
аттестуемым контрольных заданий, выбора вариантов ответов на
поставленные вопросы и документирования сведений о лице,
проводящем аттестацию (аттестующем). Правильность ответов на
поставленные вопросы должна контролироваться Программой.

Результат выполнения контрольных заданий, например, может

оцениваться аттестующим по пятибалльной системе. Если
аттестуемый с трудом и при помощи аттестующего справляется с
заданием - ставится оценка "удовлетворительно", неуверенное, но
самостоятельное выполнение задания оценивается "хорошо",
уверенное, предполагающее нестандартные подходы, выполнение
задания заслуживает отличной оценки.

Протоколирование результатов и вычисление итоговой оценки по
сути и будет представлять собой сертификацию. Процесс этот должен
осуществляться автоматически с учетом оценок за выполнение
контрольных заданий и правильности ответов на вопросы, а также
общего времени, затраченного на прохождение аттестации.

Заявленная аттестуемым сертификационная категория может считаться
подтвержденной при получении им положительной оценки и не
подтвержденной - при получении отрицательной. Общий результат аттестации
может оцениваться Программой по десятибалльной системе, а при занесении
его в базу данных пересчитываться по пятибалльной шкале для удобства
восприятия.

Общий балл, набранный при прохождении аттестации не должен в этом
случае превышать 10 и будет определяется тремя переменными:

- B_qi - балл, полученный за ответ на
вопрос, где i - порядковый номер вопроса;

где T_qi, T_ei, T_t - константы, представляющие собой оценочные баллы
соответствующих вопросов и заданий, а также балл за время прохождения
аттестации, не превышающее установленного для данной сертификационной
категории аттестуемого.

Переменные B_qi и B_t определяются из следующих условий:

если на вопрос дан верный ответ и время аттестации, не превышает
установленного;

если ответ на вопрос неверный и время аттестации, превышает
установленное.

Переменная B_ei будет зависеть от оценки за
выполнение контрольного задания, выставляемой аттестующим (если задание
не выполнено, то оценка за него просто не выставляется) и рассчитывается
по формуле:

где B_c - оценка, выставляемая аттестующим з
а выполнение контрольного задания (от 3 до 5).

Таким образом, при определении итога аттестации может быть
реализована методика адаптивной оценки плавающих показателей, что
позволяет значительно повысить объективность в принятии решения даже при
сравнительно небольшой выборке вопросов и заданий.

Участие аттестующего в этом случае будет сведено к общему
руководству процессом аттестации и оцениванию выполнения контрольных
заданий, причем его оценка не будет являться определяющей, а лишь
корректирующей в принятии решения и учитываться как один из факторов,
влияющих на конечный результат.