Определение. Индикатор определяет пропорцию корректных ответов справочной службы на тестовые вопросы.

Ответы справочной службы должны представлять собой последовательность коротких, четких, недвусмысленных ответов, которые могли бы быть легко разделены на корректные и некорректные. Возможностей типа "оттенков серого цвета" по отношению к уровню корректности и полноты ответа следует избегать, насколько это возможно, или произвести такую категоризацию предварительно. Вопросы по поиску (т.е. где найти определенное библиографическое описание) не относятся к справочной службе.

Цели. Библиотеки и информационные центры рассматриваются как организации, основной задачей которых является предоставление качественных сервисов клиентам. Пока справочная служба является ключевым сервисом в большинстве библиотек, является общепризнанным тот факт, что она является крайне дорогостоящей, поскольку требует высококвалифицированного персонала и доступа к обширному массиву дорогостоящих библиографических ресурсов (печатных/непечатных, локальных/распределенных). В связи с этим важно оценивать справочную службу, используя совместно и количественные, и качественные методы.

Индикатор оценивает качество обслуживания единичного запроса справочной службой (одной транзакции) с точки зрения полноты и точности ответа. Индикатор имеет следующие недостатки:

Последний пункт может быть решен за счет оценки уровня пользовательской удовлетворенности справочной службой, как описано в индикаторе №16 "Пользовательская удовлетворенность", относительно реальных условий обслуживания и ожиданий пользователя.

Исследование показало, что сотрудники справочной службы точно и полно отвечают примерно на 55% полученных вопросов. Показатель получения корректного ответа - это обязательный индикатор для выявления причин такого не очень удовлетворительного результата, а также для поиска методов улучшения этого ключевого компонента и общего качества справочной службы.

Индикатор полезен для всех библиотек, предлагающих справочные и информационные услуги. Эффективность работы библиотек может быть сопоставлена по этому индикатору в случае, если выполняются следующие условия:

Метод. Показатель получения корректного ответа измеряется путем проведения скрытого тестирования. Обследование охватывает всех сотрудниках справочного отдела, а не нескольких отдельных представителях. Чтобы избежать морального отторжения тестирования персоналом, обследование должно обязательно проводиться анонимно. Сотрудничество с представителями персонала может оказаться весьма полезным. Составляется список репрезентативных вопросов. Сотрудников отдела просят ответить на эти вопросы. Ответы оцениваются и обрабатываются. По желанию записывается время, потребовавшееся для подготовки ответа. В результате вычисляется пропорция корректных ответов за период проведения тестирования.

Очень важен выбор вопросов. Для упрощения процедуры оценивания, они должны быть краткими, фактографическими и однозначными. Список должен представлять репрезентативную выборку из вопросов, обычно задаваемых справочной службе. Более того, вопросы должны учитывать специфику библиотеки или информационного центра. В противном случае полученные результаты не будут соответствовать специфике библиотеки. Однако это создает трудности при копировании списка вопросов при их применении в различных библиотеках. Должно гарантироваться, что ответ на вопрос может быть получен при использовании имеющегося персонала, имеющейся справочного фонда и аппарата, включая доступ к базам данных.

Количество задаваемых вопросов зависит от размера справочного отдела. От трех до пяти вопросов каждому сотруднику справочной службы дадут репрезентативный результат для оценки эффективности работы. В небольших библиотеках, где в справочном отделе всего три или четыре сотрудника, количество вопросов на человека может быть больше.

Вопросы должны быть проверены до проведения тестирования. Это позволит избежать неоднозначности, которая может повлиять на результаты обследования, и предусмотреть различные варианты ответа, которые могут трактоваться как корректные или некорректные.

Проведение опроса должно проводиться в различные дни и в разное время рабочего дня, чтобы включить время пиковых нагрузок и спадов.

Сбор данных. Как только список вопросов прошел предварительную проверку, он предлагается сотрудникам справочных отделов через тестовых пользователей, которые лично приходят в библиотеку, или через непрямой контакт с сотрудниками посредством телефона, писем или электронной почты.

Тестовых пользователей следует специально подготовить, чтобы избежать неоднозначности в процессе измерения. Общение между сотрудниками справочного отдела и тестовыми пользователями должно происходить совершенно естественно, поэтому тестовый пользователь должны вести себя убедительно. Они должны также изучить, как правильно записать ответ и время, потребовавшееся для его нахождения, после завершения взаимодействия с сотрудником. Помощь студентов весьма полезна при проведении такого обследования. Тестовые пользователи не должны указывать имя сотрудника, к которому они обращались.

Одним из важных моментов является то, какого вида ответ ожидается на поставленный вопрос. В принципе могут быть два варианта ответов:

Качество библиотечной справочной службы проще оценить на основе фактографических запросов. Но если пользователя перенаправили к источникам, в которых он найдет ответ на интересующий его вопрос, то такой ответ также следует считать корректным.

Непрямой контакт посредством телефона или почты является менее распространенным при проведении интервью в вузовских библиотеках, однако, такой подход имеет преимущество, что пользователь не может быть перенаправлен для самостоятельного поиска материалов – ему должен быть предоставлен собственно ответ. Более того, организация непрямых контактов требует меньших усилий. Количество тестовых слушателей может быть сравнительно мало, особенно в случае телефонных вопросов. Вероятность возникновения подозрений у библиотечных работников снижается. Тестовые пользователи должны знать, что говорить, если сотрудники справочной службы попытаются уточнить вопрос. Для фиксирования результатов интервью тестовые пользователи должны использовать отчетные ведомости, представленные ниже. (В них представлены ответы на два вопроса. Вопрос 1: Доступен ли каталог библиотеки университета Утрехт через Интернет? Вопрос 2: Когда состоялась первая постановка комедии "Оброна Ксантупи" Людвига Х. Морстина?)

Хотя полнота и точность являются основными критериями для оценивания, время, затраченное библиотекарем на поиск ответа, также помогает оценить качество работы справочной службы. Должн приниматься во внимание, что предоставление пользователю полного ответа, как правило, требует больше времени, чем перенаправление его к справочным материалам. Оценивание времени ответа при опросе по телефону или почте имеет много неточностей. Если библиотекарь должен перезвонить пользователю для сообщения ответа, существует много причин для возникновения задержек. То же происходит и при посылке ответа по почте.

Вычисление. Количество правильных ответов делится на общее количество запросов. Результат умножается на 100.

Для более сложных вопросов следует использовать более сложную шкалу оценивания. Возможные следующие категории ответов:

С примерами различных вариантов оценивания можно подробнее познакомиться в работах Элзи (Elzy) и Ланкастера (Lancaster), указанных ниже).

Интерпретация и возможные решения. Существует множество факторов, влияющих на процесс получения справки: работник справочной службы, пользователь, запрос, доступные справочные фонды. С учетом того факта, что весь процесс является результатом человеческого общения, очень трудно установить четкую зависимость между причиной и следствием. Также следует принимать во внимание, что вне зависимости от предварительного тестирования вопросов, решение о том, является ли полученный ответ корректным или нет, является субъективным.

Низкий уровень корректных ответов свидетельствует о следующем:

Более детализированная информация о причинах может быть получена следующим образом:

Следует отдельно выделить тот момент, что индикатор "Показатель получения корректного ответа" охватывает небольшую, но очень важную часть процесса работы справочного отдела.