Скорее исключением, чем правилом, является случай, когда библиотеки систематически выполняют все измерения, описанные в руководстве.^[12] Скорее всего, библиотека будет заинтересована в получении дополнительной информации лишь об одном или нескольких определенных сервисах или направлениях деятельности. Библиотека осознает необходимость организационного улучшения некоторых аспектов библиотечного сервиса в случаях, когда:

Когда библиотека точно определила, какого рода результаты она хотела бы получить в результате проведения измерений, следующим шагом является выбор индикаторов. Обычно существует несколько индикаторов, способных оценивать определенный вид деятельности, причем все эти индикаторы были протестированы и продемонстрировали свою адекватность, надежность, воспроизводимость, полезность и удобство. Дальнейший выбор индикаторов зависит от следующих факторов:

Тщательный учет всех этих аспектов поможет библиотеке решить, какой индикатор эффективности работы выбрать. Когда выбор индикатора сделан, начинается процесс обследования.

Процесс измерений обычно состоит из трех этапов: подготовка, реализация и интерпретация.

Подготовка. Ответственность за весь эксперимент в целом возлагается на супервайзора (руководителя обследования). Вне зависимости от степени знакомства с методикой проведения измерений и организации библиотеки, руководитель должен выполнять клиринговые функции для решения всех проблем, возникающих в процессе проведения измерений.

С самого начала эксперимента требуемый персонал должен быть вовлечен в процесс исследования. Очень важно обсудить проект с персоналом, непосредственно отвечающим за библиотечные сервисы, подлежащие обследованию. Руководство библиотеки должно объяснить причины, которые привели к решению осуществить проект, и выразить свою готовность предоставить необходимые ресурсы - время и деньги. Особое внимание должно быть уделено обоснованию того, почему именно этот сервис нуждается в усовершенствовании. Необходимо также отметить ожидаемую выгоду для библиотеки и ее пользователей. Персонал использует эту возможность для внесения предложений о способах усовершенствования сервиса. Такой обмен мнениями положительно влияет на процесс обследования. Более того, обладая знаниями о том, что и как измерять, персонал сможет помочь адаптировать универсальный метод обследования к специфическим особенностям конкретной библиотеки. Вовлеченность персонала требуется также для преодоления опасений сотрудников, которое часто сопутствует проведению измерения эффективности.

Рабочий план. После уточнения цели и краткосрочных задач, а также ожидаемого результата приступают к составлению рабочего плана для определения необходимых действий со стороны библиотеки. Здесь соображения экономической эффективности, которые оказывали влияние на выбор индикаторов эффективности, выражаются в более конкретных терминах:

При измерении эффективности, скорее всего, можно использовать данные из ежегодной статистики или из автоматизированных библиотечных систем. Каждый шаг процесса измерений должен анализироваться. Использование технологических схем библиотечных процессов поможет рационализировать общую процедуру.

Выборка. Статистические данные не всегда доступны, и в большинстве случаев получение полного набора данных стоит очень дорого. Поэтому очень важна процедура получения достоверных результатов по выборке. В этом случае берется малая часть населения, а результаты обобщаются на более многочисленную группу.

Для большинства индикаторов эффективности идеальный размер выборки в целях получения надежных результатов рекомендуется определять на основе практического опыта. Хотя справедливо, что чем больше размер выборки, тем надежнее результаты, идея выборки заключается в нахождении компромисса между получением максимально надежных результатов и минимумом необходимых усилий. При особых обстоятельствах может потребоваться расчет размера выборки (n).

Для этого лучше всего использовать вероятностный подход. В этом случае каждой единице населения присваивается предопределенная и ненулевая вероятность включения в выборку.

Перед вычислением требуемого размера выборки (n) должны быть приняты некоторые решения, а именно:

Какой выбрать уровень точности (h)?

Какой выбрать уровень доверительности (Z_α)?

Чему равен предполагаемый (планируемый) уровень измеряемого параметра (p)?

Хотя размер выборки (n) будет варьироваться при проведении обследования, основная формула его расчета при заранее установленной точности и определенном уровне доверительности, выглядит следующим образом:

Если численность населения (N) большая, т.е. более чем в 20 раз превосходит размер выборки (т.е. (n), деленное на (N), меньше 0.05), то используется следующая упрощенная формула:

Пример: Крупная библиотека (N = ∞) считает, что доступность названий для МБА составляет около 80% (т.е. p = 0.8). Рассчитаем размер выборки (n), требуемой для достижения умеренно высокой точности (h = 0.03) при уровне успешного обслуживания (p). Результат должен иметь уровень доверительной вероятности 95% ( Z_α = 1.960). (Совет: используйте упрощенную формулу, поскольку N = ∞.)

Решение:

(Библиотеке, выполняющей 1200 запросов по МБА в год и имеющей процент выполнения 80%, потребуется размер выборки 435 названий для достижения умеренно высокой точности [h = 0.03] с доверительной вероятностью 95%.)

Стратифицированная выборка. Подразумевается, что простая случайная выборка обеспечивает получение случайного, и не обязательно представительного подмножества. Когда население гетерогенное (неоднородное) и может быть разделено на подгруппы (называемые стратами), например, на пользователей локальных и зарубежных библиотек, лучше применять стратифицированные случайные выборки.

NB: Должно быть известно количество единиц населения в каждой страте.

Для расчета стратифицированного примера с равномерным распределением используется следующая формула:

Пример: Крупная университетская библиотека получила в 1992 г. общее количество запросов по МБА на 15,187 названий (N = 15187); 11,322 из них от локальных библиотек (N_i = 11322) и 3,865 по международному МБА (N_j = 3865). Каковы будут размеры выборок при стратифицированном подходе с равномерным распределением для обследования в 1993 году?

Решение:

Независимо от размера выборки, процедура ее получения является задачей особой важности. Это определяется условиями работы библиотеки. Обычно используются технологии регулярной случайной выборки. В тех случаях, когда некоторые части всего набора данных сознательно исключаются, например, журналы, или коллекция, преподнесенная в виде дара, это должно быть сделано явно. Зная общее количество единиц (например, 1000) и желаемый размер выборки (200), нужно проанализировать пятую часть населения, начиная со случайного номера. При проведении широкого обследования библиотеки каждому участнику должен быть задан вопрос о его статусе (студент, преподаватель, пр.) Результаты должны интерпретироваться в свете информации о составе населения.

Другим важным моментом является продолжительность сбора данных. По финансовым и организационным соображениям невозможно собирать данные непрерывно. Для получения репрезентативных данных должна быть определена периодичность получения выборки. Изменения в течение академического года не должны слишком сильно влиять на результаты. Обычно период сбора данных не должен превышать одну неделю. Концентрация усилий по сбору данных предотвращает появление у пользователей негативной реакции на постоянные просьбы о помощи библиотеке в улучшении обслуживания.

Предтест. Перед началом действительного сбора данных следует провести предтест. Хотя идея и методология детально описаны для каждого индикатора, сбор данных должен быть адаптирован к конкретным обстоятельствам конкретной библиотеке. В общем случае предтест позволяет избежать ошибок, которые могут повлиять на достоверность результатов всего обследования:

Реализация. Вторая часть процесса измерения состоит из сбора данных. Только в редких случаях можно опираться на данные, которые собираются постоянно. Руководство организации будет, конечно же, сообщать последние данные о студентах и преподавателях по каждому факультету или дисциплине. При изучении использования коллекции библиотека сама располагает наиболее важными данными о количестве книговыдач на основании соответствующих записей, или количестве книг, не востребованных в течение определенного времени. Часть данных может быть получена сравнительно легко. Однако эти данные должны быть тщательно проанализированы в контексте проводимого обследования. Использование некоторых данных может быть запрещено вследствие защиты информации, т.к. данные могли быть собраны в целях, отличных от задач обследования; они также могут быть неполными или устаревшими.

Сбор данных. В большинстве случаев данные должны собираться специально для измерения эффективности работы. При всем обилии методов сбора данных^[14] четыре из них представляют особую важность для практического применения индикаторов в контексте настоящего руководства:

Моделирование. С целью избавить пользователя от необходимости проверки его библиотечных знаний при измерении индикатора «Время доставки документа», выбираются тестеры (имитаторы), которые моделируют весь процесс поиска названий и получения их. Реальный пользователь не найдет причин для траты своего времени на поиск книги, которая ему лично не нужна. Моделирование необходимо также потому, что экземпляры книг должны быть найдены заранее, чтобы убедиться в их действительном наличии на полках. Очень важен выбор людей на роль тестеров, поскольку этим определяется успех обследования в целом. Очевидно, что опытные библиотекари будут работать много успешнее при поиске названий в каталоге, чем студенты. Моделирование используется также для индикатора «Показатель получения корректного ответа». Предварительно отобранные контрольные вопросы задаются суррогатными пользователями на справочной службе.

Проведение опроса. В контексте данного руководства техника интервью, которая достаточно затратна по времени и финансам, используется только для индикатора «Поиск по предметной рубрике». В целях оценки эффективности поиска в алфавитном или предметном каталоге пользователь должен сначала заполнить вопросник, а затем с ним проводится интервью по поводу стратегии поиска и оценки ее успешности. Каждое интервью должно предваряться кратким разъяснением того, чего библиотека хочет достичь в процессе осуществления данного проекта.

Телефонное интервью может быть использовано для индикатора «Охват пользователей». Почтовая рассылка вопросников членам основной пользовательской группы может быть заменена опросом по телефону. Хотя этот метод исключает тех, у кого нет телефона, он имеет преимущество получения более высокого процента отклика благодаря личному контакту.

Наблюдение. Наблюдение за поведением пользователя – это часто используемая технология сбора данных различного плана, начиная от самонаблюдения, когда пользователей просят вести дневники о своем поведении, до наблюдения за участниками, когда наблюдатель и наблюдаемый взаимодействуют друг с другом. Наиболее важным в этот методе является тот факт, что навыки пользователя исследуются в обстановке «реальной жизни».

Для индикатора «Поиск по предметной рубрике» используются специальный вариант проведения наблюдений, а именно скрытое наблюдение. Эта форма оставляет пользователя в неведении, что сотрудник библиотеки старается отслеживать последовательность действий пользователя при работе с каталогом. Такая техника требует от сотрудника библиотеки большой внимательности. Как только пользователь замечает, что он/она находится под наблюдением, вся процедура искажается, поскольку осведомленность о проведении наблюдения меняет обычное поведение пользователя.

Специальная форма скрытого наблюдения - это он-лайн мониторинг или анализ журнала транзакций, хранящего записи о полной сессии пользователя при работе с электронным каталогом (OPAC). Преимущество этого метода - в подлинности результатов, точности информации, полноте охвата, масштабе анализа и эффективности получения данных. Однако в зависимости от действующего законодательства могут возникнуть проблемы вследствие нарушения прав на защиту частной жизни.

Анкетирование. Безусловно, наиболее важный метод измерения эффективности работы – это обследование. Большинство индикаторов эффективности, по крайней мере, частично, базируются на информации, непосредственно полученной от пользователя. Несмотря на сложность составления анкет,^[15] техник выборки, мотивированности, обследование является лучшим методом для оценки библиотечных сервисов, т.к. способствует сбору больших объемов данных за сравнительно короткий период времени. Такого рода обследования

Предтест – это обязательная мера для проверки вопросника. Проект (черновик) вопросника должен быть показан экспертам, а также группе пользователей для выявления нечетко сформулированных и слишком амбициозных вопросов. По возможности не должен использоваться библиотечный слэнг. Вопросы должны быть сформулированы просто и по существу. В случае варианта свободного ответа пользователь должен описать «конкретные инциденты», которые он/она помнят, а не давать ответы на общие вопросы. Другим фактором, влияющим на успех вопросника, является нечеткость инструкции или отсутствие излишних вопросов.

Обследования могут собирать информацию о фактах, касающихся использования сервиса (например, индикатор №7 «Поиск по названию») или пользовательской удовлетворенности сервисом. Изучение последнего основывается на коротких вопросниках, касающихся нескольких центральных проблем конкретного сервиса. Обычно пользователя просят высказать его мнение путем выбора одного ответа из пяти возможных по шкале Ликерта (Likert), ранжированной от «совершенно неудовлетворен» до «полностью удовлетворен». Это, конечно, определенный прессинг на пользователя, укладываемого в прокрустовом ложе усредненных шкал путем запрета вариантов ответа, отличных от предложенных. Тонкие различия между отношениями пользователей остаются неучтенными. Представляя общую шкалу измерений, отметки не позволяют выявить нюансы мнений пользователей. Эти недостатки компенсируются преимуществом получения фиксированных достоверных результатов. Свободные ответы на вопросы будут более точными в отображении пользовательского мнения, но такие ответы трудно группировать и измерить количественно. Более того, структурированные вопросы могут быть предварительно закодированы. Присваивание фиксированного веса каждому варианту ответа облегчает последующий анализ данных.

Существует несколько технологий распространения вопросников. Наибольший отклик будет достигнут, если сотрудники библиотеки в дружественной форме попросят пользователей поучаствовать в проекте по усовершенствованию библиотечных служб. Не расположенные к этому пользователи легче поддадутся уговорам, если будут знать о цели исследования. Отсутствие личного подхода к пользователю, когда в библиотеке просто развешивают объявления о целях обследования и просят пользователей брать вопросники из стопки на столе, имеет следующие существенные недостатки:

При рассылке вопросников почтой уровень отклика также будет низким, даже если вопросник сопровождается письмом, имеет конверт с маркой и обратным адресом.

Интерпретация. Анализ и интерпретация собранных данных – это финальный этап процесса измерений. Затраты на вычисление результатов для различных индикаторов различаются очень существенно. Для индикатора «Экспертная оценка» достаточно легко рассчитывается уровень наличия названий, определяемый как процентное соотношение названий в списке библиографии, к тем, которые имеется в коллекции. Более сложным является расчет 95% доверительных интервалов, рекомендованный в индикаторе «Доступность», или анализ результатов обследования пользовательской удовлетворенности. Если библиотекарю надо переносить результаты наблюдений, подсчитывать ответы каждого индивидуума или переносит цифровые коды из листов сбора данных в таблицу кодов, очень желательно применение компьютера. На рынке существует большое разнообразие программного обеспечения для решения задач статистики, а также пакетов для работы с таблицами, которые охватывают основные вычислительные процедуры и аспекты представления статистических данных, такие, как вычисление среднего значения, стандартной девиации или доверительного интервала.

Заключительные результаты процесса измерений должны быть опубликованы библиотекой для получения комментариев от персонала. Супервайзор процесса измерений должен детально обсудить результаты с персоналом. Центральными вопросами должны являться следующие:

Последний вопрос обычно особенно сложен, поскольку четко выявленная зависимость между причиной и следствием скорее исключение, чем правило. Причин неудачи пользователя может быть множество - от нехватки знаний о библиотечных процессах до недостаточной помощи со стороны персонала и трудночитаемых каталожных карточек. Но даже если причина низкой эффективности работы в конкретной области четко установлена, руководство библиотеки может сомневаться в целесообразности изменения существующей процедуры, если это сопряжено с более высокими затратами и большим количеством требуемого персонала. В этом случае необходимо повторение процесса измерений через регулярные интервалы для подтверждения неизбежности дополнительных затрат и усилий. Повторно собираемый набор данных дает большую надежность измерений; он помогает понять, является ли разница между результатами измерений в различное время следствием ошибки одного из однократных экспериментов или же она свидетельствует об окончательно подтвержденном изменении качества сервиса.

Результаты. Чрезвычайно важно, чтобы результаты усилий, потраченных на проведение измерений, нашли свое отображение в рабочих процессах библиотеки. Персонал должен осознать пользу усилий по измерению эффективности для организации своей каждодневной работы, видеть в этом не научный эксперимент или контролирующий механизм, а средство качественного улучшения библиотечных служб.

Персонал должен быть проинформирован о результатах. Краткое их изложение, проиллюстрированное диаграммами и содержащее заключения о проекте, будет представлять интерес для всех сотрудников, особенно тех, кто не был непосредственно вовлечен в проведение измерений. Это также поможет преодолеть возможное противодействие проведению измерения эффективности работы в будущем.

Результаты должны быть представлены широкой общественности. Это особенно важно в том случае, когда пользователи принимали активное участие в проведении эксперимента и, соответственно, имеют право знать о его результатах. Это должно быть сделано даже в том случае, если результаты окажутся хуже, чем ожидалось. В этом случае особый акцент должен быть сделан на инициативах по улучшению существующей ситуации. Если результаты оказались хорошими, то их представление окажется эффективным инструментом связей с общественностью для библиотеки и для головных организаций. Это даже может помочь библиотеке получить более значительное финансирование для будущих проектов по усовершенствованию сервисов и для сохранения высокого качества обслуживания.

Регулярное измерение эффективности работы. Раньше измерение эффективности в основном использовалось для быстрого улучшения качества обслуживания в конкретной библиотеке. Заинтересованность в более регулярном обследовании является результатом растущей значимости качества управления библиотекой и информационными службами, что неразрывно связано с идеей постоянного повышения качества. Так называемые системы принятия решений (DSS – Decision Support Systems) создавались как средство для проведения регулярных измерений. Система DSS может быть определена как «интерактивная компьютерная информационная система, состоящая из баз данных и набора решающих правил».^[16] Она предназначена для оказания помощи библиотеке в процессе принятия решений и обеспечивает:

Ядром любой DSS является набор индикаторов эффективности, которые снабжаются необходимыми данными или через автоматизированную библиотечную систему, или через выполняемые вручную операции по сбору данных. Эти данные должны собираться непрерывно, если система DSS используется для усовершенствования процесса принятия решений благодаря замене эвристических допущений надежными оперативными данными. Такой подход к измерению делает системы DSS особенно привлекательным инструментом в помощи управления библиотекой с точки зрения повышения экономической эффективности.