Определение. Индикатор определяется как пропорция названий, представленных в предметном или систематическом каталоге, к требованиям пользователя при поиске документов по некоторой предметной области.
Цели. Индикатор предназначен для оценки качества каталога и его соответствия пожеланиям пользователя, оценка вычисляется через определение пропорции успешных поисков документа. Поиск в предметном каталоге считается успешным, если выполнены два следующих критерия:
высокий уровень соответствия, т.е. все возможное множество названий в каталоге, относящиеся к данной предметной области, должно быть найдено,
высокая точность, т.е. все множество найденных в каталоге документов должно четко соответствовать искомой предметной области.
Измерение успешности поиска при поиске по предметным рубрикам помогает найти слабые места в технологии ведения предметного каталога, в методах поиска по нему, в инструкциях пользователю по использованию системы и в уровне знаний пользователя о принципах организации каталогов.
Индикатор может применяться всеми библиотеками, ведущими предметный или систематический каталог, в первую очередь, он полезен для библиотек с закрытым доступом к фонду, где пользователи не могут самостоятельно поискать интересующий их документ на книжной полке, а вынуждены пользоваться каталогом. Индикатор может использоваться вне зависимости от типа каталога (карточный, микрофишный, электронный).
Сравнение библиотек требует внимательного учета всех различий в правилах каталогизации и типах каталогов.
Индикатор может быть разбит по различным пользовательским группам, например, студенты, аспиранты, сотрудники различных факультетов.
Метод. Оценка результативности поиска в предметном или систематическом каталоге является трудозатратным мероприятием. Трудно оценить максимально достижимый успех при поиске, поскольку не всегда даже опытный библиотекарь способен найти все документы, относящиеся к конкретной теме.
Такие методы, как скрытое наблюдение, изучение транзакций при поиске по log файлам, просьбы пользователей объяснить использованный им подход при поиске документа могут быть использованы, в первую очередь, для выявления информации о применяемой пользователем стратегии поиска.
Для получения значения успешности поиска следующий метод был признан достаточно эффективными:
Распространение анкеты среди случайной выборки пользователей после завершения ими процедуры поиска. В анкетах задаются следующие вопросы:
краткое описание темы, по которой ведется поиск,
предметные заголовки или систематические рубрики, которые использовались для поиска,
предметные заголовки или систематические рубрики, в которых они нашли релевантные, по их мнению, документы,
общее число найденных релевантных документов.
Короткое интервью с профессиональным библиотекарем, предпочтительно специалистом по предметизации, для уточнения тематики пользовательского поиска.
Модификация поискового запроса библиотекарем с целью проверки, все ли адекватные предметные рубрики и систематические заголовки были изучены пользователем.
Поскольку процесс проведения измерений трудозатратен, достаточно выборки от 100 до 200 пользователей.
Решение библиотекаря о том, насколько искомое название соответствует рубрике, конечно же, субъективно, и базируется на знании библиотекарем данной тематика. Пока точное количество названий в каталоге, удовлетворяющих пользовательскому запросу, неизвестно, количество названий, выбранных библиотекарем, принимается в качестве приблизительно точного значения.
Сбор данных. Должны быть собраны два типа данных:
Количество названий, найденных пользователем.
Все названия, сгруппированные по предметным рубрикам и заголовкам, которые пользователь счел релевантными, и релевантность которых подтвердил библиотекарь, учитываются даже в том случае, если пользователь заказал не все найденные документы.
Количество названий в каталоге, соответствующих тематике пользовательского запроса.
Названия, найденные библиотекарем в других предметных рубриках и заголовках, добавляются к названиям, найденным пользователем.
Вычисление. Количество названий, найденных пользователем, делится на общее количество названий в каталоге, соответствующих тематике пользовательского запроса. Результат умножается на 100.
Интерпретация и возможные решения. Существует несколько причин, по которым уровень успешности предметного поиска может быть неприемлемым, причем на некоторые из них библиотека не может оказать никакого влияния:
Пользователи
общая эрудиция и настойчивость,
недостаточная информированность о библиотечных каталогах,
неправильный выбор тематики поиска (слишком узкая, слишком широкая, неправильное написание, незнакомые слова и неологизмы),
невнимание к перекрестным ссылкам.
Система классификации и индексирования
сложные правила,
устаревшие словарь и система классификации,
словарь и система классификации не адекватны пользовательской группе,
предметные заголовки недостаточно четкие,
отсутствие перекрестных ссылок,
вводящие в заблуждение перекрестные ссылки.
Система каталогизации
несколько каталогов с различными правилами каталогизации,
программное обеспечение, не обеспечивающее сложный поиск,
неудовлетворительный пользовательский интерфейс.
Действия библиотеки по увеличению уровня успешного поиска должны быть в первую очередь направлены на обучение и информированность пользователя. Занятия для вновь поступивших студентов должны включать обучение предметному поиску не только в библиотечных каталогах, но также в библиографических списках и базах данных.
Библиотеки, вероятно, не свободны в выборе правил предметизации. Но они могут усовершенствовать перекрестные ссылки и добавить возможные точки входа. Четкие, хорошо понимаемые заголовки и экраны помощи будет другим направлением в увеличении успешности поиска.
| John Aanonson. A Comparison of Keyword Subject Search on Six British University Opacs// Online Review, 1987, 11.- p.303-313. |
| F.E. Bosman, M.A.H. Ondering, H.P.A. Smit. Observeren en Registreren: Evaluatieonderzoek naar OPC3// Open, 1993, 25.- p.352-356. |
| Micheline Hancock-Beaulieu. Evaluation of Online Catalogues: An Assessment of Methods/ Micheline Hancock-Beaulieu; Stephen Robertson; Colin Nielson. – London: British Library, 1990.- esp.pp.5-64. - (British Library Research Paper; 78). |
| David W. Lewis. Research on the Use of Online Catalogs and Its Implications for Library Practice// Journal of Academic Librarianship, 1997, 13.- p.152-157. |
| Karen Markey. Subject Searching in Library Catalogs. – Dublin, Ohio: Online Computer Library Center, 1984. |
| Karen Markey. The Process of Subject Searching in the Library Catalog: Final Report of the Subject Access Research Project. – Dublin, Ohio: Online Computer Library Center, 1983.- esp.pp.16-24. |
| Carol Wiess Moore. User Reactions to Online Catalogs: An Exploratory Study// College and Research Libraries, 1981, 42.- p.295-302. |
| Thomas A. Peters. The History and Development of Transaction Log Analysis// Library High Tech, 1993, 11.- p.41-66. |
| Sharon Seymour. Online Public Access Catalog User Studies: A Review of Research Methodologies, March 1986 – November 1989// Library and Information Science Research, 1991, 13.- p.89-102. |
| Joy Tillotson. Is Keyword Searching the Answer?// College and Research Libraries, 1995, 56.- p.199-206. |