Details

Данная работа посвящена разработке и анализу архитектуры программного модуля многоуровневой верификации русскоязычных текстовых артефактов промышленного назначения. Разрабатываемый подход ориентирован на проверку документов с учетом их типа, канала распространения, профессиональной терминологии, употребления англицизмов и изменений языковой и нормативной базы. Задачи, которые решались в ходе исследования: 1. Систематизация научных, патентных и программных источников, обоснование границ исследования и выявление требований к архитектуре модуля. 2. Разработка методологии многоуровневой верификации, включающей алгоритмы классификации документа, интерпретации англицизмов и адаптивной орфографической проверки. 3. Апробация разработанной методологии на реальных текстовых артефактах, проведение сценарного тестирования существующих сервисов и формирование рекомендаций по созданию единого модуля верификации. Работа проведена на основе системного подхода, при котором модуль верификации рассматривается как часть информационной среды предприятия. Для апробации предложенных алгоритмов выполнен ручной экспертный анализ пяти документов различного типа и функционального назначения. Проведено сценарное тестирование шести веб-сервисов: АЙNET, NormaSlov, ГосСловарь, AdSea, SenDev и ТекстКонтроль. Проведён анализ результатов апробации и сценарного тестирования. Установлено, что наиболее высокие значения интегральной оценки функциональной полноты получили ГосСловарь и ТекстКонтроль, однако ни одно из рассмотренных решений не достигло уровня, достаточного для промышленной эксплуатации без привлечения эксперта. На основании анализа обоснована необходимость создания единого модуля, объединяющего классификацию документов, обработку англицизмов, адаптивную орфографическую проверку и экспертную проверку неоднозначных случаев. Для достижения данных результатов в работе использованы следующие информационные технологии: Microsoft Word; pymorphy3 со словарями OpenCorpora; Natasha (razdel); АЙNET, NormaSlov, ГосСловарь, AdSea, SenDev, ТекстКонтроль; NLP, OCR, RAG и API.

This work is devoted to the development and analysis of the architecture of a software module for multi-level verification of Russian-language textual artifacts used in industry. The proposed approach is focused on checking documents with regard to their type, distribution channel, professional terminology, use of anglicisms, and changes in the linguistic and regulatory framework. Tasks that were solved during the research: 1. Systematization of scientific, patent, and software sources, substantiation of the research scope, and identification of requirements for the module architecture. 2. Development of a methodology for multi-level verification, incorporating algorithms for document classification, interpretation of Anglicisms, and adaptive spell-checking. 3. Validation of the developed methodology using real-world textual artifacts, scenario-based testing of existing services, and formulation of recommendations for creating a unified verification module. The work was carried out based on a systems approach, in which the verification module is considered as part of the enterprise information environment. To validate the proposed algorithms, a manual expert analysis of five documents of different types and functional purposes was performed. Scenario testing of six web services was conducted: AYNET, NormaSlov, GosSlovar, AdSea, SenDev, and TextControl. The results of validation and scenario testing were analyzed. It was found that GosSlovar and TextControl received the highest values of the integral functional completeness assessment; however, none of the considered solutions reached the level sufficient for industrial operation without expert involvement. Based on the analysis, the need for an integrated module combining document classification, processing of anglicisms, adaptive spelling verification, and expert review of ambiguous cases was substantiated. To achieve these results, the following information technologies were utilized in this work: Microsoft Word; pymorphy3 with OpenCorpora dictionaries; Natasha (razdel); AYNET, NormaSlov, GosSlovar, AdSea, SenDev, TextControl; NLP, OCR, RAG, and APIs.