Details

Магистерская выпускная квалификационная работа посвящена исследованию автоматизации сбора и анализа научных статей на основе данных из внешних источников. Задачи исследования включали в себя следующее. 1. Проведение обзора и сравнение инструментов веб-скрапинга, с целью выявления их плюсов и минусов и основных функциональных возможностей. 2. Разработка алгоритмов автоматизированного сбора и анализа данных. 3. Разработка веб-скрапера для сбора и анализа данных научных работ. 4. Тестирование разработанного сервиса и оценка его эффективности. В рамках исследования был предложен метод автоматизированного сбора и анализа данных, который основан на использовании специализированного программного обеспечения для автоматического извлечения информации с веб-страниц и создания отчета на его основе. В ходе исследования был успешно реализован и протестирован предложенный метод. Разработанный инструмент существенно уменьшил необходимое время и усилия на этапах сбора и анализа данных, что стал значительным прогрессом в автоматизации и улучшении оптимизации научных исследований. В результате работы были представлены простые примеры использования программного средства, а также проведен анализ научных статей с его помощью. Выведены преимущества разработанного продукта, которые способствовали повышению скорости и качества процесса сбора и анализа данных в научных исследованиях.

The masters final qualifying thesis is devoted to the study of automation of collection and analysis of scientific articles based on data from external sources. The tasks of studying the features in themselves are as follows. 1. Review and compare web scraping tools in order to identify their pros and cons, as well as the main possible features. 2. Development of algorithms for automated data collection and analysis. 3. Development of a web scraper for collecting and analyzing data from scientific works. 4. Testing the developed service and assessing its effectiveness. As part of the study, a method of automated data collection and analysis was proposed, which is based on the use of specialized software to automatically extract information from web pages and create a report based on it. During the study, the proposed method was successfully implemented and tested. The developed tool significantly reduced the required time and effort during the data collection and analysis stages, which was a significant advance in automation and improved optimization of scientific research. As a result of the work, simple examples of using the software were presented, as well as an analysis of scientific articles using it. The advantages of the developed product are derived, which contributed to increasing the speed and quality of the process of collecting and analyzing data in scientific research.