Детальная информация

Работа посвящена созданию программного комплекса для автоматизированного сбора, обработки и анализа данных о вакансиях, а также визуализации динамики спроса, зарплат и профессиональных направлений в IT-сфере. Задачи, которые решались в ходе исследования: 1) Анализ существующих источников данных и методов анализа рынка IT-труда 2) Проектирование и реализация системы сбора, хранения и предобработки данных из открытых API 3) Разработка и применение методов машинного обучения для автоматического структурирования данных 4) Демонстрация возможностей системы на практических примерах. В результате была разработана и развёрнута информационная система, обеспечивающая автоматический сбор данных с платформы HeadHunter, их обработку с помощью алгоритмов машинного обучения и предоставление пользователям аналитики через веб-интерфейс. В ходе выполнения работы были использованы язык программирования Python, библиотеки для машинного обучения (scikit-learn, Sentence Transformers), фреймворк FastAPI для серверной части, СУБД PostgreSQL для хранения данных, а также React и TailwindCSS для клиентского веб-интерфейса.

This work is devoted to the creation of a software package for the automated collection, processing, and analysis of job posting data, as well as the visualization of demand dynamics, salaries, and professional areas in the IT sector. The objectives of the study were: 1) Analysis of existing data sources and methods for analyzing the IT labor market; 2) Design and implementation of a system for collecting, storing, and preprocessing data from open APIs; 3) Development and application of machine learning methods for automatic data structuring; 4) Demonstration of the systems capabilities using practical examples. As a result, an information system was developed and deployed that automatically collects data from the HeadHunter platform, processes it using machine learning algorithms, and provides analytics to users via a web interface. The study utilized the Python programming language, machine learning libraries (scikit-learn, Sentence Transformers), the FastAPI framework for the server side, the PostgreSQL DBMS for data storage, and React and TailwindCSS for the client web interface.

• ВВЕДЕНИЕ
• ГЛАВА 1 АНАЛИЗ СУЩЕСТВУЮЩИХ РЕШЕНИЙ И ПОСТАНОВКА ЗАДАЧИ
  • 1.1 Обзор существующих способов анализа IT-рынка
    • 1.1.1 Публичные отчёты и исследования
    • 1.1.2 Агрегаторы вакансий
    • 1.1.3 Узкоспециализированные аналитические сервисы
  • 1.2 Сравнительный анализ возможностей и ограничений существующих решений
  • 1.3 Формирование требований к разрабатываемой системе
    • 1.3.1 Требования к работе с данными
    • 1.3.2 Требования к функциям анализа
    • 1.3.3 Требования к интерфейсу
    • 1.3.4 Требования к надёжности и скорости работы
    • 1.3.5 Требования к возможности развития
  • 1.4 Выводы и постановка задачи
    • 1.4.1 Основные выводы
    • 1.4.2 Формулировка задачи
• ГЛАВА 2 СБОР, ХРАНЕНИЕ И АНАЛИЗ ДАННЫХ
  • 2.1 Выбор источника данных
  • 2.1.1 Анализ платформ с данными о вакансиях
  • 2.1.2 Сравнение возможностей и ограничений API разных сервисов
  • 2.1.3 Обоснование выбора источника данных для проекта
  • 2.2 Разработка модуля сбора и хранения данных
    • 2.2.1 Проектирование системы сбора данных
    • 2.2.2 Реализация процессов обновления и первичной обработки информации
    • 2.2.3 Проектирование и описание структуры базы данных
    • 2.2.4 Взаимодействие с данными
    • 2.2.5 Реализация системы регулярного обновления информации
    • 2.2.6 Обеспечение производительности и надежности работы
  • 2.3 Анализ данных
    • 2.3.1 Предобработка и векторизация текстовых данных
    • 2.3.2 Кластерный анализ для выявления профессиональных направлений
    • 2.3.3 Классификация вакансий по направлениям с помощью логистической регрессии
    • 2.3.4 Оценка качества моделей и интерпретация результатов
• ГЛАВА 3 РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ
  • 3.1. Проектирование архитектуры информационной системы
  • 3.2 Реализация серверной части и API
  • 3.3 Разработка клиентского веб-интерфейса
• ГЛАВА 4 ТЕСТИРОВАНИЕ РАБОТЫ СИСТЕМЫ И АНАЛИЗ РЕЗУЛЬТАТОВ
  • 4.1 Обзор возможностей системы
  • 4.2. Применение системы для исследования конкретных технологий и направлений
    • 4.2.1. Анализ ключевого навыка Python
    • 4.2.2. Анализ категории «Языки программирования»
    • 4.2.3. Анализ направления DevOps
  • 4.3. Общие выводы и перспективы дальнейшего развития системы
• ЗАКЛЮЧЕНИЕ
• ПРИЛОЖЕНИЕ A Программный код сбора и обновления данных
• ПРИЛОЖЕНИЕ Б Программный код классификации навыков