Детальная информация

Объектом исследования являются методы и инструменты разведки информации из открытых источников. Целью работы является разработка автоматизированного средства OSINT и использование его для анализа защищенности конфиденциальных данных пользователей в сети. Задачи, решаемые в ходе исследования: 1. Исследовать процессы разведки информации из открытых источников, включая веб-ресурсы, социальные сети, форумы и базы данных; 2. Изучить современные исследования в области автоматизации разведки по открытым источникам; 3. Проектирование архитектуры средства; 4. Разработка и тестирование программного решения; 5. Оценка эффективности созданного средства. В ходе работы были проанализированы методы и инструменты OSINT. Были изучены современные исследования в области автоматизированной разведки по открытым источникам. Для достижения данных результатов была разработано и протестировано средство автоматизации OSINT, и подтверждена его высокая практическая значимость для задач информационной безопасности. Программа использует фреймворк ollama управления моделями машинного обучения, программы разведки по открытым источникам, а также базу данных PostgreSLQ.

The object of the research is the methods and tools of intelligence gathering from open sources. The aim of the work is to develop an automated OSINT tool and use it to analyze the security of confidential user data on the network. The tasks solved during the study: 1. Explore the processes of intelligence gathering from open sources, including web resources, social networks, forums and databases; 2. Study modern research in the field of open source intelligence automation; 3. Design of the tool architecture; 4. Development and testing of the software solution; 5. Evaluation of the effectiveness of the created tool. During the work, OSINT methods and tools were analyzed. Modern research in the field of automated open source intelligence was studied. To achieve these results, an OSINT automation tool was developed and tested, and its high practical significance for information security tasks was confirmed. The program uses the ollama framework for managing machine learning models, open source intelligence programs, and the PostgreSLQ database.

• РЕФЕРАТ
• ABSTRACT
• Содержание
• Определения, обозначения и сокращения
• введение
• 1 Теоретические основы OSINT и анализ открытых источников информации
  • 1.1 Понятие и принципы разведки по открытым источникам
  • 1.2 Области применения и современные вызовы
    • 1.2.1 Основные области применения
      • 1.2.1.1 Национальная и государственная безопасность
      • 1.2.1.2 Кибербезопасность
      • 1.2.1.3 Корпоративная разведка и конкурентный анализ
      • 1.2.1.4 Журналистика и расследования
      • 1.2.1.5 HR и кадровая безопасность
      • 1.2.1.6 Мониторинг социальных настроений и медиаполя
    • 1.2.2 Современные вызовы и проблемы
      • 1.2.2.1 Переизбыток информации (информационный шум)
      • 1.2.2.2 Недостоверность и фейковая информация
      • 1.2.2.3 Юридические и этические ограничения
      • 1.2.2.4 Техническая сложность автоматизации
      • 1.2.2.5 Проблемы с интерпретацией и аналитикой
  • 1.3 Правовые и этические аспекты использования открытых данных
    • 1.3.1 Правовые аспекты
      • 1.3.1.1 Защита персональных данных
      • 1.3.1.2 Авторские права и лицензии
      • 1.3.1.3 Законность методов получения данных
      • 1.3.1.4 Регулирование в международной практике
    • 1.3.2 Этические аспекты
      • 1.3.2.1 Целесообразность и пропорциональность
      • 1.3.2.2 Добросовестность
      • 1.3.2.3 Прозрачность и отчетность
      • 1.3.2.4 Минимизация вреда
  • 1.4 Методы обработки информации из открытых источников
    • 1.4.1 Технологии, применяемые в OSINT
      • 1.4.1.1 Web-скрейпинг (web scraping)
      • 1.4.1.2 API-интеграция
      • 1.4.1.3 Системы мониторинга социальных сетей (SOCMINT)
      • 1.4.1.4 Поисковые и агрегирующие системы
      • 1.4.1.5 Big Data и облачные технологии
      • 1.4.1.6 Машинное обучение и искусственный интеллект
      • 1.4.1.7 Инструменты визуализации и графовой аналитики
    • 1.4.2 Методы обработки OSINT-данных
      • 1.4.2.1 Фильтрация и предварительная очистка
      • 1.4.2.2 Классификация и категоризация
      • 1.4.2.3 Распознавание сущностей (Entity Extraction)
      • 1.4.2.4 Семантический анализ
      • 1.4.2.5 Корреляционный анализ
• 2 Анализ существующих решений и инструментов OSINT
  • 2.1 Классификация OSINT-инструментов
  • 2.2 Обзор популярных программных решений
    • 2.2.1 Maltego
    • 2.2.2 SpiderFoot
    • 2.2.3 Shodan
    • 2.2.4 Recon-ng
    • 2.2.5 TheHarvester
  • 2.3 Проблемы использования существующих решений
• 3 Проектирование системы автоматизации
  • 3.1 Формирование требований к системе
  • 3.2 Архитектура программного решения
  • 3.3 Сравнение инструментов интеграции
    • 3.3.1 Поиск по email
    • 3.3.2 Поиск по никнеймам
    • 3.3.3 Сравнение инструментов для поиска по фотографиям
    • 3.3.4 Сравнение моделей машинного обучения
  • 3.4 Выбор технологии и обоснование решений
• 4 Реализация и тестирование системы автоматизированной OSINT-разведки
  • 4.1 Описание реализации компонентов системы
    • 4.1.1 Модуль database.py
    • 4.1.2 Модуль investigate.py
    • 4.1.3 Модуль neuro.py
    • 4.1.4 Модуль prompts.py
    • 4.1.5 Модуль helper.py
    • 4.1.6 Основной файл main.py
  • 4.2 Интеграция с внешними источниками и API
    • 4.2.1 Интеграция с DuckDuckGo API
    • 4.2.2 Интеграция с инструментом holehe
    • 4.2.3 Интеграция с инструментом snoop
    • 4.2.4 Интеграция с сервисом Search4Faces
    • 4.2.5 Интеграция с большими языковыми моделями через ollama
  • 4.3 Результаты тестирования и оценка эффективности
    • 4.3.1 Методика тестирования
    • 4.3.2 Результаты функционального тестирования
    • 4.3.3 Результаты нагрузочного тестирования
    • 4.3.4 Анализ результатов
      • 4.3.4.1 Основные преимущества системы
      • 4.3.4.2 Ограничения
    • 4.3.5 Рекомендации по улучшению
• 5 Методы противодействия атакам
  • 5.1 Минимизация цифрового следа
    • 5.1.1 Пересмотр настроек приватности
    • 5.1.2 Регулярный аудит информации
    • 5.1.3 Испольование учетных записей не связанных с реальной личностью
    • 5.1.4 Удаление метаданных
  • 5.2 Защита конфиденциальной информации
    • 5.2.1 Шифрование
    • 5.2.2 Политики контроля доступа
    • 5.2.3 Маскирование данных
    • 5.2.4 Мониторинг утечек данных
  • 5.3 Технические меры защиты
  • 5.4 Организационные меры и повышение осведомлённости
  • 5.5 Правовые и этические меры
    • 5.5.1 Правовые меры
    • 5.5.2 Этические меры
• заключение
• список использованных источников
• ПРИЛОЖЕНИЕ. Основной файл