Бакалаврская дипломная работа посвящена исследованию методов определения объектов на изображении. Приведен обзор существующих методов определения объектов на изображении, в частности карт глубин, на основе которого дано сравнение рассмотренных методов. В данной работе рассмотрены методы построения карт глубин и их использование для управления роботом-манипулятором с ограничением на использование только одной камеры. Были рассмотрены теоретические основы и аспекты, необходимые для их построения. Было предложено 2 метода для конструирования карт глубин. Первый основывается на методах машинного обучения: была реализована нейронная сеть для оценки глубины по одному изображению. Второй метод позволяет строить карты глубины из стереоизображения, последнее пользователь получает при помощи стереоустановки. Данный метод позволяет также строить карты глубины по одной камере. Реализованное программное обеспечение было протестировано и интегрировано в модель робота-манипулятора и был выбран наиболее оптимальный метод.

Bachelor's thesis is devoted to the study of methods for determining objects in the image. A review of existing methods for determining objects in an image, in particular, depth maps, is given, on the basis of which the comparison of the considered methods is given. In this paper, methods for constructing depth maps and their use for controlling a robotic arm with a restriction on the use of only one camera are considered. The theoretical foundations and aspects necessary for their construction were also considered. Two methods have been proposed for constructing depth maps. The first one is based on machine learning methods: the neural network was implemented to estimate depth from a single image. The second method allows you to build depth maps from a stereo image, the latter is obtained by the user using a stereo setup. This method also allows to build depth maps for one camera. The implemented software was tested and integrated into the model of the robotic arm and the most optimal method was chosen.

• ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1. Возможные способы восприятия трехмерного пространства
    • 1.1.1 Стереопара
    • 1.1.2 Нейронные сети
    • 1.1.3. Сравнительный анализ
  • 1.2. Применение в мире
  • 1.3. Выводы
• ГЛАВА 2. ПРЕДЛОЖЕННЫЙ ПОДХОД
  • 2.1. Программно-аппаратный комплекс робота-манипулятора
  • 2.2. Стереозрение
  • 2.3. Конструкция стереоустановки
  • 2.4. Калибровка стереокамеры
  • 2.5. Сравнение функций соответствия
  • 2.6. Нейронная сеть
    • 2.6.1 Сверточная нейронная сеть U-Net
    • 2.6.2. Сверточная нейронная сеть DenseNet
  • 2.7. Выбор набора данных для тренировки нейронной сети
  • 2.8. Выводы
• ГЛАВА 3. РЕАЛИЗАЦИЯ
  • 3.1. Аппаратная часть
  • 3.2. Архитектура приложения
  • 3.3. Архитектура нейронной сети
    • 3.3.1. Функция потерь
    • 3.3.1. Тренировка нейронной сети
    • 3.3.2. Тонкая настройка
  • 3.4. Тестирование и внедрение
  • 3.5. Выводы
• ГЛАВА 4. РЕЗУЛЬТАТЫ
  • 4.1. Оценка карт глубин, построенных при помощи стереоустановки
  • 4.2. Оценка работы нейронной сети
  • 4.3. Оценка эффективности работы системы
  • 4.4. Апробация результатов работы.
  • 4.5. Выводы