Мат. моделирование / ДЗЗ
Лабораторная 2

Применение нейросетевых моделей плагина Deepness

О чём эта тема

Как взять готовую нейросетевую модель из Model ZOO плагина Deepness, применить её к снимку Google Satellite и самостоятельно оценить качество результата экспериментами с параметрами модели.

Аннотация

Лабораторная работа продолжает Практику 10: по номеру варианта выбирается конкретная модель из Model ZOO — детектор, регрессор или сегментатор — и по ней самостоятельно, без презентации, восстанавливается справочная информация: архитектура, авторы и статья, на которой модель обучена (авторы явно не указаны в таблице Model ZOO, их нужно найти по описанию через поиск статьи). Далее модель тестируется на снимке Google Satellite: выбирается тестовый участок, и проводится не менее трёх экспериментов с разными значениями параметров модели (например, порога уверенности Confidence), чтобы увидеть, как их изменение влияет на результат. В заключении даётся качественная оценка работы модели — сколько объектов распознано верно, насколько точно оценена площадь для моделей-сегментаторов. После выполнения работы студент сможет самостоятельно подобрать модель из Model ZOO под конкретную задачу, найти источник модели по её описанию и содержательно оценить качество результата подбором параметров, а не единственным запуском с настройками по умолчанию.

Пререквизиты
  • Практика 10 — плагин Deepness, интерфейс, установка, работа с Model ZOO
Мотивация

В Практике 10 модель для каждого примера была выбрана и настроена заранее; в реальной работе с готовыми моделями наоборот — сначала нужно понять, какая модель подходит под задачу, откуда она взялась и насколько ей можно доверять на конкретных данных. Эксперимент с разными значениями параметров вместо однократного запуска — стандартная практика при использовании чужой модели: результат по умолчанию редко бывает оптимальным для новых данных.

Лабораторная работа №2. Применение нейросетевых моделей плагина Deepness

Работа продолжает Практику 10: нужно взять готовую нейросетевую модель из Model ZOO плагина Deepness (конкретная модель определяется вариантом), протестировать её на снимке Google Satellite и оформить отчёт по результатам эксперимента.

Структура работы

  1. Введение
  2. Свёрточная нейронная сеть
  3. Модель (согласно варианту)
  4. Плагин Deepness: Deep Neural Remote Sensing
  5. Эксперимент с моделью (согласно варианту)
  6. Заключение
  7. Список источников

Указания к работе

0. В пункте Введение опишите, почему применение готовых нейросетевых моделей интересно для решения задачи, соответствующей вашему варианту (сегментация зданий, детекция самолётов и т.д.).

1. Определите модель по своему варианту (см. таблицу «Варианты» ниже) и найдите её описание на странице Model ZOO документации плагина Deepness.

2. В пункте Свёрточная нейронная сеть опишите, что такое искусственный нейрон и как устроена свёрточная нейронная сеть. Подробное изложение этих понятий — в Практике 10, раздел «Свёрточные нейронные сети: базовые понятия».

3. В пункте Модель опишите доставшуюся вам по варианту модель: кем она разработана, есть ли статья, описывающая её архитектуру (если авторы указаны — сошлитесь на статью), какой у модели вход и какой выход. Добавьте Рис. 1 — пример изображения из поля Example image в таблице Model ZOO.

Где искать авторов модели

Явного указания авторов модели в таблице Model ZOO нет, но столбец Description обычно содержит краткое упоминание статьи, на основе которой модель обучена. Наберите название статьи в поисковике — как правило, первая же ссылка приводит на саму публикацию (ResearchGate, arXiv и т.п.).

столбец Description в таблице Model ZOO с указанием статьи, на основе которой обучена модель
Рис. Лаб2.1 — столбец Description в таблице Model ZOO с указанием статьи, на основе которой обучена модель

поиск названия статьи из Description в поисковике
Рис. Лаб2.2 — поиск названия статьи из Description в поисковике

найденная по названию статья на ResearchGate
Рис. Лаб2.3 — найденная по названию статья на ResearchGate

4. В пункте Плагин Deepness опишите, что такое плагин Deepness и как выглядит его интерфейс. Подробно установка и интерфейс плагина разобраны в Практике 10.

5. В пункте Эксперимент с моделью опишите ход эксперимента:

  • в качестве исходных данных используйте подложку Google Satellite (Интернет → QuickMapServices → Google → Google Satellite);
  • укажите, где взяли тестовый участок — приложите Рис. 2 «Тестовая зона»;
  • перечислите параметры, которые модель позволяет настраивать;
  • проведите не менее 3 экспериментов с разными значениями параметров (например, Confidence или Probability) и приложите скриншоты результатов каждого эксперимента.

Warning

Не выбирайте в качестве тестового участка отечественные аэродромы и другие объекты, режимные с точки зрения удалённого зондирования.

6. В пункте Заключение опишите, насколько хорошо сработала модель. Например: «3 из 5 ангаров были распознаны верно». Для моделей-сегментаторов (площадные объекты) приблизительно оцените площадь найденных объектов.

7. В Список источников включите: статью, на основе которой обучена ваша модель, документацию плагина Deepness и страницу Model ZOO.

Варианты

Вариант Модель
1, 10, 19 Buildings Segmentation
2, 11, 20 Roads Segmentation
3, 12, 21 Solar PV Segmentation
4, 13, 22 Noise Insulating Walls Segmentation
5, 14, 23 Airbus Planes Detection
6, 15, 24 Airbus Oil Storage Detection
7, 16, 25 Tree-Tops Detection
8, 17, 26 Residual Dense Network (RDN X2)
9, 18, 27 Residual Dense Network (RDN X4)

Все модели доступны на странице Model ZOO документации плагина Deepness.

Контрольные вопросы