Управление данными

Материалы курса

Объявления

Пока объявлений нет.

Лекции

1. Л1 Введение в БД: история и модели данных Данные и информация · СУБД · иерархическая, сетевая, графовая, документная, объектная и реляционная модели · пространственные БД · тренажёр «подбери модель»
2. Л2 Реляционная модель и реляционная алгебра Отношение, кортеж, домен · восемь операций Кодда · живой тренажёр реляционной алгебры · концептуальное, логическое и физическое моделирование, ER-диаграммы
3. Л3 Ключи, нормализация, индексация Потенциальный, первичный, внешний ключи · аномалии и 1НФ–3НФ по шагам · B-дерево, bitmap, hash и GiST · тренажёр «найди ключ» и гонка индексов
4. Л4 Системы координат и PostGIS Геоид, эллипсоид, датум · проекции и их искажения · EPSG, WKT, МСК · тренажёр Web Mercator и калькулятор UTM-зоны · пространственный анализ
5. Л5 Пространственные данные в веб-среде. Стандарты и подходы Веб-картография · тайлы и пирамиды с тренажёром {z}/{x}/{y} · стандарты OGC: WMS, WMTS, WFS, WCS + квиз · подключение сервисов в QGIS · SFSQL
6. Л6 Организация пространственных данных OSM Точка, линия, полигон, отношение · интерактивный квартал с настоящими тегами · справочник по 10 ключам с живым поиском · admin_level · тренажёр «подбери ключ»
7. Л7 Источники данных: краткий перечень DEMIS, Google, ESRI · NASA GIBS, EMODnet, ECMWF · национальные порталы и исторические ортофото · интерактивный каталог сервисов с фильтром · ИИ-инструменты
8. Л8 Растровые данные в PostGIS raster2pgsql с интерактивным конструктором команды · тайлы и rid · ST_Clip, ST_Union, растеризация · статистика, ST_Slope, ST_Reclass · алгебра растров и NDVI
9. Ф Завершение курса: нейросети и LLM в работе с данными Векторы слов и токены · симулятор температуры генерации · галлюцинации и проверка источников · промптинг и chain-of-thought · квиз когнитивных искажений · гео-ИИ-инструменты

Практики

1. П1 Установка PostgreSQL и PostGIS. Первые запросы Установка и подключение · типы данных и первая таблица «Продукты» · INSERT и SELECT/WHERE с песочницей и 8 задачами · импорт демо-базы «Авиаперевозки»
2. П2 Реляционная модель и введение в SQL Четыре глагола SQL · тренажёр «предикат ↔ условие» · сборка SELECT по шагам · GROUP BY на пальцах и на базе Нью-Йорка · песочница
3. П3 Создание пространственной базы данных pgAdmin · создание БД и активация PostGIS · восстановление nyc_data · первые SELECT-запросы · SQL-песочница прямо на странице
4. П4 Геометрический тип данных POINT, LINESTRING, POLYGON и MULTI-типы · метаданные геометрии · WKT-песочница с ST_Area и ST_Length · форматы ввода-вывода
5. П5 Пространственные отношения ST_Intersects, ST_Touches, ST_Within, ST_DWithin · перетаскиваемый тренажёр предикатов · улицы Гринвич-Виллидж, соседи Чайнатауна, метро в радиусе 500 м
6. П6 QGIS как средство управления БД. Оператор JOIN Окно SQL менеджера БД · JOIN + GROUP BY: карта населения округов · песочница с ловушкой дублирования · символизация и карта плотности через $area
7. П7 JOIN и нормализация: демографическая карта России Тренажёр «какая НФ нарушена» · проекция Альберса из PROJ-строки · проверка имён оператором EXCEPT · JOIN и карта 1990 года · to_real и копирование стиля
8. П8 Средства анализа геоданных: динамика и оконные функции Карты изменений и симметричная классификация «вокруг 0» · LAG/LEAD и PARTITION BY против GROUP BY · TimeManager и GIF-анимация
9. П9 QGIS: социально-экономическая карта GeoPackage · проекции для карт России · картограммы и шкалы значков · тренажёр методов классификации шкал · макет карты
10. П10 QGIS: структура землепользования Оверлей векторных слоёв · регулярная сетка · Dissolve и соединение таблиц · интерактивная сетка с долями покрытий · круговые диаграммы
11. П11 Подключение WMS-серверов Геопортал ИВС ДВО РАН: вулканы и ледники Камчатки · WMS против WFS · отступление ледников · снимки ТТИ-50 и MODIS · макет из трёх карт · поиск серверов

Расчётно-графическая работа

1. 0 Установка ПО PostgreSQL 15 · PostGIS через Stack Builder · подключение QGIS к БД · DB Manager
2. 1 Глава 1 · Создание пространственной БД Данные Росстата · QuickOSM и admin_level · SQL-дамп · JOIN и нормализация · чек-лист отчёта
3. 2 Глава 2 · Динамика ВВП и оконные функции ST_Touches и регионы-соседи · LAG() OVER · демонстрация оконной функции · Time Manager
4. 3 Глава 3 · Карта плотности населения NASA GIBS WMS · обрезка и векторизация растра · кластеризация NTILE · демонстрация NTILE на числах

Экспресс-курс

1. Э1 Обзорная лекция: СУБД и модели данных История БД с интерактивной шкалой · классификация моделей · реляционные концепции · популярные СУБД
2. Э2 Введение в БД и SQL Множества, кортежи, декартово произведение · DDL и DML · структура SELECT · учебная БД «Аэропорт» и SQL-песочница
3. Э3 Связи, JOIN и агрегатные функции Типы связей и целостность · живой тренажёр пяти видов JOIN · агрегаты · генерация тестовых данных Mockaroo

Вопросы к зачёту

Тридцать вопросов, покрывающих весь курс. Кнопка ниже вытягивает случайный «билет» — удобно проверять себя при подготовке.

1. Реляционная алгебра. История развития реляционных баз данных.
2. Основные типы данных в PostgreSQL: числовые, текстовые, временные, логические.
3. SQL как язык управления данными: структура, уровни DDL, DML, DCL.
4. SQL. Основные операторы: SELECT, INSERT, UPDATE, DELETE.
5. SQL. JOIN-операции: INNER, LEFT, RIGHT, FULL — практические сценарии.
6. Нормализация данных: 1НФ, 2НФ, 3НФ.
7. Ключи и ограничения: PRIMARY KEY, FOREIGN KEY, UNIQUE, CHECK, NOT NULL.
8. Индексация и оптимизация запросов: B-tree, GiST, GIN.
9. PostGIS. Установка, активация расширений и базовые функции.
10. PostGIS. Типы геометрий: POINT, LINESTRING, POLYGON, MULTI* и их применение.
11. PostGIS. Пространственные отношения: ST_Intersects, ST_Within, ST_Contains, ST_Touches, ST_DWithin.
12. Системы координат. Таблица spatial_ref_sys. Выбор SRID.
13. Проекции и преобразования координат: SRID, ST_Transform, выбор локальной проекции.
14. Особенности пространственной индексации. Пространственные индексы: GiST и SP-GiST — создание и использование для ускорения запросов.
15. Измерения и геометрические вычисления: ST_Area, ST_Length, ST_Centroid, ST_Buffer.
16. Топологические и пространственные операции: ST_Union, ST_Collect, ST_Intersection, ST_Difference.
17. Импорт/экспорт пространственных и табличных данных: COPY, shp2pgsql/raster2pgsql, ogr2ogr, GeoJSON, Shapefile, CSV.
18. Очистка и предобработка данных: кодировки, форматы, обработка пропусков и ошибок в переписи.
19. Оконные функции в PostgreSQL: OVER, PARTITION BY, ORDER BY; LAG, LEAD, ROW_NUMBER, RANK.
20. Интеграция PostgreSQL/PostGIS и QGIS: настройка подключения, работа с проектами и стилями.
21. Тематическая картография в QGIS. Работа со стилями слоя.
22. Автоматическое создание шкал в QGIS. Алгоритмы автоматического создания шкал: естественные интервалы, равные интервалы, квантили.
23. Работа с пространственными объединениями (Spatial Join). Присоединение статистических данных к границам регионов.
24. Расчёт пространственных показателей. Плотность населения, отношение площадей, расстояния между объектами.
25. Работа с растровыми данными: тип RASTER, raster2pgsql, функции ST_Value, ST_Clip, ST_SummaryStats.
26. Модуль pgRouting. Основные алгоритмы маршрутизации: pgr_dijkstra, pgr_aStar, pgr_bfs, pgr_drivingDistance.
27. Модуль pgRouting. Визуализация маршрутов и зон доступности (isochrones) в QGIS.
28. Стандарты OGC (Open Geospatial Consortium). Назначение, основные спецификации и роль в обмене геоданными.
29. Протоколы OGC в QGIS и PostGIS. Поддержка форматов WMS, WMTS, WFS, WCS. Подключение WMS/WMTS-сервисов в QGIS.
30. Открытые источники данных для подключения QGIS посредством WMS, WMTS, WFS, WCS.