Сырые подвальные стены. Глина, которая не сохнет неделями. Трава зеленее, чем у соседей, в самый неподходящий сезон. Так часто выглядит подтопление грунта, которое владельцы замечают слишком поздно. Хорошая новость: нейросети для анализа земли берут на прицел такие истории и находят риск заранее. Я покажу, как это работает на практике, какие данные помогают, где модель промахивается и что с этим делать. Будет и немного провокации. Потому что без нее разговор про риски застревает в скучных формулировках.
Мы разберем учебный кейс на открытых данных за 2024 год. Без «магии», с понятными шагами. Я опираюсь на проверенные источники, свежую климатическую статистику и реальные методики дистанционного зондирования. И да, у меня за спиной больше десяти лет в геоаналитике. Я видел, как участки «зацветают» водой после первой же весны. И как инвесторы теряют деньги, доверившись красивой презентации без фактов.
Подтопление грунта: не только про воду по щиколотку
Начнем с определений. Подтопление грунта — это не всегда явный разлив реки. Часто вода сидит в почве, держится на высокой отметке грунтовых вод и подбирается к фундаменту или корням растений. Это «тихий» сценарий. На фото из дрона вы не всегда увидите зеркала воды. Зато почва теряет несущую способность, стяжка трескается, а урожай сдает позиции.
Классическое картирование подтопления опирается на измерения в шурфах и трубы наблюдательных скважин. Это точные методы. Но они дорогие и не покрывают большие площади. Здесь вступают в игру спутниковые снимки и нейросети для анализа земли. Камера в космосе видит не только цвет. Она считывает влажность, структуру поверхности, динамику водоемов и даже микрорельеф, который ведет воду по участку.
Сразу скажу провокационно. Карты «зон подтопления» из публичных источников часто обманывают. Они не учитывают текущую гидрологию, меняющуюся за месяц. И да, один индекс NDWI не спасет. Нужен набор признаков и здравый смысл. Иначе алгоритм ловит лужи после дождя и пропускает подземную воду на суглинках.
Данные: чем мы кормим модель и как проверяем себя
Спутниковые снимки: оптика и радары
Основу дает связка оптических и радарных снимков. Оптика дает цвет и индексы воды, растительности и почвы. Радар «видит» сквозь облака и замечает изменившуюся шероховатость поверхности после переувлажнения. Мы берем несколько линий данных:
- Sentinel‑2: оптика с разрешением 10–20 м. По ней строим NDWI и MNDWI, смотрим тонкие подсказки по влажности и оттенкам почвы.
- Sentinel‑1: радар SAR в поляризациях VV и VH. Он фиксирует разницу в обратном рассеянии, когда земля напиталась водой.
- Landsat 8–9: подстраховка по времени. Иногда он закрывает «дыры» в съемке.
Полезные материалы по миссиям и методикам есть в руководствах ESA и NASA. Для радаров я регулярно сверяю подходы в руководстве ESA по Sentinel‑1. Оно объясняет, как корректировать рельеф, фильтровать спекл и сравнивать сцены по времени. Ссылка: ESA Sentinel‑1 Mission Guide.
Почему радары так выручают? Облака часто закрывают оптику в критические дни. SAR не зависит от погоды и освещения. Он фиксирует отражение от поверхности. Переувлажнение меняет микрорельеф, и сигнал меняется тоже. Не каждый пиксель скажет прямо «здесь подтопление». Но в совокупности признаки дают ясную картину.
Метео, рельеф и «история воды»
Вода не приходит из ниоткуда. Мы добавляем в пайплайн данные о недавних осадках, снеготаянии и рельефе. Пара киллер‑фич:
- Осадки по данным GPM IMERG. Это глобальные поля с шагом 30 минут. Мы агрегируем их до суточных сумм. А затем считаем накопление за 3–10 дней. Документацию дает NASA: NASA GPM IMERG.
- Цифровая модель рельефа Copernicus DEM. Мы строим индекс HAND (высота над руслом) и склон. Низкие HAND с пологими склонами часто копят воду. Подробности здесь: Copernicus DEM.
- Долгосрочная «история воды» по JRC Global Surface Water. Этот набор показывает, где вода держалась годами, а где появлялась эпизодически. Ссылка: JRC Global Surface Water.
В 2024 году Всемирная метеоорганизация отметила рост экстремальных осадков и рисков, связанных с водой. Это усиливает сезонные пики подтопления. Я опираюсь на их свежий обзор: WMO State of the Global Climate 2024 (report published in 2024). Вода чаще приходит резко. Значит, тайм‑серии и недавняя метеоистория становятся критичнее.
Полевые заметки и локальные метки
Никто не отменяет землю под ногами. Фото с земли, показания колодцев, отзывы владельцев и инспекции в ключевых точках поднимают качество модели. Я однажды приехал на участок с «идеальной» картинкой. На снимках — красота. На месте — старая дренажная канава перекрыта строительным мусором. Вода стояла под дерном. Спасла проверка с лопатой и разговор с садоводами по соседству.
Локальные метки помогают не переобучать сеть на «чистую» воду из рек. Мы размечаем пиксели подтопленного грунта там, где внешне все сухо. Но почва плотная и темная, а растения меняют спектральную подпись. Разметка стоит денег. Поэтому мы бережно переносим знания через домены. И добавляем активное обучение: сеть «просит» разметить спорные кластеры.
Для точечного просмотра рисков по участку удобны специализированные сервисы. Например, вы можете открыть публичного бота по анализу участков и сравнить данные. Ссылка на «Земеля»: сервис анализа земельных участков Земеля. Не заменяйте им экспертизу. Но как быстрый взгляд перед поездкой этот инструмент экономит время.
Из признаков в карту: как мы готовим входы для модели
Сырые спутниковые снимки мало помогают без аккуратной подготовки. Мы собираем стек из каналов и индексов. Потом нормализуем, синхронизируем по времени и убираем шум. Короткая дорожная карта:
- Оптика. Считаем NDWI и MNDWI. Убираем облака и тени по маске качества. Берем медиану за окно в 10–20 дней до события и сразу после.
- Радар. Проводим ортотрансформацию и корректируем рельеф. Считаем логарифм обратного рассеяния в VV и VH. Добавляем разницу «после‑минус‑до» и их отношение. Применяем фильтр для спекла.
- Рельеф и гидрология. Добавляем HAND, склон, кривизну. Плюс накопление осадков за 3, 7 и 14 дней.
- История воды. Добавляем вероятность появления воды по JRC. Она помогает не путать весенние разливы с постоянными прудами.
Дальше мы выравниваем все слои по пикселю и времени. И формируем «кубы» для обучения и инференса. Здесь легко наделать ошибок. Несинхронность дат или разная проекция бьют по результату сильнее, чем выбор архитектуры. Я это усвоил на первых проектах. Исправления заняли неделю, а приращение к метрике оказалось минимальным.
Архитектуры: от проверенного U‑Net до гибких трансформеров
Базовый U‑Net: быстро, стабильно, дешево
U‑Net остается надежным стартом для сегментации. Мы ставим легкий энкодер, например ResNet‑34. На вход подаем мультиканальный стек: оптика, SAR, рельеф, осадки. На выходе получаем карту вероятности подтопления грунта. Обучение идет на тайловых выборках. Баланс классов держим за счет oversampling, иначе сеть любит «сухую» норму и прячет риск.
Плюсы понятны: модель собирается за день, результат интерпретируем. Минус тоже очевиден. U‑Net слабее ловит контекст по времени и не всегда переваривает сильный доменный сдвиг. Например, сеть обучили на поймах рек в средней полосе. Она теряет уверенность на болотистых низинах севернее. Вы спасете ситуацию аугментациями и добавлением тайм‑серий, но цена растет.
Визуальные трансформеры и «долгая память» по времени
Когда данных много, а условия меняются, трансформеры дают фору. SegFormer или Swin‑Transformer лучше держат масштаб и сложный контекст. Мы добавляем Temporal Convolution или простую рекуррентную часть, чтобы сеть видела динамику осадков и радарного сигнала. Тогда всплеск после сильного ливня перестает быть сюрпризом. А редкая съемка не сбивает итог.
У трансформеров есть цена. Память и время. Но на практике прирост качества в задачах подтопления окупает расходы. Особенно если вы строите сервис на десятки тысяч участков. Поддержка в библиотеках растет, а пайплайн настраивается быстрее, чем два года назад.
Мультимодальный фьюжн: когда SAR дружит с рельефом
Лучший подход в реальных проектах — гибрид. Мы учим сеть на стек из SAR, оптики, рельефа и осадков. И даем ей «подсмотреть» в историю воды. Фьюжн можно делать ранним (на уровне каналов) или поздним (на уровне признаков). Ранний фьюжн проще. Поздний дает больше гибкости и часто выигрывает на доменных сдвигах. Выбор зависит от бюджета и площади задачи.
Разбор кейса: весеннее подтопление грунта на пойменной террасе
Сценарий реальный и частый. Весна в северном полушарии, март‑апрель 2024. Небольшая пойма средней реки, садовые товарищества пятиминутной доступности от трассы. На рекламе — «сухо и солнечно». На ландшафте — микропонижения, старые старицы, канавы вдоль границ. Мы делаем проект оценки риска с нуля. Цель — найти участки с признаком подтопления грунта и дать простой вывод владельцу.
Шаг 1. Задаем границы, окно времени и собираем данные
Мы формируем контур анализа по кадастровым границам и буферу 2–3 км. Выбираем окна съемки: «до» — февраль, «после» — конец марта и апрель. Забираем Sentinel‑1 каждые 6–12 дней, Sentinel‑2 по мере просветов. Подтягиваем IMERG и Copernicus DEM. Строим HAND и слои осадков. Это база.
Шаг 2. Готовим признаки и разметку
Мы считаем индексы, очищаем облака, синхронизируем даты. Для разметки используем комбинацию: явная вода по JRC, расширенная вода по NDWI и визуальная проверка спорных зон. Подтопление грунта размечаем по спорам между SAR и оптикой: SAR показывает всплеск, оптика не видит воды. Плюс проверяем совпадение с HAND и локальным микрорельефом. Для контроля выезжаем на реперные точки в выходные.
Здесь появляется сомнение. Всегда ли всплеск на SAR говорит о подтоплении грунта? Не всегда. Иногда мы ловим растаявший снег или рыхлую застывшую почву. Мы решаем это через время: сравниваем несколько дат и смотрим устойчивость признака.
Шаг 3. Обучаем сеть и проверяем метрики
Мы запускаем U‑Net как базу. На вход идёт стек из SAR, оптики, HAND и осадков. Дальше — трансформер для сравнения. Тренируемся на прошлых весенних эпизодах этой локации и еще двух поймах в 200 км отсюда. Валидируем на 2024 году. Метрики оцениваем через IoU и F1 для двух классов: «открытая вода» и «подтопление грунта». Для баланса используем стратифицированную выборку тайлов с редким классом.
Я не играю в «идеальные числа». Они зависят от локации и качества разметки. Но картина обычно повторяется. Класс «открытая вода» даёт более высокие метрики. Подтопление грунта идёт ниже из‑за вариативности. Мы подтверждаем результат очными проверками и независимыми снимками на другие даты.
Шаг 4. Переводим карты в риски по участкам
Теперь мы нарезаем сегментацию по границам участков. И считаем долю пикселей с высоким риском. Плюс вводим буфер 25–50 м вокруг участка, чтобы учесть подступ воды со стороны. Добавляем признаки соседства: канавы, старицы, низины. На выходе получается короткий скоринг: «низкий, средний, высокий». И краткая пояснительная записка с картинками.
Провокация номер два. Если ваш отчет по подтоплению без буферов и без HAND, он вводит в заблуждение. Вода редко «уважает» прямые линии на кадастре. Риск приходит из‑за забитой канавы на соседней полосе, а не с вашего газона.
Как мы валидируем и страхуемся от ошибок
Нейросеть уверенно рисует вероятности. Но я всегда держу три линии контроля качества:
- Кросс‑проверка по независимым датам. Если признак живет 2–3 недели и совпадает с осадками и рельефом, доверие растет.
- Контрольные точки на земле. Даже пять коротких выездов поднимают качество в глаза. Фото, GPS‑метка, две фразы про состав почвы.
- Слепая проверка другим специалистом. Он не видел вашу разметку и решение. Это больно, но полезно.
Для крупных событий мы сверяемся с оперативными картами Copernicus EMS. Там публикуют валидацию и методики. Ссылка: Copernicus Emergency Management Service. Для методических вопросов по радарному картированию подтоплений выручает UN‑SPIDER. У них понятные практики и примеры: UN‑SPIDER Recommended Practices.
Где модель ошибается чаще всего
Ошибки повторяются. Я свёл типовые сценарии и способы защиты в таблицу.
| Ситуация | Почему возникает | Как снижать риск |
|---|---|---|
| Снег и талая каша вместо воды | SAR видит влагу и гладкую поверхность, оптика молчит из‑за облаков | Добавьте тайм‑серию на 2–3 недели и температуру воздуха, примените правило сезонности |
| Тени от леса и зданий | Оптика затемняет, NDWI «прыгает» | Маска теней, сочетание с SAR, локальный порог по каналам SWIR |
| Рисовые чеки и заливные луга | Сезонная вода без риска для домов | История воды по JRC, маска сельхозугодий, контекст по времени |
| Городские наклонные крыши | Спекулярные отражения на SAR | Маска застройки, фильтры угла визирования, медиана по датам |
| Торфяные болота | Высокая влажность по умолчанию | Карта почв, пороги по HAND, локальная калибровка |
Интерпретация: как говорить с владельцем, а не с компьютером
Люди не читают карты вероятностей. Им нужна ясная фраза: «Весной вода подходит к фундаменту». Поэтому мы собираем сжатый отчет. В нем мы показываем источники данных, снимки «до» и «после», карту риска по участку и окрестностям. И даем практические шаги. Например, прочистить канаву, поднять отмостку и проверить сезонный дренаж. Мы избежим категоричных «никогда» и «всегда». Вода любит сюрпризы. Но мы честно покажем, откуда риск приходит.
В личной практике я однажды спорил с коллегой Анной. Я видел высокий риск по HAND и SAR. Она отмечала песчаную почву и старый дренаж. Мы решили спор по фото из мая и июльской проверке. Весной участок «намокал» до середины. Летом держался сухим. Итог: покупатель принял решение, но заложил расходы на дренаж и отказался от тяжелого гаража.
Пайплайн в деталях: от данных к действию
Чтобы свести подход в одну схему, покажу рабочий конвейер. Он покрывает и разбор кейса, и масштабирование на много участков.
- Сбор данных: Sentinel‑1, Sentinel‑2, Landsat, IMERG, DEM, JRC. Синхронизация по датам и проекциям.
- Очистка: маски облаков и теней, фильтрация спекла, нормализация отражательности.
- Фичи: NDWI, MNDWI, VV/VH и их дельты, HAND, склон, накопление осадков.
- Разметка: явная вода, вероятное подтопление грунта, ручная проверка спорных пикселей.
- Обучение: U‑Net как базовый вариант, трансформер для улучшения, баланс классов.
- Валидация: IoU, F1, кривые Precision‑Recall, проверка на независимых локациях.
- Инференс: тайл‑вью на весь район, постобработка (морфология, сглаживание границ).
- Агрегация по участкам: доля риска, буферы, соседи, краткое заключение.
- Контроль качества: ручной просмотр топ‑N спорных участков, обратная связь от инспекторов.
Сравнение подходов: когда хватит индексов, а когда без сети не обойтись
| Подход | Что даёт | Когда годится | Ограничения |
|---|---|---|---|
| Порог по NDWI/MNDWI | Быстрая карта открытой воды | Крупные разливы, ясная погода | Пропускает скрытое подтопление грунта, страдает от теней |
| Изменения SAR «до/после» | Устойчивость к облакам, сигнал по влажности | Весна и осень, частая съемка | Путает снег, рисовые чеки, глянцевые поверхности |
| U‑Net на мультимодальном стеке | Сегментация с учетом контекста | Типовые поймы, средние бюджеты | Чувствительность к доменным сдвигам |
| Трансформер + тайм‑серии | Глубокий контекст, переносимость | Крупные регионы, долгие проекты | Выше стоимость обучения и инференса |
Где взять данные и как не утонуть в сервисах
Чтобы не тратить недели, сбор данных лучше автоматизировать. Вы можете использовать облачные каталоги и API. Я отмечу пару проверенных точек входа:
- Каталоги ESA Copernicus Open Access Hub и NASA Earthdata для Sentinel‑1/2 и Landsat.
- Google Earth Engine для быстрого прототипирования и историй по тайм‑сериям. Документация: Google Earth Engine.
- GPM IMERG по API для осадков. Там же лежат руководства по версиям и корректировкам: NASA GPM IMERG.
Сразу настройте контроль качества загрузок. Мы пишем хэш, дату, версию продукта и метаданные по углу съемки. Ошибки на этом этапе самые дорогие. И да, заведите простую таблицу в базе, чтобы хранить связи «участок — тайл — дата — набор». Она спасает вас на ревизиях.
Юридика и здравый смысл: как использовать карты без лишнего риска
Карта риска — это инструмент поддержки. Она не заменяет строительные нормы и геологические изыскания. Но она помогает принять решение до аванса. Если вы покупаете участок, посмотрите на риск подтопления грунта рядом с домом, гаражом и септиком. Дополните проверкой дренажа и соседних канав. Поговорите с теми, кто живет рядом. Эти пять шагов часто экономят сотни тысяч.
Инвестор видит еще больше смысла. Карта риска дает ранжирование площадок под склад или логистику. Она экономит поездки и фильтрует варианты. Если сеть говорит про высокий риск, не спорьте с ней на эмоциях. Спорьте фактами: проверкой на месте, замерами, инженерными расчетами.
FAQ в одном абзаце: коротко о частом
Можно ли найти подтопление грунта только по оптике? Редко. SAR спасает. Нужен ли DEM? Да. HAND даёт ключ к пониманию, куда течет вода. Сколько дат нужно? Минимум две до и две после пиковой фазы, лучше больше. Работает ли в городе? Да, но аккуратно с ложными отражениями. Нужна ли разметка? Нужна. Даже малая, но качественная.
Полевые лайфхаки для быстрой проверки на месте
- Посмотрите на рельеф вблизи. Не идите по центру участка. Идите по границе с дорогой и канавами.
- Ищите ржавые следы на бетонных кольцах колодцев. Они показывают уровни воды по сезонам.
- Откройте снимки за несколько лет. Пятна от сезонной воды повторяются, как шрамы.
- Спросите у соседей про весну и осень. Люди преувеличивают, но тренд вы поймете.
Опасные заблуждения, которые я встречаю чаще всего
- «В 2020 было сухо, значит и теперь сухо». Климат меняется. 2024 год подтвердил рост экстримов по осадкам. Смотрите на последние два сезона.
- «У соседа сухо — у меня тоже». Три метра по высоте и перекрытая канава ломают логику.
- «Модель ошибается иногда — значит не нужна». Любая модель ошибается. Вопрос в управлении риском. Ошибка модели без проверки — проблема. Ошибка с проверкой — нормальный рабочий процесс.
Экспертные опоры: что читать и куда смотреть
Я собрал набор ссылок, которые помогают держать уровень и не изобретать велосипед:
- ESA Sentinel‑1 Mission Guide — база по SAR, примеры и методики.
- NASA GPM IMERG — осадки по часам, документация и обновления.
- JRC Global Surface Water — долголетняя история воды, интерактив и загрузка.
- Copernicus EMS — оперативные карты и отчеты по паводкам.
- UN‑SPIDER Recommended Practices — готовые практики по картированию подтоплений.
- Google Earth Engine — скрипты, каталоги и обучение.
- WMO State of the Global Climate 2024 — контекст по рискам воды и осадков.
Практические шаги для ваших задач: чек-лист
- Сформируйте список участков и буфер 2–3 км вокруг. Подтяните границы и дороги.
- Соберите Sentinel‑1/2 за две даты «до» и три даты «после» потенциального пика. Добавьте IMERG за 14 дней.
- Постройте HAND и склон по Copernicus DEM. Проверьте корректность проекции.
- Соберите стек фич: NDWI, MNDWI, VV, VH, дельты, отношение каналов, осадки.
- Потренируйте U‑Net на локальной разметке. Запустите инференс, посмотрите спорные места.
- Проверьте топ‑20 участков в поле. Обновите пороги, добавьте несколько меток.
- Параллельно настройте отчеты. Люди читают короткое резюме с картинкой.
Немного о будущем: куда движется тема
В 2025‑м мы увидим легче доступные радары и больше публичных тайм‑серий. Модели научатся лучше различать снег и грунтовую воду. Архитектуры продолжат дружить мультимодальные данные и неопределенность прогноза. Я жду зрелого внедрения карт уверенности, а не «черно‑белых» решений. Бизнесу понадобится прозрачность и воспроизводимость. Мы уже туда идем.
Заключение
Нейросети для анализа земли меняют подход к рискам на участках. Мы больше не гадаем по фотографиям с дрона. Мы собираем тайм‑серии, радары, рельеф и историю воды. И получаем карту, которая помогает принимать решения до первого гвоздя. В кейсе с поймой мы прошли весь путь: от сбора данных до разговора с владельцем. Мы увидели ограничения, признали и заложили проверку на земле. Этот баланс и дает результат.
Если вы строите дом или выбираете площадку под склад, посмотрите на подтопление грунта заранее. Откройте спутниковые снимки, проверьте HAND, загляните в историю воды. Добавьте осадки за последние недели. Сверьтесь со свежими источниками: ESA по SAR, IMERG по дождю, JRC по воде, отчеты Copernicus EMS и WMO по контексту. И не верьте в чудо‑кнопку. Ее не существует. Зато существует внятный процесс, который экономит деньги и нервы.