Традиционные снимки, получаемые, например, RGB и / или NIR-сенсорами, доказали свою полезность во многих областях сельского и лесного хозяйства. Тем не менее, им не хватает спектрального диапазона и точности для классификации объектов и растительности, которую могут обеспечить только гиперспектральные сенсоры. Этот вид сенсоров высокого разрешения сначала использовался на спутниках, а затем на пилотируемых самолетах, которые достаточно дороги. В последнее время БПЛА стали очень популярным и экономически эффективным средством для дистанционного зондирования, так как способны нести малогабаритные и легкие сенсоры. Развитие гиперспектральных технологий постоянно приводят к созданию все меньших и легких сенсоров, которые в настоящее время могут быть установлены на БПЛА для научных или коммерческих целей. Способность гиперспектральных сенсоров вести съемку в сотнях спектральных полос увеличивает сложность при рассмотрении огромного количества полученных данных. Дальнейшие шаги относительно обработка гиперспектральных данных должна выполняться в направлении поиска соответствующей информации, которая обеспечивает правильные меры для решительных вмешательств в агротехнические процессы. Применение гиперспектрального дистанционного зондирования, проводимое с использованием БПЛА, включающего в себя съемку, обработку данных и приложения, ориентированные на сельское и лесное хозяйство представлены в этой статье.
1. Введение
Дистанционное зондирование, основанное на беспилотных авиационных системах (БАС), систематически применяется для мониторинга параметров растительности и окружающей среды направленных на оптимизацию деятельности в сельском и лесном хозяйстве. В этом контексте БАС стали пригодными для оценки состояния сельскохозяйственных культур путем получения огромных объемов необработанных данных, требующих дальнейшей обработки для обеспечения широкого спектра применений, таких как оценка состояния влажности, биомассы, мониторинг заболеваний и др. Кроме того, лесохозяйственные задачи и охрана природы также могут извлечь выгоду из использования технологии БАС, позволяющей проводить инспекции лесохозяйственной деятельности, обнаружение лесных пожаров, мониторинг здоровья растений и сохранение лесов.
Несмотря на большое количество успешных работ, которые были проделаны в агролесоводстве и связанных с ним областях, с использованием недорогих пассивных сенсоров, получаемых изображения в видимом (RGB) и ближнем инфракрасном (NIR), диапазонах, некоторые приложения требуют более высокой спектральной точности, которую могут обеспечить только мультиспектральные и гиперспектральные сенсоры. Основное различие между этими двумя методами заключается в количестве спектральных полос и их ширине. В то время как мультиспектральные изображения обычно включаю от 5 до 12 полос, гиперспектральные — состоят из гораздо большего числа полос — сотни или тысячи из них — по 5–20 нм каждая. Рис. 1 показывает различия между мульти и гиперспектральнми изображениями.
Рис. 1. Сверху (А) мультиспектральный диапазон, включающий 5 каналов, снизу (B) гиперспектральный диапазон, включающий. узкие полосы, обычно насчитывающий сотни или тысячи таких полос
На самом деле, как мульти-, так и гиперспектральные изображения имеют большой потенциал для перехода на совершенно новый уровень исследований во многих областях, включая оценку качества продуктов питания и сельское хозяйство. Например, можно оценить показатели продуктивности и стресса как в сельскохозяйственных, так и в лесных экосистемах которые могут быть получены путем измерения индекса фотохимического отражения (PRI), основанный на узкополосном поглощении ксантофильных пигментов в диапазонах 531 и 570 нм. Однако при этом более высокое спектральное разрешение присутствует в гиперспектральных данных дистанционного зондирования узкополосного спектрального состава, которое не возможно достичь при использовании мультиспектральных данных . Таким образом, гиперспектральные данные имеют большие возможности для профилирования материалов и соответствующих конечных элементов за счет его почти непрерывных спектров. С одной стороны, они охватывают спектральные детали, которые могут пройти незамеченными в мультиспектральных данных из-за их дискретного и разреженного характера. Например, на рис. 2, так как канал «красный край» (RE, 670–780 нм) недоступен для широкополосного сенсора, содержание хлорофилла в листьях, фенологическое состояние и растительный стресс — параметры, которые проявляются в этом спектральном диапазоне — не могут быть оценены. С другой стороны, гиперспектральные данные обладает способностью различать компоненты, которые могут быть неправильно сгруппированы по мультиспектральным полосам.
Рис. 2. Неспособность широкополосных сенсоров получить доступ к спектральному каналу RE (670–780 нм)
Наряду с улучшением разрешения, гиперспектральное зондирование увеличивает объем данных, сложность обработки, поскольку такие изображения варьируются от сотен до тысяч узких полос с этим может быть трудно справиться в режиме реального времени при ограниченных вычислительных ресурсах. Кроме того, спектральные сигнатуры могут подвергаться изменениям в зависимости от освещенности и атмосферных условий, это проблема, которая побуждает научное сообщество разрабатывать новые методики и технологии. Такие усилия позволяют точно сопоставить спектральные данные и идентифицировать материальные композиции.
Первые мультиспектральные технологии в дистанционном зондировании начали использовать, в частности, для поддержки анализа данных Landsat-1 посредством полевых спектральных измерений. Исследования в основном касались разведки полезных ископаемых, но также и для обнаружения противопехотных мин., агролесоводства и смежных областей. Тогда технология гиперспектральной съемки еще не имела достаточных ресурсов для применения, были необходимы разработки в области электроник, вычислительной техники в области программного обеспечения. Прогресс в 1980-х годах привел к преодолению технологических ограничений, открывая двери для распространения этой техники дистанционного зондирования для мониторинга Земли в 1990-е годы. Тем не менее, развитие этой технологии до сих пор считается продолжающимся процессом. В настоящее время, возможности космической съемки для широкого территориального охвата наряду с улучшениями, которые были достигнуты в отношении пространственного и спектрального разрешения позволили использовать дистанционное зондирование в сельском, лесном хозяйстве и других областях. Несмотря на это, большой территориальный охват космической съемки создает постоянные проблемы, в частности, связанные с облачностью и разными вегетационными особенностями на различных территориях. В некоторые сезоны гиперспектральные данные, полученные с традиционных платформ, могут стать бесполезными. Другие проблемы включают в себя высокую стоимость коммерческих космических снимков, обеспечивающих разрешение до 30 см. Даже новейшие технологии, такие как у спутника Sentinel-2, обеспечивают разрешение до 10 м в RGB и NIR [32], что слишком грубо для некоторых приложений. Национальная аэронавтика начала разрабатывать альтернативу спутникам и Лаборатория реактивного движения космического управления (НАСА / JPL) в 1983 году, с разработкой гиперспектральных аппаратных средств, созданных специально для самолетов, в результате чего был получен аэрофотосъемочный спектрометр. Позже, в 1987 году, бортовой спектрометр видимого / инфракрасного изображения (AVIRIS) стал обеспечивать высококачественные гиперспектральные данные, получившие популярность у научного сообщества. Однако, помимо затрат, связанных с использованием этой технологии, требуется сертифицированный пилот, воздушная техника и связанная с полетом логистика. В последнее время беспилотная платформа дистанционного зондирования способна преодолеть не только проблемы получения спутниковых данных, но и проблемы пилотируемых летательных аппаратов путем улучшения спектральных и характеристик и пространственные разрешения, эксплуатационной гибкости и доступности для пользователей. Вместе со специализированными датчиками БАС становятся мощными системами, которые дополняют традиционные методы зондирования, а не конкурируют с ними. БПЛА может управляться дистанционно или иметь запрограммированный маршрут для выполнения автономного полета с использованием встроенного автопилота. Как правило, это также требует наземного поста управления и связи, наличия приборов для выполнения полетных заданий. Что касается обработки гиперспектральных данных, нужно выполнить ряд шагов: (1) получение изображения; (2) калибровка; (3) спектральная / пространственная обработка; (4) уменьшение размерности и; наконец (5) задачи, связанные с вычислениями (например, анализ, классификация, обнаружение и т. д.). Работ по этой технологии не так много по сравнению с другими платформами, так как это относительно новое поле для исследования. Тем не менее, эти работы обеспечивают надлежащую демонстрацию потенциала такой технологии подхода.
В целом основное внимание в этой статье уделяется именно дистанционному зондированию на основе БАС с использованием гиперспектральных сенсоров, применяемых как в сельском, так и в лесном хозяйстве.2. Гиперспектральные сенсоры
Независимо от воздушной платформы (авиационной, спутниковой, БПЛА и т. д.) сенсоры играют важную роль в получении данных. Есть четыре основных метода для получения измеримых целевых данных: гиперспектральная съемка, мультиспектральная съемка, спектрометрия и RGB-снимки. Сравнения методов отображено в таблице 1, в которой учитываются (1) пространственные и (2) спектральные различия.
Таблица 1. Основные различия между гиперспектральной и мультиспектральной съемкой, спектроскометрией и RGB-снимками. Классификация, основанная, на условной оценке (1–3), использовалась для определения возможностей получения спектральной и пространственной информации
По сравнению с другими, гиперспектральные сенсоры наиболее эффективно работают и в спектральном и в пространственном отношении. RGB-изображения не дают спектральной информации за пределами видимого спектра, что имеет большое значение для характеристики химических и физических свойств измеряемых объектов. С другой стороны, спектрометрия является технологией, в основном используемой для обнаружения крошечных областей (например, пятнистости листьев) с целью получения спектральных образцов без пространственного определения. Относительно мультиспектральной съемки, то она уступает гиперспектральной именно в получении детальной спектральной информации. Таким образом, гиперспектральная технология зондирования должна быть предпочтительной, когда дело доходит до получения информации о химических и физических свойств образца.
Что касается гиперспектральных сенсоров, то они бывают двух типов: с зарядовой связью (CCD) и дополнительные металл-оксид-полупроводниковые сенсоры (CMOS). Оба включают массивы фотодиодов, которые могут быть созданы с использованием различных материалов, как показано на рисунке 3.
Рисунок 3. Материалы, используемые при изготовлении гиперспектральных датчиков: кремний (Si) используется для получения информации в ультрафиолетовой, видимой и коротковолновой NIR полосах; арсенид индия (InAs) и арсенид галлия (GaAs) имеет спектральный отклик в полосе от 900 до 1700 нм; арсенид индия-галлия (InGaAs) расширяет предыдущий диапазон до 2600 нм; и ртутно-кадмиевый теллурид (MCT или HgCdTe) характеризуется большим спектральным диапазоном и высокой квантовой эффективностью, что позволяет достичь полос инфракрасных каналов (около 2500-25000 нм) и области NIR (около 800-2500)
Сенсоры CCD и CMOS отличаются в основном тем, как они обрабатывают поступающую энергию. С одной стороны для CCD требуется перемещение электрических зарядов, накопленных на фотодиодах, в другое место, при этом количество зарядов может быть измерено. С другой стороны, CMOS содержит фотоприемник и усилитель считывания, интегрированные в единое устройство, способное преобразовывать сигнал от входящих электронов — преобразованных фотонов. В этом видится причина, почему технология CMOS работает быстрее при измерении интенсивности света. Тем не менее, он более подвержен шуму и темновым токам, чем CCD из-за микросхемы на кристалле, используемые для передачи и усиления сигналов и в результате более низкого динамического диапазона и чувствительности. Темновой ток является зависимым от температуры общим явлением, которое вносит шум в показания сенсора и которое необходимо учитывать в задачах калибровки, для целей коррекции.
Что касается режимов получения данных, то их выделяют четыре: точечное сканирование (или whiskbroom), линейное сканирование (или pushbroom), плоское сканирование и одиночный кадр (single shot) (рисунок 4). В то время как режим whiskbroom получает все полосы попиксельно, перемещая детектор в пространстве x-y, для хранения данных в форме массива попиксельной записи спектральных каналов (BIP), режим pushbroom работает аналогично, но вместо пиксельного сканирования формируется линия, которая, в конечном счете, записывается массив полинейной записи спектральных каналов (BIL). Несколько других характеристики режима pushbroom включают компактный размер, малый вес, более простое управление и более высокий уровень сигнала. В режиме плоского сканирования создается массив поканальной записи (BSQ), состоящий из нескольких изображений, снятых за один раз, каждое из которых содержит спектральные данные относительно всего данного пространства x-y. Наконец, есть еще режим, который получает все пространственные и спектральные данные одновременно, известен он как одиночный кадр (single shot). Кроме того, укажем некоторые проблемы присущие для каждого режима. Whiskbroom — это режим медленной съемки, а pushbroom должен использоваться достаточно короткое время, чтобы избежать риска несоответствий в спектральном уровне полосы (насыщенность или недоэкспонирование). Плоское сканирование не подходит для движущихся сред, в то время как одиночный кадр (single shot) — технологии в стадии разработки, которая по-прежнему не поддерживает высокое пространственное разрешение.
Рис. 4. Гиперспектральные режимы получения данных: (A) whiskbroom; (B) pushbroom; (C, D) соответствуют плоскому сканирования и одиночному кадру (single shot)
Установка гиперспектральных сенсоров на БПЛА создает готовые системы, которые требуют работы как минимум с тремя сторонами: производителями сенсоров, БПЛА и стороной, обеспечивающей системную интеграцию. Список доступных коммерческих
гиперспектральных сенсоров представлен в таблице 2.
3. Операции, которые необходимо совершить до и после полета
Независимо от платформы, с которой будут получены гиперспектральные данные (бортовые, спутниковые, лаборатория и т. д.), этапы и методы обработки аналогичны, за исключением этапа предварительной обработки, который ставит некоторые вопросы. Например, радиометрический шум является основной проблемой при использовании БАС, в основном из-за условий освещенности, в то время как атмосферные помехи необходимо учитывать в качестве основного источника искажений при спутниковой съемке. Поэтому очень важно преодолеть такие проблемы, чтобы получить надлежащий результат. Далее рассматриваются некоторые подходы к восстановлению данных и улучшению спектрального разрешения, операции калибровки и методы предварительной обработки гиперспектральных изображений получаемых с БАС.
Перед началом гиперспектральной съемки необходимо откалибровать все оборудование, включая инерциальное устройство измерения (IMU) и сенсор. В последнем, входящий свет - при типичных условиях - должен регулироваться путем уменьшения или увеличения диафрагмы объектива. В настоящее время самый простой способ преобразование цифровых данных (DN) в коэффициент отражения осуществляется посредством относительного коэффициента отражения. Кроме того, следует отметить низкое качество геопривязки БПЛА и его негативное влияние, особенно для спектрометров pushbroom. Действительно, GPS-датчики навигационного класса не соответствуют точности гиперспектрального сканирования с БПЛА. Использование наземных контрольных точек (GCP) абсолютно необходимо для улучшения геопривязки. Проведение радиометрической калибровки на предварительном этапе включает размещение белых ориентиров на земле, по крайней мере, в четыре пикселя в ширину и желательно на 1 кв. м. Недорогие (и не очень качественные) калибровочные панели можно использовать для радиометрических измерений, однако, они не могут превзойти точность, обеспечиваемую спектралоновыми панелями. Недавно Headwall выпустил гиперспектральный датчик серии VNIR E со встроенным модулем для радиометрических поправок, утверждая, что нет необходимости использовать наземные ориентиры. Кроме того, требуются проверочные испытания. Калибровка IMU должна проводиться с учетом местного магнитного поля, в противном случае ориентация БПЛА может быть поставлена под угрозу.
После этапа получения гиперспектральных данных требуются некоторые операции предварительной обработки для извлечения количественной информации исследуемой области. Гиперспектральные данные, полученные с традиционных платформ, таких как спутники и самолеты, имеющих ряд ограничений, затрудняет их использование, особенно в точном сельском хозяйстве, где имеет значение детальная информация. С другой стороны, БПЛА имеют преимущество, так как ведут съемку с небольшой высоты, где влияние атмосферы не так существенно. По этой причине нет необходимость в атмосферных поправках, как это было бы при использовании традиционных платформ. Тем не менее, неустойчивое движение БПЛА, а также угол небольшой угол обзора и большое влияние микрорельеф при освещении усложняет операции предварительной обработки.
Радиометрическая и геометрическая коррекция и спектральная калибровка при использовании гиперспектральных сенсоров, установленных на БПЛА служит для получения научной достоверности данных. Кроме того, сенсоры необходимо регулярно калибровать. Что касается радиометрической калибровки, коэффициент может быть получен в лаборатории. Тем не менее, некоторые факторы, например, транспортировка и установка сенсора — может привести к потребности новой калибровки. Для внесения геометрических поправок предлагается триангуляционное трансформирование. Как радиометрические, так и геометрические поправки могут быть выполнены с использованием программных средств, предоставляемых предоставляются производителем гиперспектрального сенсора. Один из способов достижения георегистрации заключается в объединении данных внешней ориентации, собранных во время полета, с данными модели сенсора. Спектральная калибровка, кроме того, должна выполняться с использованием стандартных методологий. предварительной обработки приводят к исправлению данных, что позволяет сравнивать временные ряды и даже данные, полученные разными гиперспектральными сенсорами.
Оценка качества гиперспектральных данных является актуальной для предварительной обработки. Важным критерием качества гиперспектральных данных является отношение сигнал/шум (SNR). Количественный анализ гиперспектральных данных требует точной оценки SNR. По сути, для оптимизации использования данных необходим высокий коэффициент, и, наоборот, данные с низким коэффициентом должен быть исключены.
Коррекция / улучшение сигнала включают в себя восстановление (то есть уменьшение шума и улучшение спектра), объединение пространственных данных (для повышения разрешения на основе), пространственно-спектральное объединение данных (в отношении улучшения разрешения на основе слияние разных частей массива с учетом разных полос) и объединение данных из нескольких источников (улучшение разрешения с учетом более чем одного поставщика данных, например, спутники и беспилотники).
Последнее замечание в этом разделе касается вопросов, связанных с хранением данных во время съемки в основном по двум причинам: с одной стороны, (1) огромные объемы данных генерируются с использование гиперспектральных сенсоров и, с другой стороны; (2) БПЛА имеют ограниченную полезную нагрузку, которая подразумевает использование ограниченного числа запоминающих устройств на борту. Для решения этих вопросов предложены некоторые методы, например сжатие данных.
После операций предварительной обработки данных следующим этапом является обработка данных и анализ.
4. Обработка данных и анализ
В этом разделе основное внимание уделяется подходам, касающимся обработки и анализа гиперспектральных данных, включая операции по целевому дешифрированию, классификации и определение вегетационных индексов (VI), которые обычно выполняются после операций предварительной обработки, которые заключаются в радиометрической, геометрической или даже атмосферной коррекции.
4.1. Уменьшение размера
За этапом предварительной обработки гиперспектральных данных обычно следует операция уменьшения размера. В ряде работ отмечается важность более эффективно решать проблемы размера, которые имеют значение при вычислительной обработке в целом, а также в таких подходах, как нейронные сети (феномен Хьюза), в частности. Существует несколько методов для сжатия (пространственной область при обработке изображений) и уменьшения размера (уменьшение размеров гиперспектральных массивов), которые направлены на достижение эффективности обработка данных: вейвлет-сжатие, выбор полосы и метода проецирования. Проблема уменьшения размера может решаться также путем слияния данных, в результате чего достигается сокращение избыточности.
4.2. Детектирование нужных и аномальных значений
По сути, детектирование правильных и аномальных значений заключается в использовании метода двоичной классификации, который маркирует каждый пиксель в гиперспектральном массиве на: нужный, отбрасываемы или фоновый, соответственно. Из-за некоторых нюансов нахождения нужных / аномальных значений среди данных посредством двоичной классификации, этот подход обнаружения был выделен среди других методов классификации, которые будут рассмотрены далее.
Манолакис и Шоу преодолели разрыв между дистанционным зондированием и обработкой сигнала путем использования обширного ряда статистических инструментов, которые могут использоваться для обработки гиперспектральных данных, касающихся пикселей, представляющих интерес. Более конкретно, они обращаются целевому детектированию, которое относится к идентификации конкретного материала в массиве гиперспектральных данных. Это включает в себя метод двоичного тестирования, при которой каждому пикселю присваивается соответствующая метка (нужный / ненужный). В этой задаче нужно максимизировать вероятность правильного детектирования при сохранении ложных срабатываний (как критерий Neyman-Person).
Тестовые спектры хранятся в библиотеках, и затем они должны сравниваться с полученными данными, после преобразования в соответствии с коэффициентом отражения и с учетом некоторых поправок, связанных с искажениями, такими как атмосферный шум. Отсутствие тестовой информации (библиотек или необходимых данных для работы) требует иного подхода, при котором ищутся спектральные сигнатуры отличающиеся от фона (детектирование аномалий).
Отношение правдоподобия (LR) является одним из наиболее известных подходов для проверки вероятности правильности целевого детектирования. Это определяется уравнением (1):
где D(x) > h (порог). Порог, который отделяет правильные цели от неправильных, должен быть установлен верно, чтобы сбалансировать вероятность ложных срабатываний и правильных. Получение кривых характеристики (ROC) полезны для анализа.
Всякий раз, когда есть нераспознанные цели и фоновые параметры, можно использовать хитрый прием: замена неизвестных параметров в LR максимально правдоподобными. Пороги должны быть автоматически определены, что позволяет спонтанно детектировать.
Важно выбрать хороший порог для минимизации случаев отсутствия пропущенных целей и ложных срабатываний. В то время как ROC предоставляет средства для получения изменения порога, участвующего в оценке детекторов, критерии Байеса и Ньюмена-Пирсона являются подходящими методами для оптимального выбора порога в случаях, когда условные плотности, используемые в исчислении отношения LR, полностью известны. Однако, в большинстве реальных случаев плотность вероятности зависит от неизвестных целевых значений и фона. Широко используемый обходной путь заключается в замене неизвестных параметров оценками максимального правдоподобия с помощью процесса, известного как обобщенное отношение правдоподобия (GLR), из которого получаются адаптивные детекторы. Однако, поскольку целевой класс очень мал, возникает проблема, связанная с адаптивными детекторами: трудно оценить параметры плотности цели. На практике обнаружение целей должно основываться на автоматических установщиках порогов. Согласно другой работе Манолакиса и Шоу, детекторы на основе CFAR представляют собой ключевой подход к решению упомянутой проблемы, поскольку они невосприимчивы к фоновым колебаниям и шуму. Исследователи предложили рекомендации по разработке хороших методов обнаружения, разделив их на основные классы: полный пиксель и подпиксель. Оба метода будут рассмотрены позже более подробно.
Алгоритмы детектирования многочисленны, но их применение зависит от некоторых факторов, таких как: тип моделей, используемых для спектральной изменчивости, чистота пикселей и модели, используемые для описания смешанных пикселей. Что касается спектральной изменчивости, она обычно описывается в следующих формах:
· геометрически: использует подпространство спектров, в котором матрица, определяющая изменчивость подпространства, может быть библиотекой сигнатур спектров (на данных или даже векторах), полученных статистическими методами;
· статистически: спектральная изменчивость описывается в соответствии с моделями распределения вероятностей. Исчисление, такое как средний вектор и ковариационная матрица, применяются в разные моменты в предположении о многомерном нормальном распределении. Таким образом, изменчивость можно измерить по равномерному распределению пространства данных.
Манолакис и Шоу подчеркивют, что вариации поверхности материала, а также факторы, вызванные атмосферными условиями, «шумом» сенсора, составом материала и местоположением (среди прочих), обычно изменяют показания спектральных характеристик. Кроме того, большинство показаний, полученных для реальных приложений, вероятно, являются случайными из-за комбинации определенных факторов изменчивости, что делает невозможными прямые корреляции со спектральными библиотеками — коллекциями спектральных характеристик материалов известного состава. Описание такой статистической изменчивости более подходит для анализа с использованием вероятностных моделей, которые могут включать следующие подходы:
· модели плотности вероятности: этот тип моделей состоит из набора разброса значений отражательной способности для диапазона спектральных полос, который предназначен для идентификации различных спектральных классов в сцене с использованием алгоритмов кластеризации (например, k-средних) и методов классификации (например, атрибуция цвета);
· субпространственные модели: применяются для анализа изменчивости в M-мерном полосовом пространстве из K-мерного набора, где M <K. PCA — один из подходов в рамках этой вероятностной модели;
· модели линейного спектрального микширования: используются для оценки композиции пикселей изображения в тех случаях, когда имеются пиксели, состоящие из небольшого числа уникальных спектральных сигнатур, соответствующих различным компонентам (конечным элементам).
Как упомянуто выше, методы обнаружения целевой информации могут быть классифицированы по следующим основным типам: полный пиксель и субпиксель. Первый относится к чистому пикселю, который не имеет «загрязняющих» помех от фона. С другой стороны, субпиксельные методы являются более сложными, поскольку они включают смешанные спектральные характеристики, соответствующие различным материалам.
Существует два основных способа анализа смешанных спектров: (1) использование линейных смешанных моделей (LMM), которые предполагают, что пиксель состоит из небольшого линейного набора спектров, известных как конечные элементы; и (2) использование моделей стохастического смешивания, в которых есть случайность и независимость спектров конечных элементов.
Оказывается, смешанные спектры могут рассматриваться как проблемы спектрального расслоения. Спектральное расслоение предназначено для восстановления способности определенных материалов, то есть для получения информации о спектральных конечных элементах и их содержании. Несколько условий могут поставить под угрозу эту способность, такие как свет, близкие смеси и спектральное разрешение самого сенсора. Общее название для математической модели, которая имеет дело с этим видом проблем, — теория переноса излучения (RTT). В области спектрального расслоения существует несколько подходов, таких как линейное расслоение (формулировка обратной задачи для анализа ICA, широко использовавшаяся в последнее десятилетие), основанное на чистых пикселях, основанный на нечистых пикселях (конечные элементы выводятся путем подгонки симплексного минимального объема к данным в случае отсутствия чистых пикселей) и разреженного регрессионного смешения (недавний метод, который требует, чтобы наземные спектральные библиотеки находили оптимальное подмножество сигнатур, которое может лучше моделировать каждый пиксель). Расслоение связано с удобством обнаружения целевой информации, но также может применяться к задачам классификации.
4.2.1. Детектирование полных пикселей
Обычно процесс детектирования полного пикселя включает кластеризацию двух групп пикселей, разделенных на искомые и фоновые. Затем применяется LR (концепция, изображенная на рисунке 5) или подход GLR, чтобы определить, попадает ли определенный пиксель в разряд искомых или нет, путем анализа его положения относительно некоторой кривой решения скалярной границы (скалярного порога). Использование нормальных вероятностных моделей приводит к лучшей производительности.
Рисунок 5. Подход LR. Статический метод классифицирует данный спектр как искомый или фоновый, в зависимости от порога
Для решения проблемы перекрывающихся фоновых и искомых классов, которые могут привести к ошибкам классификации, доступны некоторые подходы: детекторы LR и адаптивные согласованные фильтры (AMF). Первый использует многовариантные нормальные векторы, которые можно проверить на спектр с помощью функции плотности вероятности, которая учитывает средний вектор и ковариационную матрицу. Детектор Неймана-Пирсона может быть выполнена, если функция плотности вероятности удовлетворяется, например, с помощью некоторого согласованного фильтра, такого как линейный дискриминант Фишера, который позволяет детектировать с использованием автоматически рассчитанного порогового значения. В качестве альтернативы для этой цели может быть применен подход AMF. Он использует выборочное распределение ковариационной матрицы (из библиотек или локальных данных). Для обнаружения цели можно использовать Spectral Angle Mapper (SAM), уравнение (2) в качестве допустимого алгоритма, если условия соответствуют хорошо разделенным распределениям и небольшим дисперсиям.
где xT — скалярное произведение векторов x и y
4.2.2. Целевое детектирование субпикселей
Если известно, что интересующий объект занимает только часть пикселя (наличие смешанного фона), следует применять другой набор подходов, а именно неструктурированные и структурированные фоновые модели.
Предлагается использовать неструктурированные фоновые модели, которые включают аддитивный шум, многомерное нормальное распределение, среднее значение 0 (принудительное) и ковариационную матрицу. Конкурирующая гипотеза в этом подходе показана в уравнении (3):
где Sa соответствует модели подпространства спектральной сигнатуры, b — фон, x —тестированный пиксель.
При наличии таких фонов предполагается, что материалы распределяются независимо и одинаково в пределах данного пикселя. Практический детектор может включать в себя объединение GLR, с порогом для установки вероятности обнаружения (Pd) и вероятности ложной тревоги (Pfa). ) — и Reed and Yu. Такое слияние приводит к возможности оценки расстояния по Махаланобису тестового пикселя от среднего значения фона, что обеспечивает адаптивность благодаря правильности CFAR. Эта процедура полезна для обнаружения аномалий в приложениях гиперспектральных данных (подход для спектральных данных с неизвестной заданной целью). Что касается обнаружения цели, следует учитывать, что количество фоновых данных в неструктурированных случаях является переменным. Таким образом, могут использоваться оценки, основанные на дисперсии, непосредственно связанные с коэффициентом заполнения цели, такие как оценка с помощью адаптивного когерентного косинуса (ACE). С другой стороны, структурированные фоновые данные, создаваемые субпространственными моделями, имеет в качестве единственного источника случайности аддитивный шум с неизвестной дисперсией.
Для объектов, которые накладываются друг на друга, затрудняя их спектральное различие, можно использовать нелинейную границу принятия решения. Исследователи представили пример того, как различить автомобили и деревья, накладывающиеся друг друга в кадре. График двухполосных данных в виде точек в двумерном пространстве со значениями отражательной способности в качестве координат дает начало нескольким различимым кластерам данных, связанным с развитыми элементами. В этом заключается сущность многократного использования спектральных данных в спектроскопии дистанционном зондировании. Тем не менее, как небольшая высота полета БПЛА, так и улучшенное пространственное разрешение сенсоров должны облегчать проблемы смешанных спектров в задачах, связанных с мониторингом и оценкой в лесном и сельском хозяйстве.
Между тем, другие разработки касались аномалии и детектирования объектов с помощью новейших статистических методов обработки сигналов и машинного обучения. Несмотря на то, что экспериментальные результаты касаются целых пикселей, утверждается, что адресуемые методы могут быть применимы и к субпикселям. Детектирование аномалий направлено на распознавание образов обнаруженных объектов, которые выделяются на зашумленном фоне. Наряду с некоторыми уже упомянутыми детекторами аномалий, такими как детекторы Рида-Сяоли и детекторы на основе субпространства, были выделены в качестве новых подходов и другие, в частности, нелинейная версия RX-детектора, позволяющая справиться с отсутствием гауссовского поведения распределения зашумленного фона, который не может быть легко смоделирован из-за недостатка обучающих данных и знаний о гауссовых смесях, и описание опорных векторных данных (SVDD), которое является классификатором, способным оценить поддержку для данного набора данных, избегая предварительной информации о распространении. Обнаружение аномальных изменений (ACD) было определено как алгоритм, способный подавлять изменения в окружающей среде, чтобы выделить преобразования материалов, давая пару гиперспектральных изображений. Кроме того, они предоставили данные сравнения между несколькими алгоритмами ACD.
Что касается пробелов в детектировании целевых объектов (рис. 6) — связанных с различением материалов при наличии пиксельных смешанных спектров и большого количества ложных срабатываний, выдаваемых алгоритмами, основанными на классической теории детектирования и физических моделях сигналов, подавлением ложных срабатываний (FAM ) —алгоритмы идентификации цели (TID) были недавно разработаны и представлены после ряда вводных тем, включая спектральную изменчивость, моделирование субпиксельных целей, детекторы вероятности, согласованные фильтры и анализ производительности на основе ROC. Хотя FAM считается многообещающим подходом для решения вышеупомянутой проблемы, связанной с частотой ложных тревог, TID полезен для определения, содержит ли данный пиксель в определенном детекторе цель или нет. Последний также подходит для смешанных спектральных проблем, которые решаются с помощью методов несмешивания и идентификации материалов посредством сравнивания с библиотечными спектрами.
Рисунок 6. Общая сводка по детектированию целевых объектов, структурированная по цели, подходу и гипотезе тестирования
4.3. Другие методы классификации
Manolakis и Shaw рассматривают методы классификации состоящие из назначения пикселей для классов или тем (также известных как термографические карты). Например, в задачах классификации земель пользователь должен определить классы, используя обучающие наборы, спектральные библиотеки и / или наземную тестовую информацию, рассматривая минимизацию вероятности ошибочной классификации в качестве критериев.
Burger и Gowen указывают на доступность широкого набора алгоритмов классификации и регрессии, включая неконтролируемые методы, такие как «k-ближайший сосед» и иерархическая классификация под наблюдением кластеров, такие как дискриминант с частичными наименьшими квадратами и SAM. Нейронные сети хорошо себя зарекомендовали при классификации, но они требовательны с точки зрения вычислительных и обучающих наборов данных. Извлечение признаков для распознавания классов может быть достигнуто с помощью одного из двух подходов: матрицы характеристик границ решения (DAFE) или выделения признаков границ решения (DBFE).
Ряд исследователей пересмотрели некоторые альтернативные подходы к классическому статистическому анализу и предложили некоторые методы, основанные на машинах опорных векторах (SVM) и методах на основе моделей Маркова. Для выполнения метода SVM используют функции, которые могут быть одного из следующих трех типов: радиальная базисная функция Гаусса (RBF), полиномиальная и основанная на SAM. Замечено, что с небольшим количеством обучающих наборов, более конкретно 10, 20, 40, 60, 80 и 100 пикселей данного класса, случайным образом извлеченных из более широкого набора, все три функции позволили достичь точности классификации свыше 92% с 10-пиксельной выборкой. Полная тестовая выборка (из более широкого набора) существенно не увеличивала этот показатель. Был исследован также метод Transductive SVM (TSVM), который представляет собой подход, «основанный на конкретных итерационных алгоритмах, которые постепенно ищут оптимальную дискриминантную гиперплоскость в пространстве признаков с помощью процесса, включающего немаркированные выборки на этапе обучения». Было проведено сравнение между SVM и TSVM из выборки, полученной из подмножества обучающих выборок, в которой были учтены некоторые нюансы - например, переменные для контроля ошибки при неправильной классификации. Результаты метода TSVM оказались лучше.
4.4. Вегетационные индексы
Вегетационные индексы (VI) позволяют анализировать несколько свойств по индексу площади листьев (LAI) и оценивать биофизические, физиологические или биохимические параметры сельскохозяйственных растений. Исследователями были классифицированы как широкие так и узкие полосы, поскольку последняя группа считалась более подходящей для гиперспектральных данных. Некоторые из рассматриваемых узкополосных индексов включают индекс коэффициента поглощения хлорофилла (CARI), индекс «зелености» (GI), индекс вегетации зелени (GVI), модифицированный индекс коэффициента поглощения хлорофилла (MCARI), модифицированный индекс нормализованной разности вегетации (MNDVI), простое соотношение (SR) , включая узкополосные варианты 1–4), трансформированного индекса коэффициента поглощения хлорофилла (TCARI), треугольной индекс растительности (TVI), модифицированный коэффициент стресса растительности (MVSR), модифицированный индекс почвенной растительности (MSAVI) и PRI.
Действительно, VI широко использовались в гиперспектральных данных для нескольких целей. Например, ,было проведено исследование для оценки чувствительности VI к зеленому LAI. Модифицированные версии TVI и MCARI оказались лучшими для прогнозирования зеленого цвета в LAI. Оценка состояния виноградников указала на то, что PRI является одним из наиболее чувствительных к каротиноидам и хлорофилл-каротиноидным соотношениям. TCARI в сочетании с широкополосным индексом, известным как Оптимизированный индекс растительности с поправкой на почву (OSAVI), был наиболее подходящим для оценки Cab на агрегированных и чистых пикселях виноградной лозы. Трехлетние гиперспектральные данные, полученные с БПЛА, при съемке виноградников были использованы для проведения исследования с VI, которое привело к выводу, что комбинация R515 / R570 (чувствительная к Cx + c) и TCARI / OSAVI (чувствительная до Ca + b) узкополосные индексы подходят для картирования концентрации каротиноидов на уровне чистой лозы. Что касается оценки содержания хлорофилла, то SR и SR2 находятся на вершине своего рейтинга. Недавняя работа с рисом показала, что MSAVI входит в число VI, которые представили сильные и значимые связи с оценкой LAI на разных фенологических стадиях.
В качестве альтернативы представленной гиперспектральной обработке данных заслуживают внимания новые подходы к решению проблемы сложности гиперспектральной информации, основанные на глубоком обучении (DL). Например, предложена структура, объединяющая уменьшение размеров и глубокое обучение, позволяющая классифицировать гиперспектральные изображения на основе спектрально-пространственных характеристик. Дискриминантные алгоритмы для спектральных признаков и сверточных нейронных сетей (CNN) для работы с пространственными особенностями лежат в основе предложения, которое указано в качестве превосходящей структуры по сравнению с обычно используемыми методами классификации гиперспектральных изображений.
Подводя итоги этого раздела, уменьшение размеров фокусируется на упрощении данных для повышения производительности вычислений при обеспечении сохранения информации. Детектирование объектов относится к идентификации какой-либо конкретной интересующей особенности посредством анализа спектрального профиля изображения с использованием статистики. Пиксельные и субпиксельные методы доступны для разных сценариев. Другие типы классификации обеспечивают обширный анализ и категоризацию всей сцены. Подходы, основанные на машинном обучении, могут быть поняты как общая классификация. Для оценки свойств и состояния растительности доступны несколько индексов. Новые подходы DL также вносят существенный вклад в обработку гиперспектральной информации с помощью методов, которые включают уменьшение размеров, классификацию и обнаружение аномалий. Чтобы справиться с математической сложностью, связанной со статистическими подходами, было предпринято несколько попыток разработки программного обеспечения и библиотек, ориентированных на гиперспектральную обработку данных. В следующем разделе представлены несколько результатов таких усилий.
5. Программное обеспечение и библиотеки для работы с гиперспектральными данными
Обработка и анализ гиперспектральных данных требуют использование знаний в области статистики, что подтверждается в разделе 4. Таким образом, специалистам, применяющим дистанционное зондирование, например, фермеры, лесники и др., необходимо как-то владеть этими знаниями, либо путем обучения, либо путем привлечения внешних ресурсов. Чтобы справиться с этой ситуацией, ряд компаний прилагают усилия, чтобы уменьшить математическую сложность для этих специалистов. В этом подразделе будет представлен краткий обзор программных средств и программных библиотек, которые демонстрируют такие усилия.
Что касается программных средств, существуют некоторые эффективные решения, которые позволяют работать с гиперспектральными данными и требуют только понимания процессов для проведения анализа данных, а не специальных математических знаний. Например, ПО ERDAS — это коммерческое сложное программное обеспечение с графическим пользовательским интерфейсом для работы не только с гиперспектральными изображениями, для которого поддерживаются многие операции, описанные в предыдущем разделе, например контролируемая классификация. — но также с данными оптической панхроматической и мультиспектральной, радарной съемки, а также с данными лазерного сканирования. Другим инструментом является программное обеспечение ENVI, которое сочетает в себе передовую обработку изображений и проверенные геопространственные технологии, которые помогают извлекать значимую информацию из всех видов данных и, следовательно, улучшают процесс принятия решений. Tactical Hyperspectral Operations Resource (THOR) — это специальный пакет ENVI, который обеспечивает ортотрансформирование, атмосферную коррекцию и детектирование объектов. Существует также ImageLab, который обрабатывает данные с помощью различных методов спектроскопической визуализации, таких как субмиллиметровое излучение, оптическая, видимая в ультрафиолетовом диапазоне, инфракрасная, рамановская или масс-спектрометрия. Основанный на многомерных статистических методах, ПО пользователю как анализировать и классифицировать полученные гиперспектральные изображения, так и объединять их с картами физических свойств и снимками RGB высокого разрешения. Удобный пользовательский интерфейс дает полный контроль над широким спектром функций. EXPRESSO 13 является флагманским программным обеспечением Brandywine (производитель гиперспектральных сенсоров). ПО включает обработку и контроль гиперспектральных изображений в реальном времени с интуитивно понятным интерфейсом и предоставляет все стандартные алгоритмы (например, кластеризация по k-средним значениям, согласованная фильтрация и преобразование MNF). И, наконец, Spectronon — это еще одно программное обеспечение для анализа, которое предоставляет такие инструменты, как гиперспектральная классификация (например, на основе SAM и логистической регрессии), определение VI, расширенные инструменты визуализации и поддержка написанных пользователем плагинов Python. ПО предназначено для работы со спектральными сенсорами Resonon. Далее будут рассмотрены доступные библиотеки программирования для обработки гиперспектральной обработки данных, включая некоторые интерфейсы прикладного программирования (API).
На самом деле, программных библиотек, как выясняется, достаточно мало. Бесплатный вариант с открытым исходным кодом, который, кажется, является подходящим, — это модуль Spectral Python (SPy), который выпущен под общедоступной лицензией GPL. Документация кажется хорошо структурированной и подтвержденной некоторыми опубликованными работами. Существует также Hyperspectral Python (HypPy) [129], который работает с форматом файлов ENVI для изображений и может использоваться вместе с другим программным обеспечением, таким как программное обеспечение ENVI. Другой вариант — Hyperpectral Image Analysis Toolbox (HIAT), который состоит из набора функций для анализа гиперспектральных и мультиспектральных данных в среде Matlab. Он предоставляет такие методы обработки, как дискриминантный анализ, анализ главных компонент, евклидово расстояние или максимальное правдоподобие, но, похоже, больше не поддерживается разработчиками. MultiSpec — это бесплатная система обработки для анализа мультиспектральных и гиперспектральных изображений, разработанная. Кроме того, некоторые из указанных программных инструментов предоставляют библиотеки для программистов. Например, в ENVI есть так называемый интерактивный язык данных, который легко изучать и использовать, что позволяет ученым и специалистам легче обрабатывать гиперспектральные данные. От ERDAS также доступен набор для разработки на C / C ++. Resonon также делится программным интерфейсом на C ++ для тех, кто желает управлять гиперспектральными имидж-сканерами, доступными в компании. Однако гиперспектральная обработка и анализ данных, похоже, не поддерживаются этим API.
Как и для статистической обработки гиперспектральных данных, доступны некоторые механизмы и библиотеки (например, Tensorflow и Theano), которые поддерживают разработку приложений машинного / глубокого обучения.
В следующем разделе представлен комплекс работ, которые объединяют БПЛА, гиперспектральные датчики и анализ данных в области сельского и лесного хозяйства и смежных областей.
6. Использование в сельском и лесном хозяйстве
В этом разделе будут представлены приложения, использующие получение, обработку и анализ гиперспектральных данных для областей, связанных с управлением сельским хозяйством и природной растительностью, с особым акцентом на вопросах, связанных с разными периодами вегетации.
6.1. Сельское хозяйство
Методы оценки содержания каротиноидов в листьях винограда с использованием гиперспектральных изображений высокого разрешения, полученных с помощью БПЛА, представлены в Zarco-Tejada, P.J.; Guillén-Climent, M.L.; Hernández-Clemente, R.; Catalina, A.; González, M.R.; Martín, P. Estimating leaf carotenoid content in vineyards using high resolution hyperspectral imagery acquired from an unmanned aerial vehicle (UAV). Agric. For. Meteorol. 2013, 171–172, 281–294. Атмосферная коррекция проводилась с использованием общего входящего излучения с интервалами 1 нм, имитируемого с помощью простой модели радиационного переноса солнечного света в атмосфере (SMARTS), разработанной Национальной лабораторией возобновляемой энергии Министерства энергетики США. Модели радиационного переноса и методы масштабирования использовались для получения оценок по двухгодичной гиперспектральной съемке с хорошими результатами.
В Pölönen, I.; Saari, H.; Kaivosoja, J.; Honkavaara, E.; Pesonen, L. Hyperspectral imaging based biomass and nitrogen content estimations from light-weight UAV. In Proceedings of the SPIE Remote Sensing, Dresden, Germany, 16 October 2013 представлены результаты исследований, в которых, гиперспектральные данные с БПЛА для оценки биомассы и азота. Подход исследователей был опробован в полевых условиях на полях пшеницы и ячменя. Операции предварительной обработки включали лабораторную калибровку, спектральную коррекцию и коррекцию темного сигнала. Выделение признаков было выполнено с использованием спектрального индекса NDVI, спектрального размешивания и пространственных особенностей. Оценка была сделана с использованием подхода машинного обучения, который объединяет k-NN для классификации и обучения данных, полученных в лабораторной среде.
Аналогичные цели преследовались в Honkavaara, E.; Saari, H.; Kaivosoja, J.; Pölönen, I.; Hakala, T.; Litkey, P.; Mäkynen, J.; Pesonen, L. Processing and Assessment of Spectrometric, Stereoscopic Imagery Collected Using a Lightweight UAV Spectral Camera for Precision Agriculture. Remote Sens. 2013, 5, 5006–5039 с использованием аналогичного сенсора для неблагоприятных метеорологических условий, что представляет собой проблему при обработке данных. По мнению авторов, изменяющиеся условия освещения вызывали значительные радиометрические различия между изображениями. Тем не менее, их радиометрическая коррекция позволила уменьшить вариации значений серого на перекрывающихся изображениях с 14–18% до 6–8%.
В работе Corbane, C.; Jacob, F.; Raclot, D.; Albergel, J.; Andrieux, P. Multitemporal analysis of hydrological soil surface characteristics using aerial photos: A case study on a Mediterranean vineyard. Int. J. Appl. Earth Obs. Geoinf. 2012, 18, 356–367.для средиземноморских виноградников был применен мультивременный анализ гидрологических характеристик поверхности почвы (H-SSC). Он был способен различать классы земли и переводить возможные изменения в правила принятия решений. Классификация состоит из исправления карт классов H-SSC, ранее полученных из любой монотемпоральной классификации (карты основаны на пикселях или объектах изображения), опираясь на сравнение экспертных знаний, отраженных в возможных эволюциях H-SSC (преемников), и данной монотемпоральной классификации. Механические и химические вмешательства на местах могут быть обнаружены при таком подходе.
В Lucieer, A.; Malenovsk˛, Z.; Veness, T.; Wallace, L. HyperUAS-Imaging Spectroscopy from a Multirotor Unmanned Aircraft System: HyperUAS-Imaging Spectroscopy from a Multirotor Unmanned. J. Field Robot. 2014, 31, 571–590 авторы создали свои собственные гиперспектральные БАС, состоящей из мультироторного дрона, который несет гиперспектральный сенсор 960 г, способный охватить 324 спектральных полосы (или половину в режиме биннинга) между 361 и 961 нм, датчики положения / ориентации и блок питания. Эксперименты по валидации включали оценку содержания хлорофилла и зеленой биомассы пастбищ и полей ячменя, в основном на основе исчисления VI.
Водный режим лимонного сада был исследован в Zarco-Tejada, P.J.; González-Dugo, V.; Berni, J.A. J. Fluorescence, temperature and narrow-band indices acquired from a UAV platform for water stress detection using a micro-hyperspectral imager and a thermal camera. Remote Sens. Environ. 2012, 117, 322–337 с использованием получения полевых данных, то есть измерений уровня флуоресценции хлорофилла и данных PRI, сезонных временных рядов температуры кроны и PRI при различных методах ирригации с регулируемым дефицитом (RDI). БАС, состоящий из БПЛА, оснащенного термальным и гиперспектральным сенсорами, использовался для сбора данных для анализа спектров температуры, радиации и отражательной способности кроны с целью оценки флуоресценции хлорофилла, видимых соотношений и структурных показателей для определения водного баланса. Радиометрическая калибровка была выполнена относительно калиброванного источника света, в то время как атмосферная калибровка была выполнена с использованием модели SMARTS. Измерения на основе индексов и модель FluorMOD плюс FLD3 применялись для оценки флуоресценции, что соответствовало наземным измерениям.
Verticillium wilt — заболевание, которое влияет на оливы так, как оно блокирует поток воды на уровне сосудистых растений — было изучено в Calderón, R.; Navas-Cortés, J.A.; Lucena, C.; Zarco-Tejada, P.J. High-resolution airborne hyperspectral and thermal imagery for early detection of Verticillium wilt of olive using fluorescence, temperature and narrow-band spectral indices. Remote Sens. Environ. 2013, 139, 231–245 с использованием тепловизионных изображений, флуоресценции хлорофилла, структурных и физиологических показателей (ксантофилл, хлорофилл a + b, каротиноиды и синие / зеленые / красные индексы B / G / R), рассчитанные по мультиспектральным и гиперспектральным данным как ранние индикаторы наличия и тяжести инфекции.
В Uto, K.; Seki, H.; Saito, G.; Kosugi, Y. Characterization of Rice Paddies by a UAV-Mounted Miniature Hyperspectral Sensor System. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 2013, 6, 851–860 основной задачей была оценка плотности хлорофилла на рисовых полях с использованием малых высот полета. С этой целью был собран гиперспектральный сенсор, способный считывать 256 полос, равномерно распределенных между 340 и 763 нм. Сравнение показаний сенсора с результатами наземных проверок продемонстрировало высокую точность оценки плотности хлорофилла, в частности, в диапазонах RE и NIR.
Угловой эффект для нескольких VI с использованием БПЛА и гиперспектрального сенсора был изучен в Burkart, A.; Aasen, H.; Alonso, L.; Menz, G.; Bareth, G.; Rascher, U. Angular Dependency of Hyperspectral Measurements over Wheat Characterized by a Novel UAV Based Goniometer. Remote Sens. 2015, 7, 725–746 с упором на пшеницу. Так называемая гониометрическая система использует структуру для подхода к движению для оценки наведения и точности положения. В качестве основных выводов авторы заявили, что их гониометр на основе БПЛА представляет собой полезный шаг в направлении разработки методов коррекции для ослабления влияния угловых отражений на спектры.
Исследователи из Национальной лаборатории и Государственного университета штата Айдахо в США [Mitchell, J.J.; Glenn, N.F.; Anderson, M.O.; Hruska, R.C.; Halford, A.; Baun, C.; Nydegger, N. Unmanned aerial vehicle (UAV) hyperspectral remote sensing for dryland vegetation monitoring. In Proceedings of the 2012 4th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS), Shanghai, China, 4–7 June 2012; pp. 1–10] представили несколько тестов для своей системы ДЗЗ, которая оценивает влияние улучшенных полетов на геометрическую точность, возможности мозаики и способность различать нерастительные объекты, травы и кустарники. Необслуживаемая классификация, основанная на k-среднем, использовалась для изучения изображений данных, полученных в поле, а согласованный фильтр на основе SAM был применен для контролируемой классификации наземных объектов (например, мятлика Сандберга и голой почвы). Первый, кажется, поддерживает цели управления растительностью, которые основаны на картировании растительного покрова и схем распределения, в то время как последние показали плохие результаты, подчеркивая необходимость улучшения контролируемых процедур классификации.
Исследование, демонстрирующее взаимосвязь между стационарной флуоресценцией и чистым фотосинтезом, измеренным в условиях естественного светового поля — как на листе, так и на изображении, — было проведено Зарко-Техадой [Zarco-Tejada, P.J.; Catalina, A.; González, M.R.; Martín, P. Relationships between net photosynthesis and steady-state chlorophyll fluorescence retrieved from airborne hyperspectral imagery. Remote Sens. Environ. 2013, 136, 247–258], который использовал гиперспектральный сенсор с 260 полосами на дроне для проведения испытаний на двенадцати виноградниках на севере Испании. Несколько тестов для получения параметров биохимического определения хлорофилла a + b, каротиноидов и антоцианов, в то время как другие параметры (например, стационарное состояние листа и адаптированная к темноте флуоресценция) были получены на земле для сравнения с данными изображений. Результаты указывают на связь между обоими.
Сосредоточившись на пшеничных полях, Kaivosoja [Kaivosoja, J.; Pesonen, L.; Kleemola, J.; Pölönen, I.; Salo, H.; Honkavaara, E.; Saari, H.; Mäkynen, J.; Rajala, A. A case study of a precision fertilizer application task generation for wheat based on classified hyperspectral data from UAV combined with farm history data. In Proceedings of the SPIE Remote Sensing, Dresden, Germany, 15 October 2013] использовал классифицированные растровые карты из гиперспектральных данных, чтобы создать рабочую модель для точного внесения удобрений. На пшеничных полях (Финляндия) проводились летные кампании с целью подготовки классифицированных растровых карт с оценкой содержания биомассы и азота. Такие карты были объединены с историческими данными (например, карты урожайности). Некоторые уравнения, связывающие азот с биомассой, использовались для статистических целей. Несмотря на потенциальную полезность такого рода методов оценки, авторы подчеркнули некоторые неточности, связанные с цепью гиперспектральной обработки данных. Возможно, предварительно проведенные полевые исследования могли бы способствовать более точной классификации, улучшая тем самым результаты.
6.2. Лесное хозяйство
В Aasen, H.; Burkart, A.; Bolten, A.; Bareth, G. Generating 3D hyperspectral information with lightweight UAV snapshot cameras for vegetation monitoring: From camera calibration to quality assurance. ISPRS J.Photogramm. Remote Sens. 2015, 108, 245–259 был предложен метод получения трехмерной гиперспектральной модели моментальным снимкам, полученных с БПЛА для мониторинга растительности, основанный на структуре, основанной на движении, которая приводит к созданию цифровой модели поверхности (DSM). Используемый сенсор обеспечивает 125 спектральных полос в диапазоне 450–950 нм и разрешении 21 см. Операции по радиометрической калибровке тщательно документированы.
Чтобы определить наличие заражений короедом ели норвежской, в Näsi, R.; Honkavaara, E.; Lyytikäinen-Saarenmaa, P.; Blomqvist, M.; Litkey, P.; Hakala, T.; Viljanen, N.; Kantola, T.; Tanhuanpää, T.; Holopainen, M. Using UAV-Based Photogrammetry and Hyperspectral Imaging for Mapping Bark Beetle Damage at Tree-Level. Remote Sens. 2015, 7, 15467–15493 разработали новый подход обработки данных лесной среды с высоким пространственным разрешением. Используемый гиперспектральный сенсор FPI отличается от большинства других, поскольку он обладает стереоскопическими возможностями, которые предполагают повышение точности получения облаков точек и дальнейшего производства DSM. Рабочий процесс для анализа включает в себя коррекцию изображений в соответствии с лабораторными калибровками, создание трехмерной геометрической модели, определение мозаик спектральных изображений, идентификацию отдельных деревьев, выделение спектральных характеристик и, наконец, классификацию на основе контролируемого k-NN. Для трех классов цвета (здоровые, зараженные, мертвые) была достигнута общая точность 76%, в то время как 90% были достигнуты при использовании 2 классов (здоровые, мертвые).
Небольшие тропические леса были в центре внимания в Berveglieri, A.; Tommaselli, A.M.G. Exterior Orientation of Hyperspectral Frame Images Collected with Uav for Forest Applications. ISPRS Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2016, XL-3/W4, 45–50, где представлена работа по оценке точности альтиметрии, включающая корректировку связки блоков (BBA) с парой гиперспектральных полос и опорных точек. Были сделаны следующие выводы: (1) наземный контроль необходим для повышения точности альтиметрии и (2) было замечено меньше расхождений для опорных точек, размещенных на границе изображения, а не для опорных точек в его углах. Предварительные результаты показали расхождение около 40 см в координате Z, что достаточно для применения в лесном хозяйстве.
6.3. Сельское и лесное хозяйство
В Saari, H.; Pellikka, I.; Pesonen, L.; Tuominen, S.; Heikkilä, J.; Holmlund, C.; Mäkynen, J.; Ojala, K.; Antila, T. Unmanned Aerial Vehicle (UAV) operated spectral camera system for forest and agriculture applications. In Proceedings of the SPIE Remote Sensing for Agriculture, Ecosystems, and Hydrology XIII, Prague, Czech Republic, 15 October 2011; Volume 8174 описана интеграция инновационных технологий в области БПЛА в проект, целью которого является изучение того, насколько полезны легкие дроны в областях, связанных с лесным хозяйством или сельским хозяйством. Они начинают с указания требований к лесному хозяйству (например, оценки высоты деревьев и идентификации видов) и приложений для мониторинга сельскохозяйственных культур (например, оценки исходного сырья и оценки состояния азота), а также требований систем БПЛА (совместная поддержка фермеров или специалистов по лесному хозяйству). Они пришли к выводу, что FPI является подходящим сенсором для использования в нескольких задачах. Этот сенсор использовался для демонстрации технической осуществимости ложных цветов и гиперспектральных данных для инвентаризации леса и сельского хозяйства. Позже, эта исследовательская группа сосредоточилась на точном сельском хозяйстве с исследованиями по оценке биомассы на основе регрессионной машины опорных векторов. Многовременные данные и облака точек были их основными источниками данных.
Подводя итог, несколько работ, начиная от мониторинга состояния растительности до выявления заболеваний, демонстрируют, насколько универсальным и полезным может быть гиперспектральное дистанционное зондирование с использованием БПЛА как для сельского хозяйства, так и для лесного хозяйства.
7. Выводы
БАС становятся все более популярными в сельском и лесном хозяйстве, поскольку они представляют собой рентабельный и легкодоступный инструмент для обследования земель и сельскохозяйственных культур с целью получения данных для дальнейшего анализа и поддержки процессов принятия решений и управления. Однако большинство сенсоров, которые обычно применяются для этой цели (например, RGB и мультиспектральные), обычно предоставляют информацию только об очень ограниченном количестве спектральных полос, которых может не хватить для анализа некоторых особенностей.
Чтобы решить эту проблему, гиперспектральные сенсоры, которые обычно использовались на спутниках или пилотируемых летательных аппаратах несколько лет назад, были переработаны, чтобы стать легче и меньше и, таким образом, более подходящими для установки на БПЛА для съемки поверхности Земли с учетом более широкого спектрального диапазона.
Гиперспектральные сенсоры обычно генерируют огромные объемы данных, поскольку они получают наборы спектров, состоящие из сотен полос в изображениях со значительным пространственным разрешением. Такие объемы требуют правильного анализа и методов обработки. Для специалистов по дистанционному зондированию, землеустройству и программистов, работающих над приложениями для сельского и лесного хозяйства и смежных областей, такие инструменты могут оказаться полезными.
Были рассмотрены работы в областях сельского и лесного хозяйства с использованием БПЛА и гиперспектральных сенсоров с акцентированием на их основные цели и общие методы обработки и анализа. Несмотря на значительное количество применений, они, по-видимому, все еще недостаточны по сравнению с приложениями, использующими БПЛА и другие типы сенсоров, возможно, из-за высоких цен на спектроскопию высокого разрешения, которая может поставить под угрозу экономическую эффективность приложений, связанных с сельским и лесным хозяйством и смежными областями. Другой причиной низкого количества исследований является сложность сбора и анализа данных. Для получения данных необходим более высокий уровень подготовки. Кроме того, некоторые исследователи [148] ожидают, что гиперспектральные датчики будут применяться только для исследовательских целей. Ожидается, что технологическое развитие в предстоящие годы может привести к появлению более доступных устройств небольшого размера, превращая гиперспектральное зондирование в основной подход к сельскому хозяйству, лесному хозяйству и смежным областям.