Компания Sarmap (Швейцария) совместно с компанией «Совзонд» провела успешное тестирование ряда функций модулей SARscape для программы ENVI (Exelis VIS, США) на кластерных компьютерах.
Предварительно для выбора оптимальной конфигурации кластера, а также используемой технологии было выполнено сравнение производительности конкурирующих решений для распределенных вычислений. Один и тот же массив тестовых данных был обработан в SARscape различными устройствами:
- графическими процессорами (GPU) Nvidia Tesla K80 и (GPU) Nvidia Tesla K20x;
- компьютером с двумя параллельными 8-ядерными центральными процессорами (CPU) Intel Xeon E5-2630 v3;
- компьютером с 60-ядерным сопроцессором Intel 5110p Xeon Phi.
Наилучшие результаты показала обработка с помощью графических процессоров GPU, поэтому для дальнейшего тестирования наиболее ресурсоемких функций SARscape было решено использовать именно данный тип кластера.
GPU-кластер для тестирования был предоставлен компанией «Т-Платформы» (Россия). Он был оборудован 8 GPU Nvidia Tesla K80 и 4 GPU Nvidia Tesla K20x (всего 12 GPU).
 |
|
Рис. 1. Кластер компании «Т-Платформы». |
Для тестирования была выбрана функция интерферометрии постоянных рассеивателей радарного сигнала, реализованная в модуле SARscape Interferometric Stacking. Эта функция позволяет в автоматизированном режиме обрабатывать многопроходные интерферометрические серии спутниковых радарных снимков с получением на выходе моделей смещений и деформаций земной поверхности и сооружений с миллиметровой точностью. Постоянно возрастающий размер радарных снимков в пикселях (от 5000 х 5000 пикселей у данных ERS-1/2 до 25000 х 35000 пикселей у данных ALOS-2 и Sentinel-1A), а также большое количество исходных снимков (не менее 30), требуемое для работы функции SARscape Persistent Scatterers Interferometry, обусловили необходимость разработки в первую очередь версии этой функции, использующей преимущества распределенной обработки на GPU-кластере.
 |
|
Рис. 2. Отображение интерферограммы, рассчитанной по данным Sentinel-1A в интерфейсе ENVI/SARscape 5.2. |
В качестве тестового набора данных использовалась 30-проходная серия данных со спутников COSMO-SkyMed-1-4 (e-GEOS, Италия). Результаты обработки этой серии снимков на GPU-кластере с возрастающим количеством задействованных вычислительных узлов приведены на рисунке.
 |
|
Рис. 3. Время (в минутах) выполнения операции SARscape Persistent Scatterers First Inversion для 30-проходной серии снимков COSMO-SkyMed-1-4 (вырезка 5000 х 10000 пикселей). |
Тестирование показало:
- GPU-кластер, предоставленный для тестирования компанией «Т-Платформы», практически идеально подходит (за исключением отсутствия быстрых дисков SSD- или RAID-массивов) для эффективной обработки больших массивов радарных данных дистанционного зондирования Земли большинством алгоритмов обработки, реализованных в SARscape.
- Задействование для обработки радарных данных новейших видеокарт Nvidia Tesla (K20x и K80) обеспечивает значительно более высокую скорость обработки по сравнению с альтернативными видеокартами и по отношению к high-end решениям (таким как Intel Xeon Phi сопроцессоры и компьютеры со сдвоенными многоядерными CPU (Dual CPU)).
- Поскольку алгоритм интерферометрии постоянных рассеивателей (SARscape Persistent Scatterers) интенсивно задействует не только память системы и GPU/процессоры/сопроцессоры, но и жесткие диски, рекомендуем использовать кластер данной или аналогичной конфигурации, но оборудованный SSD-дисками или RAID-массивами со значительно большими скоростями чтения с диска и записи на диск.
Как видно на рисунке, использование всех 12 GPU ускорило обработку в 8 раз по сравнению с использованием лишь 1 GPU. Время обработки сократилось с 15 часов 35 минут до 1 часа 55 минут.