Программирование

Система обработки изображений с автоматическим распараллеливанием на основе MapReduce

А. В. Созыкин, М. Л. Гольдштейн

Институт математики и механики УрО РАН (г. Екатеринбург, Российская Федерация)

Аннотация: Целью работы является создание системы обработки изображений в параллельном режиме под управлением Apache Hadoop на основе технологии MapReduce, которая скрывает от прикладного программиста детали внутреннего устройства Hadoop и предоставляет простой программный интерфейс для работы с изображением, уже загруженным в память.
Основными результатами являются архитектура системы обработки изображений с автоматическим распараллеливанием на основе Hadoop и ее практическая реализация в виде первой очереди комплекса программ. Созданный комплекс программ применен для обработки изображений от системы Particle Image Velocimetry (источник данных – проект PIV Challenge). Тестирование комплекса программ на кластере Hadoop из четырех узлов показало почти линейную масштабируемость.
Практическое применение возможно в научной сфере (обработка изображений от физических экспериментальных установок, астрономических наблюдений, спутниковых снимков земной поверхности и т.д.), медицине (обработка изображений, получаемых в результате применения высокотехнологичной медтехники) и коммерческих компаниях (анализ данных с камер видеонаблюдения в системах безопасности, в геоинформационных системах и т.п.).
Предложенный подход позволяет повысить производительность обработки изображений за счет применения параллельных вычислительных систем и повышает эффективность работы прикладных программистов, позволяя им концентрироваться на алгоритмах обработки изображений, а не на деталях параллельной реализации.

Ключевые слова: обработка изображений, MapReduce, Hadoop, распределенная файловая система, автоматизация распараллеливания.

УДК: 004.932

MSC: 65Y05

Поступила в редакцию: 08.06.2012