Предобработка изображений для решения задач дифференцируемого рендеринга

С. И. Куприянов, Д. Д. Жданов, И. В. Валиев


Аннотация: В статье представлен метод предобработки изображений для задач дифференцируемого рендеринга, основанный на анализе геометрии сцены и серии изображений объекта с разных ракурсов камеры. Предложенный подход направлен на уменьшение объема данных, передаваемых в дифференцируемый рендеринг для расчета градиентов по параметрам сцены. Кроме того, рассматривается возможность устранения шумов, полученных в результате некачественных измерений яркости объекта реального мира или при создании синтетических изображений на малом количестве шагов рендеринга. В данной работе описывается алгоритм отбора наиболее информативных точек сцены и алгоритм устранения потенциального шума. В контексте проводимого исследования наиболее информативными считаются точки с высоким уровнем прямого освещения, поскольку они естественным образом связаны с параметрами модели оптических свойств сцены. Алгоритм отбора точек анализирует геометрию сцены с нескольких ракурсов камеры на объекты сцены. Такой подход позволяет сократить набор данных до непосредственно видимых точек сцены и впоследствии отобрать из них наиболее яркие. Для корректного анализа изображений сцены был предложен и реализован алгоритм устранения шума. Данный алгоритм анализирует точку сцены с разных ракурсов камеры и выполняет интерполяцию в области вокруг этой точки. Таким образом, идея алгоритма предобработки изображений заключается в отборе наиболее важных точек изображений сцены с последующим выбором наиболее ярких и устранением шума. Результаты проведенных экспериментов показывают корректность работы алгоритма отбора точек с прямым освещением и демонстрируют возможность устранения шума на синтетических изображениях, созданных на малом количестве итераций расчета.

Ключевые слова: дифференцируемый рендеринг, оптические свойства, предобработка изображений, прямое освещение, анализ геометрии, анализ шума, устранения шума.