Improving image analysis and processing performance on the RISC-V platform with Lichee Pi 4A

[Повышение производительности анализа и обработки изображений на платформе RISC-V с помощью Lichee Pi 4A]

N. I. Cherepanov, N. O. Stepina, I. V. Nikiforov

Peter the Great St. Petersburg Polytechnic University

Аннотация: В исследовании изучаются методы оптимизации для повышения производительности обработки изображений на платформе RISC-V с использованием Lichee Pi 4A. Исследование сосредоточено на обработке видео в режиме реального времени для системы самообслуживания, которая реализована в виде микросервисного приложения. Рассматриваются и оцениваются стратегии оптимизации, включая оптимизацию модели нейронной сети, аппаратное ускорение с использованием векторных инструкций RVV и использование встроенного ускорителя для нейронных сетей (NPU). Результаты профилирования существующих стратегий показывают, что обнаружение объектов и извлечение признаков потребляют большую часть вычислительных ресурсов. Чтобы устранить разрыв в производительности, реализовано квантование модели в формат INT8, что позволяет сократить использование памяти и задержку вывода. Кроме того, развернута модифицированная версия ONNX Runtime для поддержки ускорения NPU. Эти улучшения привели к уменьшению размера модели на 75% и уменьшению задержки вывода на 35%. В исследовании делается вывод, что аппаратно-ориентированные оптимизации значительно повышают производительность на платформе RISC-V (Lichee Pi 4A). А также определена основная проблема практического применения разработанного решения на Lichee Pi 4A, связанная с низкой скоростью обработки данных: текущая частота кадров составляет всего 0,05 FPS.

Ключевые слова: RISC-V, Lichee Pi 4A, обработка изображений, нейронная сеть, векторизация, NPU, ONNX Runtime, оптимизация производительности, обработка в реальном времени.

Язык публикации: английский

DOI: 10.15514/ISPRAS-2025-37(5)-12