Теория вероятностей и Математическая статистика

Асимптотический анализ статистических оценок энтропии Шеннона двоичных $s$-грамм.

В. Ю. Палуха^ab, Ю. С. Харин<sup>ab

a</sup> Белорусский государственный университет, г. Минск
^b НИИ прикладных проблем математики и информатики БГУ, г. Минск

Аннотация: Найдены асимптотическое распределение вероятностей статистической оценки энтропии Шеннона $s$-грамм $\widehat{H}(s)$ и асимптотическое совместное распределение вероятностей статистических оценок энтропии Шеннона $s$- и $(s+1)$-грамм $\widehat{H}(s), \widehat{H}(s+1)$ для равномерно распределенной случайной двоичной последовательности при ее растущей длине. Доказано, что с ростом значения $s$ коэффициент корреляции статистических оценок энтропии Шеннона $s$- и $(s+1)$-грамм $\widehat{H}(s), \widehat{H}(s+1)$ стремится к нулю. Теоретические результаты проиллюстрированы компьютерными экспериментами.

Ключевые слова: Энтропия Шеннона; двоичная последовательность; статистическая оценка; ковариация; коэффициент корреляции.

УДК: 519.237.4