Случайные ошибки обязательно гауссовы? - физиков.нет
Купить гитару в Москве
48 голосов
/

Я видел случайные ошибки, определяемые как ошибки, которые в среднем равны 0, поскольку число измерений уходит в бесконечность, и что ошибка в равной степени может быть положительной или отрицательной. Это требует только симметричного распределения вероятностей около нуля. Однако, вводя этот вопрос в Google, я не нашел ни одного источника, который бы предполагал, что случайные ошибки могут быть чем-то отличным от гауссовского. Почему случайные ошибки должны быть гауссовыми?

Ответы [ 7 ]

60 голосов
/

Обязательно ли случайные ошибки гауссовы?

Ошибки очень часто гауссовы, но не всегда. Вот некоторые физические системы, в которых случайные флуктуации (или «ошибки», если вы находитесь в контексте с тем, что меняется, представляет собой ошибку) не являются гауссовыми:

  1. Распределение времени между щелчками в фотоприемнике, подверженном воздействию света, является экспоненциальным распределением. $^{[a]}$

  2. Количество щелчков фотоприемника за фиксированный период времени является распределением Пуассона.

  3. Смещение положения из-за равномерно распределенных угловых ошибок светового луча, поражающего цель на некотором расстоянии, является распределением Коши.

Я видел случайные ошибки, определяемые как ошибки, которые в среднем равны 0, поскольку число измерений уходит в бесконечность, и что ошибка в равной степени может быть положительной или отрицательной. Это требует только симметричного распределения вероятностей около нуля.

Существуют распределения, которые имеют одинаковый вес на положительной и отрицательной стороне, но являются не симметричными. Пример: $$ P(x) = \left\{ \begin{array}{ll} 1/2 & x=1 \\ 1/4 & x=-1 \\ 1/4 & x=-2 \, . \end{array}\right.$$

Однако, вводя этот вопрос в Google, я не нашел ни одного источника, который бы предполагал, что случайные ошибки могут быть чем-то отличным от гауссовского. Почему случайные ошибки должны быть гауссовыми?

Тот факт, что найти ссылки на негауссовские случайные ошибки непросто, не означает, что все случайные ошибки являются гауссовыми: -)

Как упоминалось в других ответах, многие распределения в Природе являются гауссовыми из-за центральной предельной теоремы. Центральная предельная теорема гласит, что с учетом случайной величины $x$, распределенной по функции $X(x)$, , если $X(x)$ имеет конечный второй момент, то с другой случайной величиной $y$, определенной как среднее значение много экземпляров $x$, т.е. $$y \equiv \frac{1}{N} \sum_{i=1}^N x_i \, ,$$ распределение $Y(y)$ является гауссовым.

Дело в том, что многие физические процессы являются суммами меньших процессов. Например, флуктуирующее напряжение на резисторе является суммой вкладов напряжения от множества отдельных электронов. Поэтому, когда вы измеряете напряжение, вы получаете базовое «статическое» значение плюс некоторую случайную ошибку, создаваемую зашумленными электронами, которая из-за центральной предельной теоремы распределена по Гауссу. Другими словами, гауссовские распределения очень распространены , потому что так много случайных вещей в Природе происходят из суммы множества небольших вкладов .

Тем не менее,

  1. Есть много случаев, когда составляющие базового механизма ошибок имеют распределение, которое не имеет конечный второй момент; распределение Коши является наиболее распространенным примером.

  2. Есть также много случаев, когда ошибка просто не является суммой многих небольших базовых вкладов.

Любой из этих случаев приводит к негауссовым ошибкам.

$[a]$: см. это другое сообщение о стеке .

14 голосов
/

Возможно, причина в центральной предельной теореме : когда вы добавляете много независимых случайных величин, их сумма будет формировать нормальное распределение, независимо от их индивидуальных распределений вероятностей. Это делает нормальные распределения довольно хорошим предположением, если у вас нет информации о происхождении ошибки или если у вас есть несколько источников ошибок. Кроме того, нормальные распределения часто встречаются в реальных процессах.

11 голосов
/

Ответы здесь обычно касаются другого вопроса о том, должны ли эмпирические переменные быть гауссовыми, но 21joanna12 задала вопрос об экспериментальных ошибках, которые допускают совершенно иной анализ. Лучший ресурс по этому вопросу, который я могу порекомендовать, - глава 7 Теория вероятностей: логика науки Э. Т. Джейнса. Короче говоря, есть веские причины, по которым ошибки являются гауссовыми (хотя и не всегда):

  • Sec. 7.2 рассматривается вывод Гершеля-Максвелла , который показывает, что векторная ошибка размерности $\ge 2$ с некоррелированными ошибками в ортогональных декартовых компонентах и ​​сферически-симметричное распределение должны иметь модуль Гаусса. (Ну, на самом деле книга только явно проверяет $2$ -мерный случай, но аргумент легко расширяется.)
  • Sec. 7.3 рассматривает вывод Гаусса , который показывает, что распределение Гаусса является единственным способом для MLE параметра местоположения быть равным среднему арифметическому данных. Обозначения предполагают $1$ -мерные данные, но я думаю, что аргумент обобщается при условии, что декартовы координаты ошибки не коррелированы.
  • Sec. 7.5 рассматривает вывод Ландау , который представляет аргумент ряда Тейлора, что 1D ошибка $e$ конечной дисперсии и нулевого среднего имеет pdf, скажем $p$, удовлетворяющий уравнению диффузии $\partial_{\sigma^2}p=\frac{1}{2}\partial_e^2 p$ с $\sigma^2$ параметр дисперсии. Требование, что $\sigma^2=0\implies e=0$ подразумевает, что решение является гауссовым.
  • Sec. 7.9 показывает, что без предварительной информации распределение одномерной ошибки имеет следующее свойство, если оно гауссово: уникальный выбор $w_i\ge 0$ с $\sum_i w_i=1$, который минимизирует дисперсию оценки $\sum_i w_i x_i$ среднего значения выборки, с $x_i$ наши $n$ эмпирические данные $w_i=n^{-1}$.
  • Связанный с этим вопрос, обсуждаемый в гл. 7.11 состоит в том, что ошибка заданного конечного среднего значения и дисперсии максимизирует ее энтропию с учетом этой информации, если ее распределение является гауссовым. Джейнс утверждает, что любая модель, не максимизирующая энтропию, преувеличивает, насколько мы можем сделать выводы из наших ограниченных знаний.

Однако короткая сек. 7.12 (который я воспроизвожу полностью) приводит примеры, где мы не ожидаем ошибок Гаусса:

Как только мы поймем причины успеха гауссовского вывода, мы также сможем увидеть очень редкие особые обстоятельства, когда другое распределение выборки будет лучше отражать наше состояние знаний. Например, если мы знаем, что ошибки генерируются неизбежным и неконтролируемым вращением какого-либо небольшого объекта, таким образом, что когда он находится под углом $\theta$, ошибка равна $e=\alpha\cos\theta$, но фактический угол неизвестен, небольшой анализ показывает, что предшествующее присвоение вероятности $p(e|t)=(\pi\sqrt{\alpha^2-e^2})^{-1},\,e^2<\alpha^2$</span> правильно описывает наше состояние знаний об ошибке. Поэтому его следует использовать вместо гауссовского распределения; поскольку он имеет четкую верхнюю границу, он может дать заметно лучшие оценки, чем гауссовские - даже если $\alpha$ неизвестно и поэтому должен оцениваться по данным (или, возможно, это интересующий параметр для оценки).

Или, если известно, что ошибка имеет вид $e = \alpha\tan\theta$, но $\theta$ неизвестно, мы обнаруживаем, что предшествующей вероятностью является распределение Коши $p(e|I) = \pi^{−1}\alpha/(\alpha^2 + e^2)$. Хотя этот случай редок, мы найдем поучительное упражнение для анализа вывода с помощью выборки Коши распределение, потому что качественно разные вещи могут произойти. Православие рассматривает это как «патологический, исключительный случай», как выразился один из судей, но оно не вызывает затруднений в байесовском анализе, что позволяет нам понять его.

Обратите внимание, что в этих примерах используются те же байесовские методы, что и в гл. 7,11.

7 голосов
/

Различные ответы появляются здесь; Я добавлю кое-что, что еще не здесь.

Во-первых, для того, чтобы случайные ошибки имели ожидаемое значение $0$ и с одинаковой вероятностью были бы положительными или отрицательными, не необходимо, чтобы их распределение было симметричным относительно $0.$ Легко найти лоты контрпримеров к этому.

Теперь предположим, $$ Y_i = \alpha_0 + \alpha_1 x_{1,i} + \cdots + \alpha_p x_{p,i} + \varepsilon_i \text{ for } i=1,\ldots,n. $$ Мы предполагаем

  • Ошибки $\varepsilon_i$ случайны; условия $\alpha_0 + \alpha_1 x_{1,i} + \cdots + \alpha_p x_{p,i}$ не являются. «Случайный» в действительности означает, что каждый раз, когда вы берете новую выборку $(Y_1,\ldots,Y_n)$, ошибки $n$ меняются независимо от того, что было для предыдущих выборок $n$ наблюдений. Но $n\times p$ числа $x_{1,i},\ldots,x_{p,i}$ для $i=1,\ldots,n$ не меняются; следовательно не случайны.

  • Ожидаемое значение каждой ошибки: $0.$

  • Все ошибки имеют одинаковую дисперсию $\sigma^2.$
  • Ошибки не связаны друг с другом.

Вот некоторые вещи, которые мы делаем не предположим:

  • Мы не предполагаем, что ошибки нормально распределены, или, если хотите, «гауссовски».
  • Мы не предполагаем, что все ошибки имеют одинаковое распределение.
  • Мы не предполагаем, что ошибки независимы. Некоррелированность - более слабое предположение.

Обратите внимание, что оценка наименьших квадратов $\widehat\alpha_k$ из $\alpha_k$ является линейной комбинацией $$c_1 Y_1+\cdots + c_n Y_n, \tag 1$$, где коэффициенты $c_1,\ldots,c_n$ зависят от $n\times p$ чисел $x_{1,i},\ldots,x_{p,i}$ для $i=1,\ldots,n.$

Исходя из этих допущений, мы можем показать, что среди всех линейных комбинаций $(1)$, которые являются несмещенными оценками $\alpha_k,$, с наименьшей среднеквадратичной ошибкой оценки является та, которая дает оценки наименьших квадратов.

Это теорема Гаусса - Маркова.

Таким образом, нам не нужно распределение Гаусса, чтобы получить этот вывод.

7 голосов
/

Существует множество примеров физических явлений, которые, по-видимому, регулируются негауссовой статистикой. Например, распределение Леви возникает при многократном рассеянии света в мутных средах, где длина пути фотонов следует этому распределению.

Я думаю, что в любое время, когда у вас есть редкие, но важные события, вы увидите негауссовскую статистику, такую ​​как с распределением солнечных пятен, временем между геомагнитными инверсиями и т. Д. Гауссовский метод хорош, поскольку он приводит к относительно легкой аналитической расчеты (в дополнение к уже приведенным причинам). В динамических системах межуровневые интервалы энергии определяются (универсально) статистикой Пуассона для случая нехаотических систем по сравнению со статистикой типа Вигнера для хаотических систем.

Все поле полетов Леви огромно. Особенно в лазерном охлаждении. Эта книга великолепна: Статистика Леви и лазерное охлаждение: как редкие события приводят атомы в состояние покоя

3 голосов
/

Гауссовы распределения часто являются приближениями, которые работают достаточно хорошо. С положительной стороны, их медиана, среднее значение и режимы одинаковы по симметрии, а алгоритмы для нахождения дисперсии и всех других существенных деталей достаточно просты для старшеклассников, студентов и менее ориентированных на математику ученых.

С другой стороны, областью распределения Гаусса являются все числа. Это проблематично, если учесть, что во многих экспериментах невозможно получить значения за пределами определенного диапазона - отрицательные значения с абсолютными единицами (высоты, площади, времени, температуры и т. Д.), А также эффективность и другие значения без единиц измерения за пределами $[0,1]$ часто абсурдны. У гауссов также нет механизма, объясняющего асимметрию или эксцесс . Нам сходит с рук, потому что дисперсия часто достаточно низкая, чтобы эти проблемы не влияли на более крупные выводы.

Случайные ошибки обычно не описываются гауссовским распределением, но часто достаточно хороши.

0 голосов
/

Ошибки квантования являются распространенным практическим примером равномерно распределенной случайной ошибки.

Например, у вас есть цифровая шкала, которая считывает с точностью до 0,1 грамма. Вы кладете в него 2,5376 грамма порошка, и на нем написано «2,5». Затем вы кладете 3,6264 грамма порошка, и на нем написано «3,6». И так далее. Ваши показания имеют ошибку, которая в данном случае является равномерно распределенным случайным числом от -0,05 до +0,05 каждый раз. Конечно, это не буквально случайный случай - это детерминированная функция ввода, но во многих случаях его можно рассматривать как случайный.

(Конечно, как всегда, когда вы усредняете много ошибок квантования, он приближается к гауссовской по центральной предельной теореме.)

Добро пожаловать на сайт физиков.нет, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...