Что такое выборка в математической статистике

17.04.202226.04.2022 admin 0 Comments

Элементы математической статистики. Выборочный метод

Генеральная и выборочная совокупности. Статистические распределения выборок. Кумулята и ее свойства. Гистограмма и полигон статистических распределений. Числовые характеристики: выборочная средняя; дисперсия выборки; среднеквадратическое отклонение; мода и медиана для дискретных и интервальных статистических распределений выборки; эмпирические начальные и центральные моменты, асимметрия и эксцесс.

Установление закономерностей, которым подчинены массовые случайные явления, основано на изучении статистических данных — результатах наблюдений. Первая задача математической статистики — указать способы сбора и группировки (если данных очень много) статистических сведений. Вторая задача математической статистики — разработать методы анализа статистических данных в зависимости от цели исследования. Изучение тех или иных явлений методами математической статистики служит средством решения многих вопросов, выдвигаемых наукой и практикой (правильная организация технологического процесса, наиболее целесообразное планирование и др.).

Итак, задача математической статистики состоит в создании методов сбора и обработки статистических данных для получения научных и практических выводов.

Генеральная и выборочная совокупности

Пусть требуется изучить совокупность однородных объектов относительно некоторого качественного или количественного признака, характеризующего эти объекты. Например, для партии деталей качественным признаком может служить стандартность детали, а количественным — контролируемый размер детали. Иногда проводят сплошное обследование, т. е. обследуют каждый из объектов совокупности относительно признака, которым интересуются. На практике, однако, сплошное обследование применяется сравнительно редко. Например, если совокупность содержит большое число объектов, то провести сплошное обследование физически невозможно. Если обследование объекта связано с его уничтожением или требует больших материальных затрат, то случайным образом отбирают из всей совокупности ограниченное число объектов и подвергают их изучению.

Генеральной совокупностью называют совокупность объектов, из которых проводится выборка.

Объемом совокупности (выборочной или генеральной) называют число объектов этой совокупности.

Часто генеральная совокупность содержит конечное число объектов. Однако если это число достаточно велико, то иногда для упрощения вычислений или для облегчения теоретических выводов, допускают, что генеральная совокупность состоит из бесчисленного множества объектов. Такое допущение оправдывается тем, что увеличение объема генеральной совокупности (достаточно большого объема) практически не сказывается на результатах обработки данных выборки.

Статистические распределения выборок

Пример 1. Уровень рентабельности предприятий легкой промышленности характеризуется следующими данными.

где — относительная частота варианты или интервала соответственно первой, второй и т. д.

Сумма всех относительных частот равна единице:

Относительные частоты можно выражать и в процентах (тогда их сумма равна 100%).

Так, если в совокупности 200 единиц, наибольший вариант равен 49,961, а наименьший — 49,918, то

Следовательно, в данном случае оптимальной величиной интервала может служить 0,005.

Гистограмма и полигон статистических распределений. Кумулята

Для наглядного представления вариационного ряда большое значение имеют его графические изображения. Графически вариационный ряд может быть изображен в виде полигона, гистограммы и кумуляты.

Полигон распределения (дословно — многоугольник распределения) строится в прямоугольной системе координат. Величина признака откладывается на оси абсцисс, частоты или относительные частоты — по оси ординат. Чаще всего полигоны применяются для изображения дискретных вариационных рядов, но их можно применять также для интервальных рядов. В этом случае на оси абсцисс откладываются точки, соответствующие серединам данных интервалов.

Гистограмма распределения строится аналогично полигону в прямоугольной системе координат. В отличие от полигона при построении гистограммы на оси абсцисс выбирают не точки, а отрезки, изображающие интервал, а вместо ординат, соответствующих частотам или относительным частотам отдельных вариант, строят прямоугольники с высотой, пропорциональной частотам или относительным частотам интервала. В случае интервалов различной длины гистограмма распределения строится, не по частотам или относительным частотам, а по плотности интервалов (абсолютной или относительной). При этом общая площадь гистограммы равна численности совокупности, если построение проводится по абсолютной плотности, или единице, если гистограмма построена по относительной плотности.

Если соединить прямыми линиями середины верхних сторон прямоугольников, то получим полигоны распределения.

Разбивая интервалы на несколько частей и исходя из того, что вся — площадь гистограммы должна остаться при этом неизменной, можно получить мелкоступенчатую гистограмму, которая при уменьшении величины интервала будет приближаться к плавной кривой, называемой кривой распределения.

Пример 2. По данным примера и построить полигон распределения и гистограмму.

Решение см. на рисунке 28.

Кумулятивная кривая (кривая сумм — кумулята) получается при изображении вариационного ряда с накопленными частотами или относительными частотами в прямоугольной системе координат, Накопленная частота определенной варианты получается суммированием всех частот вариант, предшествующих данной, с частотой этой варианты. При построении кумуляты дискретного признака по оси абсцисс откладывают значения признака (варианты), Ординатами служат вертикальные отрезки, длина которых пропорциональна накопленной частоте или относительной частоте той или иной варианты. Соединением вершин ординат прямыми линиями получаем ломаную (кривую) кумуляту.

При построении кумуляты интервального вариационного ряда нижней границе первого интервала соответствует частота, равная нулю, а верхней — вся частота интервала. Верхней границе второго интервала соответствует накопленная частота первых двух интервалов (т. е. сумма частот этих интервалов) и т. д. Верхней границе последнего (максимального) интервала соответствует накопленная частота, равная сумме всех частот.

Пример 3. По данным примера 1 построить кумуляту распределения.

Решение cм. на рисунке 29.

Числовые характеристики выборки

Для характеристики вариационного ряда один из перечисленных типов средних выбирается не произвольно, а в зависимости от особенностей изучаемого явления и цели, для которой среднее исчисляется.

Практически при выборе того или иного типа средней следует исходить из принципа осмысленности результата при суммировании или при взвешивании. Только тогда средняя применена правильно, когда в результате взвешивания или суммирования получаются величины, имеющие реальный смысл.

Обычно затруднения при выборе типа средней возникают лишь в использовании средней арифметической, или гармонической. Что же касается геометрической и квадратической средних, то их применение обусловлено особыми случаями (см. далее).

Следует иметь в виду, что средняя только в том случае является обобщающей характеристикой, если она применяется к однородной совокупности. В’ случае использования средней для неоднородных совокупностей можно прийти к неверным выводам. Научной основой статистического анализа является метод статистических группировок, т. е. расчленения совокупности на качественно однородные группы.

При наличии соответствующих частот средняя рассчитывается по формуле взвешенной степенной средней:

Здесь — степенная средняя; — показатель степени, определяющий тип средней; — варианты, — частоты или статистические веса вариантов.

Средняя арифметическая получается из формулы степенной средней при подстановке :

Средняя гармоническая получается при подстановке в формулу степенной средней значения :

Средняя квадратическая получается из формулы степенной средней при подстановке :

Средняя квадратическая используется только тогда, когда варианты представляют собой отклонения фактических величин от их средней арифметической или от заданной нормы.

Средняя геометрическая получается из формулы степенной средней при предельном переходе :

Вычисления средней геометрической в значительной мере упрощаются применением логарифмирования:

Таким образом, логарифм средней геометрической есть средняя арифметическая из логарифмов вариантов. Средняя геометрическая используется главным образом при изучении динамики. Средние коэффициенты и темпы роста рассчитывают по формулам средней геометрической.

Если вычислить различные типы средних для одного и того же вариационного ряда, то числовые их значения будут различаться. При этом средние по своей величине расположатся в определенном порядке. Наименьшей из перечисленных средних окажется средняя гармоническая, затем геометрическая и т. д., наибольшей будет средняя квадратическая. При этом порядок возрастания средних определяется показателем степени z в формуле степенной средней. Так, при получаем среднюю гармоническую, при — геометрическую, при — арифметическую, при — квадратическую:

При расчете медианы интервального вариационного ряда сначала находят интервал, содержащий медиану, путем использования накопленных или относительных частот. Медианному интервалу соответствует первая из накопленных или относительных частот, превышающая половину всего объема совокупности. Для нахождения медианы при постоянстве плотности внутри интервала, содержащего медиану, используют формулу

где — нижняя граница медианного интервала; — величина медианного интервала; — накопленная частота интервала, предшествующего медианному; –частота медианного интервала.

Медиану можно определить также графически по кумуляте. Для этого последнюю ординату, пропорциональную сумме всех частот или относительных частот, делят пополам. Из полученной точки восстанавливают перпендикуляр до пересечения с кумулятой. Абсцисса точки пересечения — значение медианы (см. рис. 29).
Медиана обладает таким свойством: сумма абсолютных величин отклонений вариантов от медианы меньше, чем от любой другой величины (в том числе и от средней арифметической):

Это свойство медианы можно использовать при проектировании расположения трамвайных и троллейбусных остановок, бензоколонок и т. д.

Пример 4. На шоссе длиной 100 км имеется 10 гаражей. Для проектирования строительства бензоколонки были собраны данные о числе предполагаемых поездок на заправку с каждого гаража. Результаты обследования приведены в таблице.

Бензоколонку нужно поставить так, чтобы общий пробег машин на заправку был наименьшим.

Вариант 1. Если бензоколонку поставить на середине шоссе, т. е. на 50-м километре (средняя арифметическая), то пробеги с учетом числа поездок составят:

в одном направлении

Общий пробег в оба направления окажется равным 5390 км.

Вариант 2. Уменьшения пробега можно достичь, если бензоколонку поставить на 63,85-м километре, т. е. на среднем участке шоссе с учетом числа поездок (средняя арифметическая взвешенная). В этом случае пробеги составят по 2475,75 км в оба направления, т. е. общий пробег составит 4951,5 км и окажется меньше, чем при первом варианте, на 438,5 км.

Вариант 3. Наилучший результат, т. е. минимальный общий пробег, получим, если поставим бензоколонку на 78-м километре, что будет соответствовать медиане. Тогда пробеги составят 3820 км и 990 км. Общий пробег равен 4810 км, т. е. он оказался меньше, общих пробегов, рассчитанных по предыдущим вариантам.

Модой называется варианта, наиболее часто встречающаяся в данном вариационном ряду. Для дискретного ряда мода, являющаяся характеристикой вариационного ряда, определяется по частотам вариант и соответствует варианте с наибольшей частотой. В случае интервального распределения с равными интервалами модальный интервал (т. е. содержащий моду) определяется по наибольшей частоте, а при неравных интервалах — по наибольшей плотности. Мода рассчитывается по формуле

где — нижняя граница модального интервала; — величина модального интервала; — частота модального интервала; частота интервала, предшествующего модальному; — частота интервала, следующего за модальным.

Вариационные ряды, в которых частоты вариант, равноотстоящих от средней, равны между собой, называются симметричными. Особенность симметричных вариационных рядов состоит в равенстве трех характеристик — средней арифметической, моды и медианы:

(это необходимое условие симметричности вариационного ряда, но не достаточное).

Средние величины, характеризуя вариационный ряд одним числом, не учитывают вариацию признака, между тем эта вариация существует. Для измерения вариации признака в математической статистике применяют ряд способов.

Вариационный размах представляет собой величину неустойчивую, чрезвычайно зависящую от случайных обстоятельств; применяется для приблизительной оценки вариации.

Средняя из k-х степеней отклонений вариант от некоторой постоянной величины называется моментом k-го порядка :

В зависимости от выбора постоянной величины различают следующие моменты.

Тогда при получаем начальный момент нулевого порядка:

при получаем начальный момент первого порядка:

при получаем начальный момент второго порядка:

при получаем начальный момент третьего порядка:

при получаем начальный момент четвёртого порядка:

и т.д. Практически используют моменты первых четырёх порядков.

то есть центральный момент нулевого порядка, равный единице;

то есть центральный момент первого порядка равен нулю;

то есть центральный момент первого порядка равен дисперсии и служит мерой колеблемости признака;

Если распределение симметрично, то ;

получаем центральный момент четвёртого порядка.

Коэффициентом асимметрии называется отношение центрального момента третьего порядка к кубу среднеквадратического отклонения:

Эксцессом называется уменьшенное на три единицы отношение центрального момента четвёртого порядка к четвёртой степени среднеквадратического отклонения:

Источник

Конспект курса «Основы статистики»

1. Введение

Способы формирования репрезентативной выборки:

Простая случайная выборка (simple random sample)

Стратифицированная выборка (stratified sample)

Групповая выборка (cluster sample)

Типы переменных:

непрерывные (рост в мм)

дискретные (количество публикаций у учёного)

Ранговые (успеваемость студентов)

Гистограмма частот:

Позволяет сделать первое впечатление о форме распределения некоторого количественного признака.

Описательные статистики:

Меры центральной тенденции (узкий диапазон, высокие значения признака):

( используется для среднего значения из выборки, а для генеральной совокупности латинская буква )

Свойства среднего:

Если к каждому значению выборки прибавить определённое число, то и среднее значение увеличится на это число.

Если для каждого значения выборки, рассчитать такой показатель как его отклонение от среднего арифметического, то сумма этих отклонений будет равняться нулю.

Меры изменчивости (широкий диапазон, вариативность признака):

При добавлении сильно отличающегося значения данные меняются сильно и могут быть некорректные.

Дисперсия генеральной совокупности:

(среднеквадратическое отклонение генеральной совокупности)

(среднеквадратическое отклонение выборки)

Свойства дисперсии:

Квартили распределения и график box-plot

Нормальное распределение

Отклонения наблюдений от среднего подчиняются определённому вероятностному закону.

Стандартизация

Правило «двух» и «трёх» сигм

Центральная предельная теорема

Есть признак, распределенный КАК УГОДНО* с некоторым средним и некоторым стандартным отклонением. Тогда, если выбирать из этой совокупности выборки объема n, то их средние тоже будут распределены нормально со средним равным среднему признака в ГС и стандартным отклонением .

30″ alt=»SE = \frac<\sqrt>, n>30″ src=»https://habrastorage.org/getpro/habr/upload_files/20c/135/3bc/20c1353bcfedf2ff8851752cf7f49f37.svg»/>

Доверительные интервалы для среднего

Доверительный интервал является показателем точности измерений. Это также показатель того, насколько стабильна полученная величина, то есть насколько близкую величину (к первоначальной величине) вы получите при повторении измерений (эксперимента).

Идея статистического вывода

2. Сравнение средних

T-распределение

Если число наблюдений невелико и \sigma неизвестно (почти всегда), используется распределение Стьюдента (t-distribution).

Унимодально и симметрично, но: наблюдения с большей вероятностью попадают за пределы от

«Форма» распределения определяется числом степеней свободы ().

С увеличением числа распределение стремится к нормальному.

t-распределение используется не потому что у нас маленькие выборки, а потому что мы не знаем стандартное отклонение в генеральной совокупности.

Сравнение двух средних; t-критерий Стьюдента

Критерий, который позволяет сравнивать средние значения двух выборок между собой, называется t-критерий Стьюдента.

Условия для корректности использования t-критерия Стьюдента:

Две независимые группы

Формула стандартной ошибки среднего:

Формула числа степеней свободы:

Формула t-критерия Стьюдента:

Переход к p-критерию:

Проверка распределения на нормальность, QQ-Plot

Однофакторный дисперсионный анализ

Часто в исследованиях необходимо сравнить несколько групп между собой. В таком случае применятся однофакторный дисперсионный анализ.

Группы:

Нулевая гипотеза:

Альтернативная гипотеза:

Среднее значение всех наблюдений:

Общая сумма квадратов (Total sum of sqares):

Показатель, который характеризует насколько высока изменчивость данных, без учёта разделения их на группы.

Число степеней свободы:

— Межгрупповая сумма квадратов (Sum of sqares between groups)

— Внутригрупповая сумма квадратов (Sum of sqares within groups)

F-значение (основной статистический показатель дисперсионного анализа):

При делении значения межгрупповой суммы квадратов на число степеней свободы, полученный показатель усредняется.

Поэтому формула F-значения часто записывается:

Множественные сравнения в ANOVA

Проблема множественных сравнений:

Поправка Бонферрони

Самый простой (и консервативный) метод: P-значения умножаются на число выполненных сравнений.

Критерий Тьюки

Критерий Тьюки используется для проверки нулевой гипотезы против альтернативной гипотезы , где индексы и обозначают любые две сравниваемые группы.

Указанные сравнения выполняются при помощи критерия Тьюки, который представляет собой модифицированный критерий Стьюдента:

где — рассчитываемая в ходе дисперсионного анализа внутригрупповая дисперсия.

Многофакторный ANOVA

При применении двухфакторного дисперсионного анализа исследователь проверяет влияние двух независимых переменных (факторов) на зависимую переменную. Может быть изучен также эффект взаимодействия двух переменных.

Исследуемые группы называют эффектами обработки. Схема двухфакторного дисперсионного анализа имеет несколько нулевых гипотез: одна для каждой независимой переменной и одна для взаимодействия.

Условия применения двухмерного дисперсионного анализа:

Генеральные совокупности, из которых извлечены выборки, должны быть нормально распределены.

Выборки должны быть независимыми.

Дисперсии генеральных совокупностей, из которых извлекались выборки, должны быть равными.

Группы должны иметь одинаковый объем выборки.

АБ тесты и статистика

3. Корреляция и регрессия

Понятие корреляции

Коэффициент корреляции – это статистическая мера, которая вычисляет силу связи между относительными движениями двух переменных.

Принимает значения [-1, 1]

— показатель силы и направления взаимосвязи двух количественных переменных.

Знак коэффициента корреляции показывает направление взаимосвязи.

Коэффициент детерминации

— показывает, в какой степени дисперсия одной переменной обусловлена влиянием другой переменной.

Равен квадрату коэффициента корреляции.

Принимает значения [0, 1]

Условия применения коэффициента корреляции

Для применения коэффициента корреляции Пирсона, необходимо соблюдать следующие условия:

Сравниваемые переменные должны быть получены в интервальной шкале или шкале отношений.

Распределения переменных и должны быть близки к нормальному.

Число варьирующих признаков в сравниваемых переменных и должно быть одинаковым.

Коэффициент корреляции Спирмена

Регрессия с одной независимой переменной

Уравнение прямой:

— (intersept) отвечает за то, где прямая пересекает ось y.

— (slope) отвечает за направление и угол наклона, образованный с осью x.

Метод наименьших квадратов

Формула нахождения остатка:

— остаток

— реальное значение

— значение, которое предсказывает регрессионная прямая

Сумма квадратов всех остатков:

Параметры линейной регрессии:

Гипотеза о значимости взаимосвязи и коэффициент детерминации

Коэффициенты линейной регрессии

Коэффициенты регрессии (β) — это коэффициенты, которые рассчитываются в результате выполнения регрессионного анализа. Вычисляются величины для каждой независимой переменной, которые представляют силу и тип взаимосвязи независимой переменной по отношению к зависимой.