Определение базовых статистических показателей с помощью статистических программ

Большинство статистических методов и процедур, рассматриваемых в данной книге, реализованы в специализированных программных продуктах. Существует довольно широкий спектр статистических программ, в том числе SPSS, STATISTICAL, SAS, PSPP, R. Эти программы не являются взаимоисключающими или, наоборот, взаимодополняющими. Область их функционального пересечения очень широка, и большинство процедур, реализованных в одном пакете, имеется и в другом. Однако каждая из этих программ имеет свои особенности, которые делают решение одних задач более удобным с помощью той или другой программы. Например, выходные формы SPSS более удобны для анализа и интеграции в исследовательские отчеты, а пакет STATISTICA по некоторым видам задач (например, анализ временных рядов) предоставляет возможность сделать более развернутый анализ. В ряде случаев в этих пакетах используются различные варианты реализации некоторых статистических методов.

При изложении материала, связанного с использованием статистических пакетов при математико-статистическом моделировании социально-экономических процессов, в этой книге основное внимание уделено PSPP и R.

Эти программные продукты выбраны, поскольку они общедоступны и бесплатны благодаря так называемой свободной лицензии. Из-за доступности и достаточно широкой функциональности они получают все более широкое распространение (особенно R) в образовательной и профессиональной сфере. Пакет PSPP, кроме того, — это бесплатный аналог одного из самых известных статистических пакетов SPSS, хотя и обладает более ограниченным функционалом.

Помимо специальных статистических пакетов, в книге приводится описание возможности использования основных статистических функций MS Excel, которые могут быть применены для решения относительно простых задач статистического анализа.

В данном параграфе мы опишем основные процедуры работы с программами PSPP и R для определения таких базовых (элементарных) статистик, как среднее значение, стандартное отклонение, доверительный интервал и др. Параграф является в определенной степени введением в работу с этими статистическими пакетами, поэтому читатель, знакомый с основами работы с этими программами, может пропустить этот параграф без ущерба для понимания дальнейшего материала, изложенного в книге.

Пакет PSPP доступен по ссылке http://www.gnu.org/software/pspp/ get. html, а пакет R — по ссылке http://www.r-project.org. С программой R удобнее работать через надстройку R-Studio, доступную по ссылке http:// www.rstudio.com.

Описание процедуры расчета элементарных статистик мы предварим общими сведениями о структуре данных и переменных, с которыми работают указанные пакеты. Мы делаем это для облегчения процесса освоения их теми читателями, которые не имеют даже первоначального опыта работы с этими статистическими пакетами.

Пример 7.21. Структуры данных и переменные, с которыми работает пакет.

PSPP.

Решение в PSPP и SPSS

Исходные данные для обработки могут быть введены в PSPP несколькими способами: путем набора данных в таблице PSPP, копированием данных из других приложений, например MS Excel (используются стандартные команды Сору — Paste), открытием файла с данными, конвертированием данных из файлов других форматов и др. После введения данных рекомендуется определить переменные в соответствии со структурой массива данных и их особенностями. Это можно осуществить, перейдя с вкладки Data View на вкладку Variable View (это также можно сделать, дважды щелкнув левой кнопкой мыши на заголовке выбранного столбца). Далее в соответствующих полях можно задать или изменить имя переменной, ее тин, шкалу измерения, формат представления, метку переменной.

По умолчанию каждая переменная имеет имя, состоящее из букв var и пяти цифр (1, 2 и т. д.). При изменении имени необходимо соблюдать следующие правила:

• • имя должно начинаться с буквы;
• • в нерусифицировапных версиях PSPP не рекомендуется использовать кириллицу (по крайней мере при определении переменных), хотя во многих случаях это не вызывает проблем;
• • допускается использование цифр и некоторых специальных символов («_», «.», «$» и ряда других).

По умолчанию новая переменная является числовой. Тип и формат переменной можно изменить, щелкнув по правому краю поля Туре. Здесь можно изменить тип десятичного разделителя (точка или запятая), число десятичных знаков, задать параметры переменной в денежном и других форматах и т. д.

Для улучшения идентификации переменных можно и полезно ввести метку (label) для используемых переменных. Метки применяются при формировании различных выходных форм и играют роль краткого содержательного описания. Например, в качестве метки можно использовать расширенное название изучаемого признака (фактора), а также математическое или логическое выражение, которое применяется для вычисления переменной. При анализе данных метка оказывается очень полезной, так как она позволяет лучше ориентироваться в файле данных.

При сборе данных редко удастся избежать отсутствия ряда показателей (измерений) по некоторым наблюдениям (объектам). При использовании многих статистических процедур, прежде всего связанных с анализом одной переменной, это не приводит к сколько-нибудь серьезным осложнениям: просто уменьшается число используемых наблюдений. Однако применение некоторых операций, например вычисление коэффициента корреляции, создает проблемы, так как отсутствие хотя бы одного значения в наблюдении исключает его из дальнейшего анализа. Для обозначения отсутствующих данных в PSPP используется специальный символ (,). Пользователь пакета может определить и другой код для пропущенных данных. Исследователь также может сам указать, что те или иные данные следует считать пропущенными. Например, все значения, лежащие в определенном интервале, указанном пользователем, будут считаться пропущенными (Range of missing values). Можно задать фиксированные значения переменной (до трех значений), которые будут считаться пропущенными (Discrete missing values). Также можно задать комбинацию интервала и фиксированного значения (Range plus one discrete missing value). Все эти варианты доступны в диалоговом окне Missing Values после щелчка мышью по правому краю поля Missing. По умолчанию установлена опция None, т. е. все значения переменной считаются допустимыми для обработки.

Иногда исследователь предпочитает ограничить анализ имеющихся данных определенным подмножеством, с которым и проводятся желаемые статистические процедуры. Для этого можно воспользоваться командой Select Cases из основного меню Data. В диалоговом окне Select Cases можно определить условия отбора наблюдений. Здесь можно задать несколько режимов отбора:

• • All cases — все элементы выборки используются для анализа (установлено, но умолчанию);
• • Random sample of cases — из имеющихся данных случайным образом формируется подвыборка (задается определенный процент элементов выборки либо фиксированное число элементов);
• • Based on time or case range — подмножество данных определяется указанием диапазона изменений номеров наблюдений (элементов исходной выборки);
• • Use filter variable — подмножество данных формируется на основе задаваемой маски (фильтра). Маска может представлять собой отдельную переменную, включающую такое же количество элементов, что и исходный набор наблюдений. В подмножество данных отбираются те наблюдения, для которых элемент в фильтре имеет ненулевое значение.

Элементы исходной выборки, не попавшие в подмножество, не используются в дальнейших вычислениях, но сохраняются в исходном файле данных. Необрабатываемые наблюдения легко отличить, так как, во-первых, соответствующий им помер строки перечеркнут, а во-вторых, к массиву данных добавляется новая переменная-фильтр со значениями Selected^ 1) и NotSelected (Q) соответственно для элементов, вошедших или не вошедших в подмножество. Данная операция действует только в пределах текущего сеанса работы. При повторной загрузке файла вновь становится доступной вся исходная выборка. Переменная-фильтр при этом сохраняется, но она оказывается нс активна (для се активизации можно использовать режим Use f ilter variable). В случае необходимости можно удалить все элементы, нс попавшие в анализируемую подгруппу. Для этого достаточно выделить в поле Unselected Cases Are режим Deleted. Однако это делать не рекомендуется, так как в процессе анализа приходится часто изменять или переконфигурировать исходный набор данных.

Рассмотрим процедуру вычисления базовых статистических показателей в PSPP. В основном меню Analyze выбирается опция Descriptive Statistics, затем — Frequencies. Из левого поля нужно выбрать переменную (или переменные) для обработки и перенести их в поле Variable{s). В окне Statistics нужно отметить необходимые статистические показатели для расчетов, например:

Mean — среднее значение;

Standard Deviation — стандартное отклонение;

Variance — дисперсия;

Standard error of mean — стандартная ошибка среднего;

Minimum, maximum — минимальное и максимальное значения выборки;

Range — размах (разность максимального и минимального значений);

Median — медиана;

Mode — мода.

Для построения гистограммы частот и линии нормального распределения в окне Frequencies необходимо нажать кнопку Charts и выбрать Histogram и Draw histogram, Superimpose normal curve.

Базовые статистические показатели можно также определить с помощью опции Analyze — Descriptive Statistics — Descriptives. В этом случае также можно преобразовать исходные данные в стандартную z-шкалу со средним арифметическим, равным нулю, и стандартным отклонением, равным единице (для этого необходимо отметить Save Z-sores).

Аналогично можно использовать опцию Analyze — Descriptive Statistics — Explore. В соответствующем диалоговом окне нужно нажать на кнопку Statistics и выбрать Descriptives. В этом случае кроме базовых статистических показателей дополнительно определяется 95%-ный доверительный интервал для среднего значения (95% confidence limits of mean).

Нормальность распределения в PSPP можно проверить с помощью теста Колмогорова — Смирнова {Kolmogorov-Smirnov test): Analyze — Non-Parametric Statistics — 1-Sample K-S; Test Distribution — Normal. Если уровень значимости, отражаемый Asymp. Sig. (Significance), больше критического значения (0,1; 0,05; 0,01), то можно считать, что вид анализируемого выборочного распределения существенно не отличается от нормального.

Для проверки статистических гипотез с помощью^{-критерия} Стыодента в меню Analyze нужно выбрать Compare Means, затем — One-Sample Т Test (для одновыборочного критерия), Independent Samples Т Test (для двух независимых выборок) или Paired Samples TTest (для связанных выборок). Из непараметричсских тестов в PSPP реализованы хи-квадрат {Analyze — Non-Parametric Statistics — Chi-Square); критерий знаков {Sign) и тест Уилкоксона {Wilcoxon) для двух связанных выборок {Analyze — Non-Parametric Statistics — 2 Related Samples); критерий хи-квадрат Фридмана {Friedman) и Q-тест Кокрена {Cochran's Q) для нескольких связанных выборок {Malyze — Non-Parametric Statistics — К Related Samples).

Рассмотрим теперь основы работы с данными в R, в том числе расчет базовых статистических показателей.

Решение в R

Ввод данных можно осуществлять с помощью функции с (), объединяющей элементы в один объект (от англ, compile — собирать, составлять), например х = с (2, 3, 5,4, 6, 5) или х <- с (2, 3, 5,4, 6, 5) (знак «<-» в R обозначает операцию присваивания). В результате выполнения этой операции будет сформирован вектор х со значениями 2, 3,5, 4, 6, 5. Если в консоли R указать х и нажать Enter, будет выведено 111 2, 3, 5, 4, б, 5. Указатель [ 1 ] означает, что выводимый массив — одномерный.

Если необходимо сгенерировать последовательность данных, можно воспользоваться, например, функциями с (), гср () или scq (). Ниже представлены примеры применения этих функций с соответствующими результатами: х <- с (1:5) — [1] 1 2 3 4 5; гер (1:4, 2) — [1] 1 2 3 4 1 2 3 4; гср (1:4, each = 2) — (Ц 1 122 334 4; гер (1:4, с (2, 2, 2, 2)) — [1] 1 1 2 2 3 34 4; гср (1:4, с (2,1,2, 1)) — [1] 1 1 2334;

гер (1/6,6) — [ 11 0.1 666 667 0.1 666 667 0.1 666 667 0.1 666 667 0.1 666 667 0.1 666 667'; seq (l, 9, bv = 2) 11] 1 3 5 7 9;

seq (0, 1, length. out = 11) 11) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0.

Для просмотра и редактирования введенных данных можно выбрать соответствующую переменную (массива) в окне Values, использовать функции fix (.r), edit (x) (редактирование элементов вектора х в текстовом редакторе), data. entry (x, у,…) или de (…) (редактирование переменных х, у и т. д. в электронной таблице).

Для импортирования данных из других программ эти данные должны быть предварительно сохранены в каком-либо текстовом формате. Удобно скопировать данные в MS Excel и затем сохранить их в формате *.csv. Далее с помощью опции Import Dataset в R-Studio эти данные импортируются в формат R.

Важно помнить, что структура импортированных данных будет включать в себя название переменных. Для обращения к ним необходимо указывать переменные в формате ту da ta S va ria Ые, где mydata — имя импортированного набора данных, variable — имя переменной.

Для вiiiвода имен переменных из mydata может быть использована функция names (mydata) или strimydata) (вывод всей структуры данных mydata).

Для сохранения или открытия файла с данными в формате R (*.RData) используются стандартные опции интерфейса R-Studio.

Базовая статистика по переменной х определяется с помощью функций summary^), mean (x), sd (x), var (x), min (x), max (x), median (x), range (x).

Нормальность распределения в R можно проверить с помощью теста Шапиро — Уилка (функция shapiro. test (x)).

Для проверки статистических гипотез с помощью одновыборочного^{-критерия} Стыодепта в R используется функция t. test (x, ти = а), гдехвектор с выборочными данными, а — среднее значение исследуемой характеристики в генеральной совокупности, с которым сравнивается среднее значение, но выборке х. Эта же функция может использоваться для сравнения характеристик двух независимых выборок х и у (t.test (x, у)) и двух связанных выборок х и у (t.test (x, у, paired = = TRUE)). Многочисленные непараметрические тесты в R реализованы функциями chisq. test (хи-квадрат), mcnemar. test (Мак-11емара), wileox. test (Уилкоксона и Манна — Уитни), kruskal. test (Краскела — Уоллиса), friedman. test (Фридмана) и др.^[1]

• [1] В стандарте R в качестве десятичного разделителя используется только точка.