Современное состояние математического и программного обеспечения квантильно-регрессионных моделей

Львович И.Я., Минакова О.В.

Квантильная регрессия широко используемый статистический метод в эконометрике, в финансовых и биомедицинских исследованиях, при изучении окружающей среды и других прикладных областях. В связи с появление новых вычислительных процедур, высокопроизводительных алгоритмов актуальность ее примнения будет только расти.

Квантильная регрессия довольно «старинный» статистический метод, упоминание этого термина в математической статистике датируется еще 19 веком. Во многом его «забвение» связано с широкой распространенностью метода наименьших квадратов, и как следствие преобладающие применение линейной регрессии. Ставшее сейчас классическим определение квантильной регрессии было введено Коенкером и Бассетом в 1978, как расширение понятия порядковых квантилей или процентилей в локальных моделях к общему классу линейных моделей в которых условные квантили имели линейную форму.

По аналогии с нахождением условного среднего из выборки объема n, которое можно рассматривать как решение задачи минимизации остаточной суммы квадратов: ,  – выборочное среднее, оцениваемое по этой выборке, то поиск медианы может быть осуществлен как минимизация суммы абсолютных остатков.

Если для медианы отрицательные и положительные остатки равны, т.е. симметричны относительное нее, то для квантилей они должны лежать в пропорции  к (1-), т.е. асимметрично. Следовательно, отрицательные и положительные остатки имеют различный вес, зависящий от порядка квантили . Так положительные остатки имеют вес , а отрицательные – (-1), и их сумма должна стремиться к нулю.

Таким образом, нахождение квантили q заданного порядка  можно рассматривать как поиск аргумента минимума специальной целевой функции:

,

где – контрольная функция, обеспечивающая -баланс наблюдаемых значений и заданная в виде:

.

Иллюстрация определения этой функции представлена на рисунке.

*



tg(*)=

tg()=-1

u

u

(u)

По аналогии с регрессионным анализом можно перейти к определению квантильно-регрессионных функций , каждая из которых представляет собой некоторую регрессию условной квантили . Тогда построение квантильно-регрессионных моделей можно рассматривать как задачу оценки параметров функций и находить решение минимизацией:

(1)

Решение представленной минимизационной проблемы, когда – линейная функция с неизвестными параметрами, эффективно осуществляется методами линейного программирования.

В частности, линейная квантильно-регрессионная модель (Buchinsky? 1998) задается или ,

где  – неизвестный вектор регрессионных параметров, оценивается как решение минимизационной задачи:

– неизвестный вектор ошибок, так что условная квантиль порядка  от его значений равна нулю.

На практике широкое распространение получило оценивание квантильной регрессии методом максимального правдоподобия. Но для его использования необходимо, чтобы априорно была известная функция распределения, поэтому первый подход к построению квантильно-регрессионных моделей базируется на выборе подходящего теоретического распределения и комбинирование подбора параметров распределения с методами сглаживания для вычисления условных квантильных функций. Этот подход, базирующийся на оценке параметров «известного» распределения получил название параметрический.

Самый известный параметрический метод – LMS, основанный на трансформации исходных значений наблюдений к нормальному. Коул и Грин (Cole and Green, 1992) предложили использовать трансформацию Бокса-Кокса к исходным измерениям для получения нормальности трансформированных значений. Поскольку было принято предположение о нормальности распределения, то использовались оценки максимального правдоподобия для параметров среднего (М) и СКО (S), как достаточных для описания этого распределения и дополнительного параметра трансформации (L).

В исходной работе [] сглаживание всех трех функций, описывающих модель производилось отдельно с помощью сплайнов и выбор модели сводился к подбору оптимального числа узлов каждой из трех функций. В дальнейшем использовались различные модификации, так Yee (1998) предложил оценивать все три функции совместно вектором сплайнов [].

В качестве альтернативы нормальному распределению предлагалось использовать t-распредление Стьюдента [], гамма-распредление []. В работе [] предлагается использовать степенное экспоненциальное распределение Box-Tiao или общих ошибок [Error: Reference source not found], которое является общим вариантом задания различных одномодальных распределений от нормального до равномерного, для данных, имеющих слишком большой эксцесс после использования трансформации Бокса-Кокса.

Имеется множество вариацией этого подхода, направленные как на усложнение трансформации, так и трансформации к другим видам распределений, характерным для конкретной прикладной задачи.

При отсутствии априорной информации о форме распределения предложены непараметрические квантильно-регрессионные модели. В частности, обсуждается вопрос об использовании ядерного оценивания функции условного распределения и получение условной квантили обращением этой функции. Решая вычислительную проблему обращения оцененной функции условного распределения Yu and Jones (1998) использовали двойную ядерную аппроксимацию, как минимизацию [Error: Reference source not found]:

,

где =(х) – оценка квантильной регрессии,

К – ядро с заданной шириной окна h.

Соответствующая функция реализована Yu для пакета S-PLUS, разработанный алгоритм гарантирует сходимость.

Наибольшее количество реализаций квантильной регрессии на сегодняшний день в специальном статистическом ПО – SAS, в котором реализованы – симплекс-алгоритм (Koenker and d’Orey, 1993), алгоритм с внутренней точкой (interior point, Portnoy and Koenker, 1997), сглаживающий алгоритм (Chen 2003), основанные на преобразовании (1) в задачу линейного программирования.

Реализация LMS-метода выполнена в специальной прикладном ПО lmsqreg, разработанном Коулом и Паном (T.G. Cole&Pan), имеется публикации как исходного FORTRAN-текста, так и ее S-PLUS код Кери (Carey) на http://biosun1.harvard.edu/`carey/.

Множество работ Коенкера (Koenker) по оценке линейной квантильной регрессии представлено в качества отрытого кода на языке R (http://cran.r-project.org) и в виде функции на языке S для пакета S-PLUS (http://econ.uiuc.edu/roger).

Специализированный статистический пакет STATA имеет команду «qreg» для оценки квантильной регрессии. Библиотека подпрограмм, реализующих команды STATA постоянно расширяется и пользовательские версии доступны на http:/jstor.org.

В специальном математическом ПО XploRe имеется возможность оценки параметров квантильной функции и ряд сервисных процедур по проверке гипотез и построения графиков.

Также известны специальные прикладные реализации некоторых алгоритмов квантильной регрессии – пакет VGAM, разработанный T.W.Yee (http://www.stat.auckland.ac.nz), реализующий LMS-метод, оценку квантилей при исходном гамма распределении значений и модификация трансформации Бокса-Кокса для положительных и отрицательных значений.

и GLMS-проект

Ввиду значительной вычислительной сложности квантильной регрессии самым первым подходом к получению функций условных квантилей было соединение эмпирических квантилей ровной линией «на глаз», т.е. применение неформализованного сглаживания.

Применение подхода на основе сглаживания предполагает, что для каждого фиксированного значения переменной осуществляется выборка соответствующих значений зависимой переменной , по которой вычисляется выборочная квантиль заданного порядка. Упорядоченные по фиксированным значениям квантили одного и того же порядка интерполируются гладкой непрерывной функцией. Поскольку подобная задача решается в два этапа:

1) расчет эмпрического квантиля заданного порядка по выборке;

2) сглаживание множества эмпирических квантилей по независимой переменной, зафиксированной для каждого рассчитанного квантиля.

То соответствующий подход принято считать двухступенчатым.

На сегодняшний день наиболее известна реализация двухступечатого подхода при обработке исследований Американского центра по контролю за питанием (CDC) для построения справочных диаграмм развития детей. Для измеренных значений были получены первоначальные сглаженные кривые выбранных главных процентилей и на втором этапе получены параметры, которые были использованы для построения финальных сглаженных кривых и дополнительные процентилей. В качестве сглаживающих функций были использованы полиномиальная 5-й степени, локально взвешенная регрессия (locally weighted regression). Подгонка модели, основывалась на минимизации остаточного среднего квадрата ошибок (RMSE), коэффициента детерминации (R2). Подробное описание вычислительных процедур можно найти на http://www.cdc.gov/growthcharts.

В работе [Error: Reference source not found] представлена двухступенчатая процедура с использованием метода k-ближайших соседей для вычисления квантильных функций и ядерной сглаживание для финальных квантильных регрессий.

Эти ступени легко могут быть реализованы в любом статистическом и математическом ПО, поскольку решение двух задач – вычисления квантилей и сглаживание могут выполняться раздельно. На сегодняшний день практически все статистические пакеты и электронные таблицы имеют встроенные функции вычисления квантилей заданного порядка или процентилей, и обладают широким спектром различных процедур сглаживания, которые могут применены к различным типам данным, в частности выборочным квантилям.

Литература.

1. Buchinsky M. Quantile regression, Box-Cox transformation model, and U.S. wage structure, 1963-1987. – J.Econometr. – 1995. – V. 65 – P. 109-154.

2. Cizek P. Quantile Regression/ XploRe Application Guide, ed. by W. Härdle, Z. Hlavka, and S. Klinke. – Springer, Berlin. – 2003:– P. 19–48.

3. Cole TJ Smoothing reference centile curves: the LMS method and penalized likelihood/ TJ Cole, PJ. Green//Statistics in Medicine.– 1992. –Vol. 11. –P. 1305-1319

4. Guo S, Roche AF, Baumgartner RN, et al. Kernel regression for smoothing percentile curves: reference data for calf and subscapular skinfold thicknesses in Mexican Americans. American Journal of Clinical Nutrition 1990; 51: 908S-916S

5. He X. Quantile curves without crossing./American Statistician. – 1997. – V. 51. – P. 186-192.

6. Koenker R. Quantile smoothing splines.//R. Koenker, Ng, P., Portnoy, S. –Biometrika, –1994, V.81. – P. 673-680.

7.Koenker R. Quantile Regression/ R. Koenker, K. F. Hallock //Journal of Economic Perspectives – 2001. – Vol. 15. – P. 143–156.

8. Rigby RA Generalized additive models for location, scale and shape./ RA Rigby, DM Stasinopoulos//Journal of the Royal Statistical Society, Series C – Applied Statistics. –Vol. 54. –P. 507–544.

9. Rigby RA. Smooth centile curves for skew and kurtotic data modelled using the Box-Cox power exponential distribution./ RA Rigby, DM Stasinopoulos// Statistics in Medicine. – 2004. – V. 23. – P.3053–3076.

10. Yee T.W. On an alternative solution to the vector spline problem. – Journal of the Royal Statistical Society, Series B, Methodological – V. 60. – P. 183-188.

11. Yu. K. Quantile regression using RJMCMC algoritm// Comput. Statist. Data Anal. – 2002. V.40. – P.303–315.

12. Hjort NL, Walker SG (2009). Quantile pyramids for Bayesian nonparametrics. The Annalsof Statistics, 37: 105{131