Погрешности измерений в обследованиях
Систематические ошибки в доходах или расходах, о которых сообщается в обследованиях, имеют важные последствия для показателей бедности и неравенства, основанных на этих обследованиях (На этот счёт существует обширная литература, но некоторые важные выкладки сделаны Ван Прааг и др. (1983), Чакраварти и Эйххорн (1994), Коуэлла и Виктория-Фезер (1996), а также Чешера и Шлутер (2002). Классическая ошибка измерения в сообщаемых доходах отобранных домохозяйств приводит к завышению стандартных показателей неравенства (Классическая ошибка измерения имеет нулевое среднее значение и не коррелирует с истинным значением этой переменной. В некоторых приложениях этой концепции она также не коррелирует с другими соответствующими переменными. Для дальнейшего обсуждения в контексте измерения неравенства см. Чакраварти и Эйхорн (1994).
Статистики обследований выделяют два типа погрешности измерений. Первый - "товар не отвечает". Это может произойти, когда некоторые из отобранных домохозяйств, согласившихся участвовать в обследовании, отказываются отвечать на конкретные вопросы, например, об определенных компонентах своих доходов, которые могут быть существенными. Недостающие значения также вероятны для арендной платы за жилье, когда респонденту принадлежит жилье; даже когда в опросах запрашивается условная арендная плата, хотя часто она неизвестна. Различные методы вменения/сопоставления решают проблему отсутствия ответа на элемент, используя вопросы, на которые фактически даны ответы, хотя, похоже, это делается не так часто, как должно быть на практике. Во Вставке 3.13 более подробно объясняется, как это можно сделать.
| Вставка 3.13 Регрессия как инструмент для
работы с недостающими данными Основная идея здесь состоит в том, чтобы статистически смоделировать наблюдаемые ответы на вопрос, по которому отсутствуют данные, и использовать эту модель для прогнозирования недостающих ответов. Это можно сделать с помощью регрессионной модели; вспомним про Вставку 1.19, она показывает прогнозируемое значение зависимой переменной (Y ) как линейную функцию одной или нескольких объясняющих переменных (X ). Зависимая переменная - это результат, когда он был получен, а переменные-предсказатели - это те факторы, на которые отвечает большая выборка, включая не влияющие факторы. Предположим, у нас есть полная выборка из N домохозяйств, но только подмножество M (< N) из них ответило на вопросы о доходах. Пусть набор респондентов по доходам будет IR. У нас есть K переменных, на которые ответили все. В таком случае мы можем представить себе линейную регрессию по M наблюдениям с полными данными:
Здесь Yi - показатель дохода, Xki - k-тая объясняющая переменная, k = 1,..., K<M - 1, а Ei - условие ошибки, которое может включать ошибки в сообщаемых доходах. Например, если недостающие данные относятся к арендной плате за жилье (неизменно отсутствуют для владельцев-арендаторов), то X должны включать все характеристики жилья и местоположения, доступные в опросе. Такую регрессию для вменения арендной платы часто называют "гедонической регрессией". Параметры α, β1, β2, ...βK являются фиксированными числами по всей выборке. Значения этих параметров могут быть оценены с помощью метода обычных наименьших квадратов (OLS), который выбирает оценки для обеспечения наилучшего соответствия данным - в частности, для минимизации суммы квадратов ошибок. Затем мы можем использовать прогнозируемые значения для остальной части выборки, не в наборе IR, используя имеющиеся у нас данные о X для этих наблюдений (и оцененные параметры, основанные на приведенной выше модели) при формировании прогнозируемых значений. Альтернативой регрессии является использование методов сопоставления. Они не требуют (потенциально ограничительной) параметрической регрессионной модели отсутствующей переменной. Вместо этого для каждого пропущенного значения можно найти наиболее похожее наблюдение, для которого был записан ответ, где "похожее" определяется прогнозируемой вероятностью ответа (часто называемой "оценкой склонности", следуя Розенбауму и Рубину 1983). Дополнительная литература: О регрессионных моделях в целом см. Вулдридж (2013). Подробнее о методах вменения см. Литтл и Рубин (1987). Использование методов сопоставления в этом контексте является примером их общего применения к проблемам недостающих данных, которые включают проблему оценки воздействия; мы вернемся к этой теме в Главе 6. |
для всех Такие методы не подходят для второго типа погрешности измерения, а именно "неответ единицы измерения". Как правило, некоторая доля отобранных домохозяйств не участвует в обследовании либо потому, что они явно отказываются это делать, либо потому, что никого нет дома (Вставка 3.6). В некоторых опросах предпринимаются усилия, чтобы избежать отказа от ответа, используя "обратные звонки" для не ответивших домовладельцев и платят тем, кто был опрошен (хотя, напомним про данные из Вставки 3.8) (О снижении предвзятости с помощью обратных звонков см. Деминг (1953), Ван Прааг и др. (1983) и Гроувс (2006). Тем не менее, проблема практически неизбежна, и показатели отсутствия ответов в 10% или выше являются общими; действительно, существуют национальные обследования, для которых 30% отобранных респондентов не соответствовали требованиям (Скотт и Стил (2004) сообщают о показателях отсутствия ответов в восьми странах, которые достигают 26%. Холт и Эллиот (1991) указывают диапазон от 15% до 30% для опросов в Соединенном Королевстве. Филипсон (1997) сообщает о среднем уровне отсутствия ответов в 21% для опросов, проведенных Национальным центром изучения общественного мнения в Соединенных Штатах).
При определенных условиях можно скорректировать данные опроса для выборочного соответствия после сбора данных. Антон Коринек и др. (2007) предлагают метод устранения этого источника предвзятости. Идея состоит в том, чтобы использовать географическое распределение показателей ответов на опросы (доля исходной случайной выборки для той области, которая согласилась пройти собеседование), чтобы определить, как вероятность согласия на собеседование зависит от дохода и других переменных. При определенных условиях можно вывести эти вероятности, учитывая тот факт, что измеренные доходы искажаются выборочным несоблюдением (См. Коринек и др. (2007). Как только у вас есть оценочные вероятности, вы можете повторно взвесить данные, чтобы исправить проблему. Выясняется, что вероятность быть опрошенным неуклонно падает по мере роста дохода - с 95% или выше для беднейшего дециля до всего лишь 50% для самого богатого. Таким образом, наблюдения за богатыми домохозяйствами необходимо взвешивать по сравнению с наблюдениями за бедными. Ключевым условием для того, чтобы этот метод работал, является наличие по крайней мере одного человека с каждым уровнем дохода, который согласен пройти опрос (Это называется предположением "общей поддержки"). Во Вставке 3.14 приведен простой пример этой идеи.
| Вставка 3.14 Поправка на выборочное
соответствие в простом случае 2x2 Статистические управления часто пытаются исправить выборочное соблюдение требований (при котором определенные типы людей не отвечают на опросы) во время проведения опросов. Существуют ограничения на то, насколько эффективно это может быть сделано. Иногда можно исправить предвзятость опроса постфактум, используя имеющиеся данные о частоте ответов и (потенциально предвзятую) статистику опроса. Для иллюстрации рассмотрим случай двух групп доходов и двух областей, A и B, с известными общими показателями ответов на опросы PA и PB. Другими словами, 100 % из тех, кто был случайным образом отобран в зоне А, были фактически опрошены. Есть две группы доходов: "бедные" и "небедные". На основе опросов оцениваются доли людей с низким или средним уровнем дохода (или другие статистические данные). При этом делаются два ключевых предположения. Во-первых, предполагается, что все бедные имеют одинаковый процент ответов (PP ), а все небедные имеют одинаковый процент ответов (PN ) и что PP > PN . Это простая поведенческая модель соответствия требованиям. Во-вторых, предполагается, что вероятность соответствия требованиям не различается между группами A и B независимо от дохода. Этого достаточно, чтобы исправить смещение, вызванное выборочным соблюдением требований при выборочном обследовании. Рассмотрим сначала имеющиеся у нас данные о показателях отклика, PA, PB. Это взвешенные средние показатели ответов для бедных и небедных, с весами, заданными истинными (но ненаблюдаемыми) показателями бедности в областях A и B, обозначенными HA и HB соответственно. Таким образом, мы имеем: HaPp + (1-Ha) Pn = Pa HbPP + (1-Hb) Pn = Pb Затем рассмотрим предполагаемые уровни бедности в A и B, обозначенные ĤA и ĤB. Они определяются показателями ответов на опросы среди бедных и небедных, а также истинными показателями бедности; точнее, у нас есть следующие формулы для наблюдаемых (но потенциально предвзятых) показателей бедности:
Например, предположим, что предполагаемые уровни бедности составляют 55% и 31%, а показатели ответов на опросы составляют 66% и 58% для A и B соответственно. Тогда PP =0,9, PN = 0,5, а истинные (объективные) показатели бедности составляют HA = 40% и HB =20%. Мы можем применить тот же подход к другим статистическим данным, подобным образом. Примечание: Этот простой пример 2x2 предназначен исключительно для ознакомительных целей. Конечно, на самом деле у нас много доходных групп и областей. Более общий метод оценки приведен в работе Коринек и др. (2007). |
Эти ошибки вызывают особую озабоченность в контексте измерения бедности и неравенства, которое зависит от ответов на вопросы, касающиеся доходов и расходов, и эти вопросы иногда могут быть щекотливыми. Некоторые аналитики утверждают, что неверное представление доходов в обследованиях домашних хозяйств оправдывает увеличение распределения доходов таким образом, чтобы его среднее значение равнялось ВВП на душу населения или частному потреблению на душу населения в Системе национальных счетов (NAS) (См., например, Бхалла (2002) и Сала-и-Мартин (2006). Серия показателей бедности, относящихся к 1820 году, использованная в главе 1 Бургиньона и Морриссона (2002), также использует этот метод. Однако в данном случае у авторов не было выбора, поскольку исторические данные опроса в основном были давно утеряны). Мы можем назвать это методом равномерного масштабирования. Этот метод игнорирует тот факт, что то, что в Системе национальных счетов называется "частным потреблением", включает компоненты институционального потребления, а также личного потребления, что может привести к систематическому завышению уровня благосостояния домашних хозяйств. Несоответствие в том, что измеряется, еще хуже, если масштабирование относится к самому ВВП на душу населения, а не только к потреблению на душу населения из Системы национальных счетов, поскольку ВВП включает в себя многие вещи, которые не относятся к текущим доходам или расходам домашних хозяйств. Степень разрыва между двумя источниками данных зависит от экономики. В странах со значительным натуральным сельским хозяйством и другими формами производства для собственного потребления маловероятно, что система национальных счетов обеспечивает более точное представление о реальном потреблении, чем обследования. Например, последние, как правило, включают информацию о потреблении собственного производства на уровне домашних хозяйств.
Занижение доходов или выборочное соблюдение требований в обследованиях, является реальной проблемой при измерении бедности и неравенства. Однако маловероятно, что пропорциональная ошибка является постоянной, оставляя относительное неравенство неизменяемым (См., например, Банерджи и Пикетти (2005) и Коринек и др. (2006). Если более богатые домохозяйства, как правило, занижают данные больше, чем домохозяйства со средним уровнем дохода или бедные домохозяйства, то метод равномерного масштабирования приведет к "чрезмерной коррекции" в нижней части распределения, что приведет к недооценке уровня бедности. Представляется вероятным, что более богатые домохозяйства также с меньшей вероятностью будут участвовать в обследованиях (Это согласуется с выводами Коринека и др. (2007). Как отмечалось, теоретически это имеет неоднозначные последствия для неравенства. Данные по Соединенным Штатам указывают на то, что выборочное участие влечет за собой значительную недооценку общего неравенства (См. Коринек и др. (2006). Показатели бедности завышены, но это смещение невелико в районе черты бедности в США. Напротив, предположение о том, что коэффициент ответов является постоянным (не зависит от дохода), существенно занижает уровень бедности и ничего не делает для исправления смещения в показателе неравенства.
Вероятность того, что занижение отчетности и выборочное соблюдение требований приводят к недооценке "самых высоких доходов" в обследованиях, привела к заинтересованности в использовании дополнительных данных из записей о подоходном налоге (См., например, Аткинсон, Пикетти и Саез (2011) и Пикетти (2014). В методах обычно используется закон Парето для определения размера прибыли (см. Вставку1.21).(Таким образом, на рисунке 2.4 были оценены показатели доли участия в 1% в Соединенных Штатах, представленные на рисунке 2.4) У этого метода также есть свои плюсы и минусы. Проблемы с занижением отчетности и соблюдением требований, несомненно, менее серьезны в странах (как правило, богатых странах), где система подоходного налога хорошо развита, но проблемы остаются и в других местах. Показатели, полученные таким образом, не обязательно должны хорошо соответствовать типам показателей реального дохода, предпочитаемым при использовании данных выборочного обследования; в частности, концепция дохода в налоговых отчетах не обязательно должна соответствовать концепции, которая предпочтительна для измерения бедности или неравенства, и часто бывает трудно идентифицировать домохозяйства по данным учета подоходного налога, поэтому невозможно скорректировать различия в размере или составе семьи. Наиболее важным в этом контексте является то, что этот метод лучше подходит для корректировки верхнего предела распределения в странах с хорошо развитыми системами подоходного налога. Это менее актуально для измерения бедности.