Ложь, наглая ложь и… статистика. Существуют три вида лжи: ложь, наглая ложь и статистика

Каков процент подтасовки статистических данных в научных работах по психологии, какие ошибки выявила программа проверки и чем она похожа на Т9, выяснил сайт.

Программы могут не только постмодернистские тексты песен, путь в Лондонском метро, моделировать процессы и в банке, но и искать ошибки в работах нечестных или невнимательных психологов. сайт рассказывает, как компьютер выявляет неточности в научных работах и к чему это может привести.

Блеск и нищета современной психологии

Балансируя между «житейскими мудростями» и философско-метафизическими категориями на тоненькой ниточке непротиворечивых данных, «наука о душе» постоянно подвергается опасности перегибов. Копаться во внутреннем мире людей (если не рассматривать анатомическую сторону вопроса) никогда не было просто, поэтому исследования психологов с трудом поддаются верификации. Имея очень субъективный предмет изучения, психология некоторыми своими отраслями и разделами пересекается с медициной и нейробиологией, а другими выходит за грань научного: даже доктор психологических наук и заместитель директора Института психологии РАН Андрей Юревич определил место психологии между наукой и паранаукой. Даже примененные по всем правилам научной методологии, подходы психологии порой не дают удовлетворительных результатов. Если в более тщательной и долгой работе с одним человеком можно предположить уникальность случая и заявить, что экстраполировать выводы на всех людей нельзя, то в большой группе трудно понять, какое в действительности значение имеют для каждого участника исследования унифицированные вопросы и ответы. К тому же, у испытуемых всегда могут быть внутренние причины скрывать какую-либо информацию и отвечать на вопросы не до конца честно. Поэтому рефлексию (обращение внимания человека внутрь себя) нельзя считать инструментом, позволяющим добыть абсолютно достоверную информацию. о компьютерном алгоритме, который выявил потенциальные ошибки в почти восьми тысячах психологических статей (и это только в период с 1985 по 2013 год и только в восьми научных психологических журналах) сработала как палка, разворошившая осиное гнездо, и без того неспокойное из-за постоянных споров. Под руководством Мишель Нюйтен было проанализировано 30 717 статей, из них 16 695 использовали статистические данные. В половине из этих работ была как минимум одна предполагаемая статистическая ошибка, на которую указала программа.

Когда исследование проводится на большой группе испытуемых, для обработки используются статистические методы. Популярное высказывание «существует три вида лжи: ложь, наглая ложь и статистика», авторство которого так туманно, что более ста лет назад Марк Твен приписал его Бенджамину Дизраэли (но уже не был уверен, откуда оно на самом деле пошло), не так уж далеко от истины. В области человеческого знания, где так сложно создавать теории, обладающие достоверной предсказательной силой (вспомните того же Зигмунда Фрейда или Альфреда Адлера), риск случайной ошибки и соблазн сознательной «подгонки» действительного результата под желаемый довольно высок.

Как компьютер «поймал с поличным» нечестных психологов

Программа, которая подтвердила справедливость этого ироничного наблюдения, называется Statcheck. Она анализирует P-значение (p-value) - величину, которую ученые используют для проверки статистических гипотез. Эта цифра показывает, насколько вероятен полученный результат, если нулевая гипотеза, лежащая в основе исследования, верна. В статье, которая была опубликована в журнале Behavior Research Methods, показано, что программа оценила достоверность более чем 258 000 p-значений (примерно 11 на каждую научную работу) за два часа, обнаружив, что 13% работ содержат ошибку, которая «переворачивает» полученные данные. В результате, например, P < 0,05 превращается в P = 0,05, или некоторые знаки после запятой просто отбрасываются, а не влияют на следующий знак по правилам округления чисел. Казалось бы, такое маленькое различие не должно серьезно влиять на результат, однако чаще всего P = 0,05 принимается как пограничное значение между статистически достоверным и недостоверным результатом. В итоге малейшее отклонение в одну или в другую сторону делает вывод в статье ложноположительным или ложноотрицательным.

Первоначально программа работала с литературой в целом, но один из соавторов исследования, Крис Хартгеринк, специалист по научной методологии из Тильбургского университета (Нидерланды), предложил сконцентрировать внимание на более специфических текстах - научных статьях. Он же позднее, в августе этого года, загрузил на проверку 50 000 статей и выложил результаты в Pub Peer (форум ученых, где они часто обсуждают вышедшие научные статьи), вызвав огромный резонанс в профессиональном сообществе. По мнению Хатгеринка, такие посты будут информировать авторов о возможных ошибках и «принесут науке гораздо больше пользы, чем просто свалка данных». С ним, как сообщает дискуссионная статья Монии Бейкер в Nature, согласны не все. Часть ученых, в том числе представители Немецкой психологической ассоциации, предупреждает, что ложноотрицательные результаты (здесь подразумевается исправление компьютером правильных данных на неправильные) могут скорее навредить репутации ученых, чем помочь развитию психологии как науки. Исполнительный директор Ассоциации психологических наук в Вашингтоне в ответ на публикацию заявил, что осуждает «повальное очернение» психологов в блогах и социальных медиа, явственно дав понять, что публикации результатов компьютерного анализа с указанием на возможные ошибки должны расцениваться как оскорбление.

Statcheck и P-value: кого в топку, кого в топ?

С другой стороны, подобные посты продвигают концепцию открытой науки (кстати, и Нюйтен, и Хартгеринк имеют награды от организаций, поощряющих развитие этого направления), которая позволит быстрее находить и корректировать статистические неточности. По мнению Ника Брауна, ученого-психолога из Университета Гронингема в Нидерландах, такие алгоритмы помогут только в том случае, если исследователи начнут читать их и оценивать с точки зрения специалистов, а не просто проникаться недоверием к журналу, опубликовавшему сомнительные статьи с ошибками.

На данный момент уже несколько тысяч человек, воодушевленных этой возможностью, бесплатно скачали эту программу, написанную на языке программирования R.

Однако Statcheck и сам может делать ошибки, как заявляет Томас Шмидт, критикуя программу . Например, она не всегда учитывает необходимые статистические погрешности и порой не может понять, что неверно в статье: P-значение или относительный параметр. Просканировав две статьи с большим количеством статистических данных, он обнаружил, что программа не смогла оценить 43 параметра, проверила 137 и определила 35 как «потенциально некорректные». Два из них оказались ошибками, не влияющими на результат, три были ошибками в других параметрах, не касающихся P-value, а остальные 30 оказались результатом «ложной тревоги».

Некоторые психологические журналы и вовсе начинают отказываться от p-value для проверки достоверности гипотез, считая этот параметр недостаточно надежным.

Сами создатели не отрицают, что их программа «никогда не будет столь же точна, как проверка вручную», но подчеркивают быстроту ее работы: если на проверку достоверности значения P-value одной средней психологической статьи уходит около десяти минут, то программа может справится с десятками тысяч в считанные часы, что незаменимо для проведения мета-анализа или первичной проверки присылаемых редакторам научных журналов статей. В этом качестве ее уже с июля этого года используют редакторы журнала Psychological Science. Они сравнивают эту программу с корректорами Word или T9, над нелепостью которых все смеются, но отказаться от них согласились бы немногие. Как и эти автокорректоры, Statcheck, по их мнению, можно считать «удобным инструментом, который иногда говорит глупости».

Марк ТВЕН

Законы теории вероятностей не являются абстрактными, а математически выражают реальные закономерности массовых случайных явлений природы.

Разработка методов регистрации, описания и анализа статистических экспериментальных данных, получаемых в результате наблюдения массовых случайных явлений, составляет предмет МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ.

1

Определение закона распределения случайной величины по статистическим данным.

Так как на практике приходится иметь дело с ограниченным количеством экспериментальных данных, то результаты наблюдений всегда будут содержать элемент случайности.

Поэтому возникает задача сглаживания статистических данных и описания их с помощью простых аналитических зависимостей.

2

Проверка правдоподобия гипотез.

Эта задача связана с предыдущей. Например, она может отвечать на вопрос: согласуются ли результаты эксперимента с гипотезой о том, что случайная величина подчиняется данному закону распределения?

3

ждение неизвестных параметров распредел

Часто необходимо определить не сам закон распределения СВ на основе экспериментальных данных, а некоторые числовые характеристики ПриСВ.малом числе опытов определяются только «оценочные» значения этих параметров, т.е. такие приближенные значения, которые приводят в среднем к меньшим ошибкам, чем

Отдел маркетинга швейной фабрики прове анкетирование 100 покупателей. В числе вопросов анкеты были вопросы о мужских костюмах. Обработка анкет дала следующие результаты о предпочтении:

По месту изготовления: 40 % - отечественные, 60 % - импортные.

2. По стоимости в долларах США:

"Существуют три вида лжи: ложь, наглая ложь и статистика " - гласит английская поговорка. Она мне вспомнилась в связи со странными социальными опросами в отечественных СМИ.

Помните, как недавно по всей стране шли протесты против принятия ювенального закона, который ужесточает статью 116 УК (побои без вреда здоровью) в отношении родственников? Теперь за шлепок ребенка по попе родителю грозит до двух лет лишения свободы, и само дело не может быть закрыто за примирением сторон. Не прошло и месяца, как СМИ заметили этот закон. Не сами, конечно, а благодаря Мизулиной, которая предложила отменить уголовное наказание по 116 статье в отношении членов семьи, и соответствующее предложение внесла в Государственную Думу.

Получается, Мизулина уже второй раз выступает против принятого ювенального закона - в первый раз, когда пыталась предотвратить его принятие в Совете Федерации, второй раз сейчас. Хочется поддержать Мизулину, ведь закон, против которого она борется, не поддерживает подавляющее большинство россиян из тех, кто знает о нем.

Однако, что делают наши отечественные СМИ? Они говорят: "а давайте спросим у людей", и создают опросы. Обращаю внимание, когда закон спешно принимался, никто мнения людей не спрашивал. А тут они вдруг озаботились опросами. И, посмотрите, как журналисты сформулировали текст опроса.

"Бьёт — значит любит? Стоит ли отменять уголовное наказание за семейные побои"
- "Поддерживаю Мизулину. Административное наказание — достаточная мера"
- "Надо оставить всё как есть"
- "Наказание за побои следует ужесточить"
- "Нужно отменить любое наказание. Бьёт — значит любит"

Сформулировать опрос подобным идиотским способом - это надо было постараться.

Во-первых, к чему эта дурацкая фраза "Бьет - значит любит?" в начале опроса? Вы об этом хотели спросить людей? Во-вторых, побои побоям рознь. В Уголовном Кодексе есть целый ряд статей за побои - семейные или не семейные. Но Мизулина ведет речь только лишь об одной статей УК - 116 статье: побои без причинения вреда здоровью. Мизулина только по этой статье предлагает заменить уголовное наказание для семьи административным. Что касается систематических побоев с причинением вреда здоровью любой тяжести - это совершенно другие статьи УК, в которые никаких правок не вносится.

RT вводит людей в заблуждение. В такой формулировке многие будут голосовать в этом социологическом опросе против поправок Мизулиной, считая эти поправки идиотскими и совершенно не понимая, о чем идет речь. Они ошибочно будут думать о том, что речь идет о тяжком насилии и домашних тиранах, а не о мамочках, которые шлепают детей по попе, или папочках, которые дают подзатыльник непослушному чаду.

Ложь, наглая ложь, статистика... У меня вопрос: кому и зачем понадобилась статистика по опросу, который вводит людей в заблуждение?

"Следует ли отменять уголовное наказание за семейные побои?"
- "да"
- "нет"
- "затрудняюсь ответить"

Чуть более корректно сформулировано, но манипуляция та же самая.

Такую же манипуляцию мы встречаем в группе

На прошлой неделе наш президент во время своего визита в Индию заявил, что рост реальных зарплат в России достиг рекордных показателей аж с 2012 года и составил 8,7%.

Само собой, это заявление вызвало шквал ехидных комментариев в сети. «Реальная зарплата у реальных пацанов выросла», «Хотел бы пожить в той России, о которой говорит нам Путин», «Всё-таки есть у нас еще наивные люди, которые верят Росстату».

На деле, сам президент объяснял во время летней прямой линии, что данные статистики нельзя воспринимать буквально и на личном опыте. Мол, если вы сами не почувствовали позитивных изменений, это ещё не означает, что данные статистики лгут.

Оспорить эти рассуждения трудно. Действительно, статистика - это наука сложная и лукавая. Есть огромное количество способов представить реальные факты тем или иным образом. Оперируя одними и теми же фактами, власть способна доказать, что у нас всё процветает и развивается, а наша оппозиция заявить, что скоро мы все приползём на кладбище.

Однако рядовой человек не мажет на хлеб цифры. Он оценивает текущее положение дел в своей повседневной реальности. И реальность эта в последнее время его, увы, не радует. Когда речь заходит об уровне зарплат в регионах, обычно называют вилку 15000 -25000 рублей, и эта вилка не изменилась с того самого 2012 года. При этом, разумеется, статистика показывает среднюю зарплату в регионах тысяч на двадцать больше. И вот эта средняя зарплата регулярно растет, тогда как деньги, которые люди получают физически на руки, остаются теми же. А в иных случаях и уменьшаются. Почему так происходит? Тому есть несколько причин.

Если руководители региона хотят отчитаться наверх о выполнении различных указов и постановлений, к их услугам множество удобных инструментов. Можно, к примеру, провести монетизацию льгот в отдельном ведомстве. То есть, сократить соцпакет, убрать, к примеру, бесплатный проезд или что-нибудь еще, а вместо этого поднять оклады на несколько процентов. Формально человек получать будет чуть-чуть больше, а в реальности качество его жизни заметно снизится. Можно поднять размеры ставки, но перевести сотрудников на половину ставки или даже на ее треть. Можно поднять зарплату за счет резкого сокращения числа сотрудников. Оставшиеся будут получать, допустим, на десять процентов больше, но при этом делать в два раза больше работы. Повышение быстро съест инфляция, тогда как высокая нагрузка останется. Психологически человек будет понимать, что ему катастрофически не доплачивают.

Поэтому разрыв между победными реляциями сверху и текущим положением дел с каждым днем становится очевиднее для всё большего числа наших граждан. Пока статистика говорит нам об увеличении реальных зарплат, действительность сообщает, что платежеспособный спрос падает, огромные торговые центры пустеют, задолженность населения по кредитам растет, а возможность находить себе подработки и халтуры уже исчерпана.

Таков результат деятельности финансово-экономического блока правительства за минувшие шесть лет. Либеральные политологи удивляются тому, что люди ждали смены экономического курса после президентских выборов. Хотя чему же тут удивляться? Во-первых, люди вовсе не ждали. Они прямо говорили, что текущий курс их не устраивает, и они ждут смены правительства. Во-вторых, вся так называемая «кремлевская пропаганда» до лета этого года была вполне себе солидарна с обществом. Неоднократно самые именитые журналисты, близкие к Кремлю, вроде господина Соловьева, безжалостно критиковали действия правительства и утверждали, что эти действия во время противостояния с Западом могут со временем привести к самым плачевным вещам. В-третьих, и наш президент во время мартовского послания Федеральному собранию тоже много говорил о внутренней экономической политике, о прорыве, о борьбе с бедностью и о других приятных и полезных вещах. Отчего же было не ждать каких-то знаковых перемен?

И эти перемены действительно наступили. Только совсем не те, которых ожидало общество. Курс постепенной стагнации и мягкого обнищания не остался прежним. Новый кабинет министров со старыми лицами радует общество своими инициативами с самого момента своего формирования. Такое ощущение, что любые тормоза полностью отказали. Что ни день, то новость. Очередные поборы, штрафы, налоги - и все это на фоне пенсионной реформы.

Происходящее уже выливается в массу неловких ситуаций, которых раньше не происходило. Во время визитов на предприятия президент озвучивает те цифры, которые ему подают советники, а это вызывает нервную реакцию слушателей, как это было во время посещения судостроительного комплекса «Звезда» в Приморском крае. Женщина, стоявшая перед Путиным сообщила, что она «начальница и зарплата у нее сто тысяч рублей». Президент спросил: а какая средняя, наверное, девяносто? На что рабочие ответили, что получают по тридцать-сорок тысяч, чему Владимир Владимирович поверить не мог.

Прямо так и видишь какого-нибудь советника, который нагибается и жарко шепчет на ухо президенту: «Прибедняются они, на слезу давят». В Приморье сошлись на том, что отдел кадров лучше знает. Не люди, которые квитки и деньги получают, а отдел кадров. Не человек, а статистика.

К чему же ведет такое положение дел? Не только к тому, что людей постоянно раздражает растущий разрыв между глянцевыми картинками по телевизору и тем, что они наблюдают вокруг себя. Люди начинают задавать вопросы. Нас так долго убеждали в том, что мы ничего не понимаем в политике, в экономике и других высоких сферах. Нас так долго убеждали, что наверху владеют всей информацией, поэтому способны принимать наиболее взвешенные и правильные решения в интересах всей страны. Но когда обычных граждан начинают уговаривать, что они получают в среднем сорок тысяч, а они таких денег и в глаза не видели, то возникает сомнение в самой информации, которую кладут на стол кремлевских начальников. Не только по зарплатам, а по всему комплексу проблем.

Вроде бы наш президент раньше никогда не боялся отвечать на острые социальные вопросы и вызовы. А сегодня есть ощущение, что он больше верит своим либеральным советникам, чем рядовым гражданам во время прямого с ними общения. На той же прямой линии губернатор Орлова де-факто обвинила людей, обратившихся за помощью к президенту, во лжи. И президент никаких выводов после этой линии не сделал. Выводы пришлось делать избирателям на избирательных участках.

Информация сегодня правит миром. Телеведущие у нас смеются над таксистами, каждый из которых может управлять государством. Но если у таксистов достоверная информация, а в кремлевских кабинетах - нет, то тогда и таксисты начинают быть предпочтительнее.

В формате «Точка зрения» ПостНаука знакомит читателей с мнениями наших экспертов об актуальных проблемах образования и науки. В новом материале мы попросили авторов проекта высказать свою точку зрения о том, насколько научны социологические опросы.
Кирилл Титаев - ведущий научный сотрудник Института проблем правоприменения Европейского университета в Санкт-Петербурге

Есть несколько отдельных историй про то, что такое научность и что такое опрос. Сначала следует различать социологические опросы и опросы общественного мнения. Опросы общественного мнения – это некая технология сбора информации о том, что люди готовы сказать, что они говорят вслух. При этом понятно, что люди могут врать, ошибаться, считать нужным сказать не совсем то, что думают, и так далее. Но это так называемое декларируемое общественное мнение, которое более или менее самоценно, то есть постороннему человеку, интервьюеру, люди готовы сказать, что они будут голосовать за того-то, что они так-то любят президента, что они так-то относятся к полиции и так далее. Это важно, и дает возможность для сравнения: в этой области столько-то людей утверждают, что они любят российскую полицию, а в этой столько-то.

Наряду с различением социологических опросов и опросов общественного мнения, есть еще три разных ответа на вопрос о том, насколько научны социологические опросы, в зависимости от того, как мы понимаем научность.

Первый вариант, когда наука – это исследования для фундаментальных результатов, а не для прямых распределений. Утверждение, что в Москве полиции доверяют 80% населения, а в Санкт-Петербурге, предположим, 60%, никакого отношения к науке, конечно же, не имеет. Никакого академического вывода, позволяющего производить какие-то научные знания, на этом основании сделать нельзя. И в этом плане большая часть публикуемых опросов общественного мнения в России, да и во всем мире, – это, конечно, никакая не наука. Это опросы общественного мнения и презентация некоторой картинки.

Вторая история, пересекающаяся с первой, – это вопрос о том, насколько они качественно сделаны. Здесь есть качественная выборка, то есть опрошенные люди, которые репрезентируют генеральную совокупность, например, «все население», «предприниматели», «избиратели» и так далее, в зависимости от того, кто нас интересует. Опрашиваемые, например, не пытаются нам выдать мнение предпринимателей или мнение избирателей за мнение всего населения. Есть масса технических аспектов, но в плане качества выборок подавляющее большинство крупных российских полстерских компаний, таких как Левада-Центр, ФОМ, ВЦИОМ и так далее, опросных фабрик, делают вполне научные, если говорить о качестве, опросы.

И наконец, есть еще одна история – это вопрос интерпретации. Дело в том, что когда люди в анкете, как говорил Крыштановский, «что-то наотвечали», это нужно каким-то образом интерпретировать. Что имели в виду люди, когда говорили, что они, например, доверяют полиции, или собираются проголосовать за Алексея Навального? Тут возникает масса технических тонкостей. Например, мы задавали вопрос «За кого вы собираетесь голосовать?» только тем, кто собирается идти на выборы или всем? Для электоральной социологии – это две принципиально разные картины. Мы задаем вопрос о доверии полиции только тем, кто с ней сталкивался или всем? Это тоже дает принципиально разную картину. Например, мы интерпретируем: «доверие полиции» - это означает, что люди считают, что она хорошая, считают, что она не нанесет им лично ущерба или имеют в виду что-то другое? Проблема социологических опросов состоит в том, что мы не можем дать широкий контекст вопросу, который задается респонденту. Мы вынуждены разово, узко его сформулировать и не всегда понимаем, что именно человек имеет в виду, отвечая на него. Задайте сами себе вопрос, «что вы имеете в виду, выбирая один из двух вариантов?»: «я считаю, что полиция, скорее, защищает меня» или «я считаю, что полиция, скорее, представляет опасность». Предположим, вы, отвечая на этот вопрос, имеете в виду некоторый баланс сил, а кто-то другой предполагает, что даже небольшая угроза со стороны полиции гораздо страшнее, чем угроза со стороны преступников, потому что полиция защищена законом. А кто-то третий просто ненавидит людей в серой форме (теперь уже почти в черной). Реконструировать эти контексты мы не можем. И работа по поддержанию качества, отслеживанию всех этих контекстов, в России поставлена очень плохо. В этом плане подавляющее большинство российских опросов общественного мнения, точнее выводов, которые делаются на их основании, более или менее ненаучны.

Виктор Вахштайн - кандидат социологических наук, профессор, декан факультета социальных наук МВШСЭН, декан Философско-социологического факультета Института общественных наук РАНХиГС, главный редактор журнала "Социология власти"

Представьте на секунду ситуацию, в которой астрология – это единственная возможная «методологическая база» астрономии или алхимия – химии. И даже не «методологическая база», а просто главный посредник между наукой и миром. У науки (в нашем мысленном эксперименте у астрономии) уже есть свой язык, которым она невероятно гордится, свои модели мышления о космосе и свои гипотезы, но нет (и, допустим, в принципе не может быть) никаких телескопов. Сформулировав некоторые предположения, астроном должен передать их человеку в высоком колпаке со звездами, который путем полумистических контактов с миром – вроде камлания на Большую Медведицу – выдает некоторый «эмпирический материал».

В описанном мной мире звездочеты будут всеми силами герметизировать свою специальность, делать ее непрозрачной с двух сторон – не только со стороны астрономов (настаивая на том, что правильно организованное камлание есть единственное условие истинности их научных предположений), но и со стороны обывателей (которые периодически норовят покамлать сами, без помощи квалифицированных специалистов, ритмично бьющих в бубен репрезентативности). Выгоды подобного посреднического положения трудно переоценить! Для астронома астролог – существо неприятное, но необходимое. Ведь он всегда «в контакте с миром» и, в отличие от астронома, эту Большую Медведицу «собственными глазами видит» каждый день. Для обывателя астролог и есть подлинный астроном. Поэтому от лица представляемой им науки он иногда берет «левые» заказы – покамлать за здоровье государя, за победу на скачках, за счастье новорожденного.

Единственное, что может угрожать положению звездочета – это конкуренция со стороны обывателей, которые не верят в то, что за спиной астролога стоит астроном. Они небезосновательно воспринимают астрологию как самостоятельную практику камлания, не имеющую прямого отношения к науке. С внутренней конкуренцией звездочеты уже как-то научились справляться. Например, одни в качестве бренда и конкурентного преимущества используют свое стремление к добру и веру в необходимость улучшения мира, вторые – умение красиво камлать на публике, третьи – особую близость к духам звезд. Но вот с конкуренцией со стороны обывателей справиться сложнее, особенно если те – не дай Б-г! – начнут камлать за победу на скачках и предскажут результат забега точнее, чем профессиональные астрологи. Без всякого бубна репрезентативности.

Что делать в описанной мной вселенной астрономам? То, что они делали и до этого – совершенствовать язык своей дисциплины. Тем же, кто не может не заглядывать в «эмпирическое окно» по долгу службы или по призванию свыше, придется осваивать камлание и бубен самим, без помощи посредников-астрологов. И да, чуть не забыл: никогда не камлать на победу в азартных играх.

Дмитрий Рогозин - кандидат социологических наук, директор Центра методологии федеративных исследований РАНХиГС, преподаватель факультета социальных наук МВШСЭН, старший научный сотрудник Института социологии РАН

Надо начать с того, что то, что у нас называется социологическими опросами, к социологии имеет весьма опосредованное отношение, и их корректнее разделять на разные группы. Первая - это электоральные опросы (то, что проходило сейчас в массовом порядке, когда выборы в разных регионах России сопровождались исследованиями, направленными на прогнозирование явки и доли политического участия в выборах). Такие опросы распространены во всем мире. Кроме того, есть так называемые социальные обследования (social survey), и слово "обследования" в данном случае специально употребляется в противовес к "исследованиям". У обследований всегда есть заказчик, какая-то социальная проблема, и основная задача специалиста, проводящего обследования, дать аналитический материал для людей, принимающих те или иные решения. В социальных обследованиях заказчиком выступает какая-то государственная структура, некоммерческая организация, поднимаются социальные вопросы. И третья группа – это маркетинговые исследования с конкретным бизнес-заказчиком, интересующимся ёмкость рынка, портретом потребителя продукции, эффективностью рекламной кампании и т.д.

Еще раз повторю, все это к социологии имеет только косвенное отношение: некоторые из тех людей, которые проводят подобные опросы, когда-то получили институционально социологическое образование, или пишут книги по социологии, или проводят уже социологические исследования. В качестве яркого примера можно назвать Пола Лазарсфельда, американского социолога, который еще в 30-х годах прошлого века говорил, что наука делается не в аудиториях, а в бизнесе. Сотни социальных обследований, маркетинговых опросов и т.д. Но социологом он стал не потому, что он эти обследования проводил, а потому, что он выстраивал теоретические конструкты, в том числе, по электоральному поведению. В чем, кстати говоря, ему помогал его ближайший друг и коллега Роберт Мертон. Важно понимать, что теоретические конструкты не имеют отношения к конкретным распределениям ответов и проблеме того, угадал ли кто-то выбор избирателей или промахнулся.

Если мы ведем речь не о социологии, а о массовых опросах, то лучше говорить не об их научности или социологичности, а об их валидности и надежности. Это не значит, что массовые опросы не могут быть научными, там тоже есть свои экспериментальные планы, гипотезы, исследовательские затруднения и проблемы. Например, экзит-полы можно проводить научным методом, а можно, следуя политической конъюнктуре, выполнять некоторый внешний заказ. Основным критерием научности или ненаучности социальных обследований, маркетинговых исследований, экзит-полов, электоральных опросов является не то, что их проводит уже зарекомендовавшая себя организация (нельзя сказать, что если опрос проводит «Фонд Общественное Мнение», Левада-Центра или ВЦИОМ, то это автоматически научно, а если волонтеры, то нет), а то, проводится ли в процессе таких исследований регистрация параданных, или сопутствующих основным распределениям данных.

В экзит-полах опросные центры должны регистрировать помимо того, за кого человек проголосовал, время, когда он ответил, точку, в которой он стоял (очень важно, какие потоки людей прошли мимо, и им не задали вопросы); из УИКа бывает несколько выходов – это одна ситуация; из вышедшей пары отвечает на вопрос только один человек – другая ситуация и так далее. Все эти ситуации нужно регистрировать, они и называются параданными. Какая-то незначительная часть параданных регистрируется и сейчас, например, количество отказавшихся ответить (эти данные помогают взвесить полученное распределение голосов). Но подавляющее большинство параданных пропускается опросными центрами. Поэтому я бы не слишком нагнетал ситуацию с критикой научности социальных обследований как таковых. Открытый вопрос – есть ли там наука? Другими словами, если центры, проводящие экзит-полы, начнут регистрировать сопутствующие данные, разбираться, как они коррелируют между собой, тогда опрос имеет шанс стать научным. Тогда у нас появляются дополнительные аргументы, чтобы отстаивать ту или иную точку зрения по поводу правильного или неправильного прогноза. Когда же сопоставление прогностических данных основано только на том, что опрос провел «Левада-Центр», ВЦИОМ или еще кто-то, это всего лишь политические спекуляции.

Я только отчасти согласен с разговорами о том, что «социологи» провалились, ведь те люди, которые проводят опросы, могли бы дискредитировать опросную науку, опиниологию, как говорил великий Ландберг, не тем, что они ошиблись в прогнозировании, а тем, что они не регистрирует параданные, не проводят научные исследования, а лишь прикрываются наукой, как некоторым легитимирующим их деятельность статусом, и вслед за политическими спекуляциями создают политические артефакты.

Виталий Куренной - кандидат философских наук, заведующий отделением культурологии ВШЭ, научный редактор журнала "Логос"

Социологические опросы - один из основных инструментов современной количественной социологии. Это отточенный в методологическом отношении инструмент (конечно, если используется с соблюдением соответствующих процедур), и ставить его научность под сомнение бессмысленно и наивно. Но, как и у всякого научного инструмента у него есть свои границы, собственно, эти границы и делают науку наукой. И с этой точки зрения я бы отметил несколько вещей. Во-первых, там, где речь идет о сциентизированных количественных исследованиях в современном смысле слова, решающим является повторяемость, а не исключения. Всякий раз, когда данные социологов расходятся, например, с результатами голосований, всегда находится кто-то, кто угадал правильно. Так вот, все эти угадывания никакого значения не имеют - сначала продемонстрируйте их повторяемость - пусть и с отклонениями, но именно повторяемость. А так можно и к гадалке сходить, да и в спортивных тотализаторах всегда кто-то выигрывает - к науке это отношения не имеет. Второе: ошибаться в науке нормально, тем, кто хочет безошибочности лучше к пророкам обращаться. Важно разобраться в причинах ошибки - вот и все. С этим, правда, у количественной, опросной социологии есть проблемы - она ведь не занимается причинами, тут нужны другие инструменты исследования.

Теперь в более критическом ключе два замечания. С одной стороны, надо понимать, что предметная категоризация, используемая в соцопросах - это некоторая воплощенная форма прагматики заказчика, как правило - прямое продолжение административно-управленческой логики политических сил. Социология же и рождалась как орудие управления современным обществом - далеко она от этого не ушла, разве что наряду с административно-политическим управлением сегодня все больше решает задачи управленческого воздействия на рынок - в форме маркетинговых исследований. Поэтому тут всегда есть разрыв между навязанной оптикой и реальными процессами и событиями. Это не повод, чтобы отказывать социологии в научности, но есть пространство для критического взгляда на всю эту научную аппаратуру в целом. С другой стороны, есть целый пласт внутренних методологических проблем проведения опросов, которые хотя бы в общих чертах хорошо бы представлять, прежде чем критиковать их результаты. Связано это с тем, что в самой процедуре опроса - начиная с формы вопроса и заканчивая фигурой интервьюера - неизбежно присутствует деформация реальности "как-она-есть-без-этого-опроса". Опросы не просто являются инструментом манипулирования как результат (само предъявление цифр, очевидно, кого-то поднимет с дивана, а кто-то на нем так и останется, хотя утверждал интервьюеру обратное), но и фактором деформации и трансформации в ходе самого исследования. Методологически можно и нужно стараться минимизировать эту деформацию, но исключить ее полностью никогда, видимо, не получится. Говоря совсем банально - социальное исследование меняет реальность, но не так, что результат такого изменения фиксируется опросом. Так что неожиданности здесь всегда возможны.