Букварь по научному исследованию

Основы научного подхода к исследованию.

Сегодня мы спрячем шпаргалки в карманы, закроем подсказки, написанные на руках, и окунёмся в мир исследования. Многие ответы, полученные автором на эпизод про сок ростков пшеницы, содержали заявления, что этот сок уже протестирован, и что лечение многих болезней, стимуляция многих аспектов здоровья соком ростков пшеницы доказаны. И если бы автор получал доллар за каждое электронное письмо, обвиняющее в работе на Большие Злые Корпорации, которые боятся сока ростков пшеницы, он смог бы позволить себе этот шаманский напиток каждый день. Но был ли сок ростков пшеницы протестирован в соответствии с тем, что на самом деле представляет собой научное исследование?

Итак, познакомимся с азами научного исследования, которые позволят непрофессионалу определить обоснованность заявлений или уже опубликованных результатов предполагаемого исследования. Обоснованные заявления и реальные исследования будут сопровождать весь процесс, который автор собирается представить. Многие из них достаточно красноречивы. Если на плакате с соком Jamba Juice отсутствует описание метода исследований, использовавшегося для обоснования заявлений о его свойствах, либо если этот метод не похож на описанный в данной статье, то у вас есть веская причина относиться скептически к любым заявлениям на плакате. Если что-то работает, то его создатели должны быть счастливы доказать это вам.

Исследования в области медицины, например, проводятся в формате клинического исследования, как называю его я и мои коллеги. Более формально оно известно, как рандомизированное контролируемое исследование. Те же общие принципы применяются к любого рода научному исследованию. Использование в названии метода слова «рандомизированное» означает, что субъекты распределяются на группы одинакового размера случайным образом. После того как рандомизация проведена тщательно и ответственно, применяются статистические методы для исключения какой-либо предвзятости при распределении субъектов. При этом ни участники, ни организаторы не должны знать, как именно проходило деление на группы. Не сомневайтесь, даже этот, казалось бы, простой первый шаг исследования требует тщательной проработки. Именно такое всестороннее внимание к деталям отличает реальное исследование от типичного бессистемного «исследования», о котором говорят сторонники большинства псевдонаучных феноменов.

Одной из самых важных характеристик обоснованного исследования является контроль. Скажем, у вас болит запястье,  вы пробуете иглоукалывание, и состояние вашего запястья улучшается. Скорее всего, вы будете считать, что вы только что исследовали иглоукалывание, оно подействовало, доказав таким образом свою эффективность. Но на самом деле это исследование не было достоверным, потому что в нем не было контроля. Ваше запястье могло вылечиться естественным путем. Ваше запястье мог вылечить медиум из соседней комнаты. Нет способа узнать какой эффект имело иглоукалывание, и имело ли. Оно могло даже замедлить лечение. Вы не сможете наверняка сказать. Чтобы обеспечить самый базовый контроль, необходимо, чтобы было по меньшей мере два человека с одинаковыми травмами, один из которых был бы подвергнут иглоукалыванию, а другой — контролю. При этом все остальное должно быть одинаковым. Даже если вы принимаете аспирин от головной боли, и кто-то спрашивает вас, как он действует, вы никогда не сможете правдиво ответить на этот вопрос. Это связано с тем, что у вас не было альтернативной версии себя, не принимавшего аспирин, с которой можно было бы сравнить — для контроля. Имея контроль, вы имеете начало обоснованного исследования.

Слепое тестирование — это еще одна из основ исследования. Слепое тестирование подразумевает, что участников исследования держат в неведении. Если люди знают, что им дают, знают, что ожидается от их отчетов о результатах, или знают, к какого рода результатам надо стремиться, то результаты ненадёжны. Каждый из нас является живым человеком, и без слепого тестирования мы можем неосознанно исказить результаты или иметь возможность умышленно подстроиться под них. У каждого есть ожидания, стереотипы, предвзятость и ошибки восприятия. Исследователи знают это, как и то, что без слепого тестирования субъекты эксперимента бесполезны в большинстве подобных экспериментов.

Исследования с одинарным слепым тестированием хороши, но двойное слепое тестирование — лучше. В исследовании с двойным слепым тестировании ни субъект, ни организаторы исследований не знают к какой группе относится каждый конкретный субъект. Не знают также, дают ли они для исследования реальное вещество или плацебо. Исследование с двойным слепым тестированием исключает вероятность того, что организатор исказит результаты вследствие своего поведения, осознанно или неосознанно, предоставляя информацию субъекту исследования.

Исследования с тройным слепым тестированием зашли еще дальше. К двойному слепому тестированию добавляется обезличенность информации поступающей в обработку к специалистам по статистике. Для этого данные передаются в закодированном формате. Таким образом, они не могут ничего знать о каждом конкретном субъекте или организаторе. Они будут видеть что-то вроде «организатор В дал вещество Б субъекту А и у субъекта наблюдалось улучшение на 13%». Они не знают, был ли субъект А в контрольной или исследуемой группе. Они не знают, чем является вещество Б. И они не знают, кем является организатор В. При таком подходе получаем совершенно  непредвзятый результат, поскольку даже сами специалисты по статистике не знают значение данных.

После завершения исследования ваши результаты готовы к публикации. Если вы хотите, чтобы ваш отчёт воспринимался всерьёз, необходимо, чтобы он был подвергнут экспертной оценке и прошёл её.

Экспертная оценка подразумевает, что ваше исследование передается на рассмотрение экспертам в данной области. Кто же эти эксперты и кто их выбирает? Зависит от того, кто публикует исследование. Если это научный журнал, то его редакция обычно держит группу внештатных арбитров из предметной области. Эти арбитры, в большинстве случаев, являются заслуженными профессионалами данной области. Все они сами прошли через подобное сито и были опубликованы. Если вы ответственно подошли к проведению исследования, и ваши выводы хорошо подтверждаются свидетельствами, то арбитры ставят проходной балл для публикации.

Предположим, исследователь НЛО пишет документ, в котором говорит, что НЛО появляются из другого измерения. У него есть коллеги уфологи, которых он считает экспертами, готовые одобрить этот документ. Означает ли это, что он прошел экспертную оценку? Нет, потому что он сам выбрал арбитров. А что если редактор какого-нибудь подпольного проспекта про НЛО отберёт группу уфологов, которые одобрят этот документ? Будет ли это означать, что он прошел экспертную оценку? Нет, так как очевидно, что арбитры предвзяты и их научная проницательность не выдержит ни одну тщательную проверку научного сообщества. Издание должно быть известно в течение длительного времени, иметь строгие требования и тщательную экспертную оценку. Процесс экспертной оценки несовершенен, поскольку он опирается на индивидуумов, которые, несмотря на тщательное рассмотрение их самой комиссией, все равно остаются людьми, которые могут ошибаться, лениться, иметь умысел или один из тех дней, когда все валится из рук. При этом экспертная оценка приводит к успеху гораздо чаще, чем к неудаче. Если вы хотите, чтобы ваше исследование воспринимали всерьёз, оно должно пройти экспертную оценку.

Таковы основы: хорошо подготовленный эксперимент, надлежащая обработка данных, а также тщательная и прозрачная независимая экспертная оценка. Помните, что статьи, сообщающие о надёжных результатах всегда будут содержать подробные данные о проведенном исследовании  и его методах. Если заявление высосано из пальца, а подтверждающая документация по исследованию откровенно слаба, у вас есть веская причина относиться к нему скептически.

Переведено с разрешения автора Brian Dunning. Copyrighted by Skeptoid Media

Прочитать в оригинале

Перевод Тимур Исмаилов 2017

Редакция текста Владимир Максименко 2013-2017

Добавить комментарий

Войти с помощью: 

Ваш e-mail не будет опубликован. Обязательные поля помечены *