Использование статистических методов в науковедении

Кумулятивный мета-анализ
Кумулятивный мета-анализ, как и последовательное исключение исследований, позволяет оценить вклад каждого оригинального исследования. При этом исследования добавляются в анализ по одному в определенном порядке, например в соответствии с датой проведения или датой публикации. Кумулятивный мета-анализ позволяет понять, изменяется ли обобщенная оценка при добавлении новых исследований, и выявить момент, когда суммарные результаты становятся статистически значимыми. Если исследования включаются в соответствии с годом публикации, кумулятивный мета-анализ можно рассматривать как одну из форм байесовского анализа. В этом случае априорную вероятность рассчитывают по суммарным результатам уже включенных исследований, а апостериорную — после добавления результатов нового исследования.
Мета-регрессионный анализ
Дальнейший анализ чувствительности зависит от вида и особенностей изучаемого вопроса, а также от возможных причин неоднородности. С помощью мета-регрессионного анализа можно оценить влияние определенных переменных (ковариат) на величину лечебного эффекта, наблюдаемого в каждом оригинальном исследовании. Результаты мета-регрессион ного анализа обычно представляют в виде коэффициента наклона с указанием ДИ. Изучаемые характеристики могут отражать особенности исследования или особенности больных. Это может быть признак, общий для всех больных (например, конкретный способ введения препарата в каждом из исследова ний), или среднее значение определенного показателя для всей когорты (например, средний возраст). Средние значения параметров следует интерпрети ровать с осторожностью, поскольку они не всегда отражают важные для анализа особенности небольших групп больных.
Некоторые параметры встречаются во всех оригинальных исследованиях, например размер выборки, дисперсия результатов исследования и частота развития изучаемого исхода в контрольной группе (доля больных из контрольной группы, у которых наблюдается изучаемый исход). Наличие других зависит от изучаемого вопроса. В разных исследованиях эти параметры нередко собраны и представлены по-разному, в таких случаях они не пригодны для анализа. Существует несколько методов мета-регресси онного анализа, в том числе регрессия взвешенных наименьших квадратов, логистическая регрессия и иерархические модели.
На рис. 1 представлены варианты методологиче ских подходов при неоднородности данных различных исследований.
Анализ данных в подгруппах
Если во всех включенных в мета-анализ исследованиях имеются данные об определенных подгруппах больных, можно провести анализ данных в подгруппах. При этом объединение данных проводят по принципам, описанным выше. Такой анализ нередко позволяет лучше понять причины неоднородности данных. В большинстве случаев анализ данных в подгруппах проводят ретроспективно, поэтому его результаты следует интерпретировать с осторожностью. Особенно опасно выделять много подгрупп в зависимости от сочетания нескольких показателей (например, возраста больных и дозы лекарственного препарата) и сравнивать эффект лечения внутри очень маленьких подгрупп. Если эти подгруппы вновь сформированы из объединенных данных, результаты анализа, скорее всего, будут далеки от истины.



Рис. 1. Варианты методологических подходов при мета-анализе неоднород ных данных.
Другая трудность — отсутствие единообразия в представлении результатов оригинальных исследова ний, необходимых для проведения анализа в подгруппах. Таким образом, этот метод следует использовать в основном для выработки гипотез, хотя иногда с его помощью можно сделать важные выводы.
Оценка вероятности систематических ошибок
Оценка вероятности систематических ошибок — обязательная часть мета-анализа. Основные источники систематических ошибок при мета-анализе — недостаточно полный поиск данных и низкое качество исследований (а следовательно, и низкая воспроизводимость их результатов).
Систематическая ошибка, связанная с преимущественным опубликованием положительных результатов исследования
Исследователи, рецензенты и редакторы неохотно соглашаются на публикацию материалов исследований с отрицательными результатами, особенно если исследование было небольшим и нерандомизированным. Поэтому даже при тщательном поиске не всегда удается извлечь данные всех исследований. Такую систематическую ошибку трудно устранить, но выявить ее с помощью некоторых статистических методов вполне возможно. Для визуальной оценки этой систематической ошибки используют воронкооб разный график (рис. 2). Этот график отражает разброс величины лечебного эффекта в зависимости от размеров выборки. Симметричное распределение исследований, напоминающее перевернутую воронку, позволяет считать, что пропущенных исследований нет, а несимметричное распределение свидетельствует о систематической ошибке, связанной с преимущественным опубликованием положительных результатов исследова ния. Описаны также математические методы выявления, оценки и исправления такой систематической ошибки.
Методологическое качество исследований
Исследователи предлагают включать в мета-анализ показатели качества исследований, рассчитанные на основе специальных анкет. До настоящего времени не было выявлено устойчивой корреляции между результатами оценки качества исследований по любой шкале и лечебным эффектом. Помимо таких характеристик, как тип и особенности проведения исследований, общих для всех мета-анализов, при расчете показателей методологического качества могут применяться другие характеристики, необходимые для проведения конкретного мета-анализа. Показано, что при низком качестве исследований оценка эффективности лечения часто оказывается завышенной из-за недостаточно тщательного применения слепого метода или потому, что исследователи имели возможность повлиять на рандомизацию.
Представление результатов
Обычно результаты мета-анализа представляют графически (рис. 3) в виде точечных оценок с указанием ДИ. Это позволяет показать вклад результатов отдельных исследований, степень неоднородности этих результатов и обобщенную оценку величины эффекта. Результаты мета-регрессионного анализа можно представить в виде графика, по оси абсцисс которого отложены значения анализируемого показателя, а по оси ординат — величина лечебного эффекта. Кроме того, следует указать результаты анализа чувствительности по ключевым параметрам (в том числе сравнение результатов применения моделей постоянных и случайных эффектов, если эти результаты не совпадают). Такой показатель, как ЧБНЛ, облегчает понимание клинического значения результатов мета-анализа.



Рис. 2. Воронкообразный график, позволяющий выявить систематическую ошибку, связанную с преимущественным опубликованием положительных результатов исследования.
На графике представлены данные мета-анализа, посвященно го оценке эффективности внутривенного введения стрептоки назы при остром инфаркте миокарда. Относительный риск (ОР) смерти в каждом исследовании сопоставлен с размером выборки (весом исследования). Точки на графике группируют ся вокруг средневзвешенного значения ОР (показано стрелкой) в виде симметричного треугольника (воронки), внутри которого размещаются данные большинства исследований. В опубликованных материалах небольших исследований эффект лечения оказывается завышенным по сравнению с более крупными исследованиями. Асимметричное распределение точек означает, что некоторые небольшие исследования с отрицательными результатами и значительной дисперсией не были опубликованы, т.е. возможна систематическая ошибка, связанная с преимущественным опубликованием положительных результатов. График показывает, что небольших (10—100 участников) исследований, в которых ОР смерти превышал 0,8, значительно меньше, чем аналогичных исследований, в которых этот показатель был ниже 0,8, а данные средних и крупных исследований расположены практически симметрично. Таким образом, некоторые небольшие исследования с отрицательными результатами, вероятно, не были опубликованы. Кроме того, график позволяет легко выявить исследования, результаты которых существенно отличаются от общей тенденции.
Обобщение других видов данных
Мета-анализ исследований, в которых оценивалась информативность диагностических методов
Еще одна важная область применения мета-анализа — обобщение данных о чувствительности и специфичности диагностических методов, оцениваемых в разных исследованиях. Считается, что полученная с помощью взвешенной линейной регрессии характеристическая кривая, отражающая взаимосвязь между чувствительностью и специфичностью, позволяет избежать недооценки диагностического теста. Эта кривая представляет собой график, где по одной оси отложена доля истинноположительных результатов (чувствительность), а по другой — доля ложноположительных результатов (1 - специфичность).
Мета-анализ других нерандомизированных неконтролируемых исследований
С помощью мета-анализа можно обобщать результаты неконтролируемых когортных исследований. Принципы этого объединения такие же, как и для рандомизированных испытаний, но анализировать и интерпретировать результаты нерандомизированных и неконтролируемых исследований нужно с большей осторожностью, поскольку в них высока вероятность систематических ошибок. Особый интерес представляет обобщение данных о дозозависимых эффектах при возрастающем воздействии возможных этиологических факторов на изучаемый исход (например, о связи между продолжительностью пассивного курения и развитием рака легкого).
Мета-анализ данных о конкретных больных
В большинстве случаев при проведении мета-анализа используют обобщенные данные о сравнивае мых группах больных в том виде, в каком они приводятся в статьях. Но иногда исследователи стремятся более детально оценить исходы и факторы риска у отдельных больных. Эти данные могут быть полезны при анализе выживаемости и многофакторном анализе. Мета-анализ данных о конкретных больных стоит дороже и требует больше времени, чем мета-анализ групповых данных; для его проведения необходимо сотрудничество многих исследователей и жесткое соблюдение протокола. Однако и результаты такого мета-анализа более надежны.
А Б



Рис. 3. Результаты стандартного и кумулятивного мета-анализа данных, полученных в одних и тех же исследованиях.
А. Графическое представление результатов стандартного мета-анализа: относительный риск смерти или прогрессирования ВИЧ-инфекции до клинических проявлений СПИДа при раннем (группа лечения) или отсроченном (группа контроля) начале терапии зидовудином. Относительный риск прогрессирования в каждом исследовании и его обобщенная оценка представлены в виде точек, а доверительные интервалы (ДИ; обычно 95% ДИ) изображены горизонтальными линиями. Исследования представлены в соответствии с датой публикации. Относительный риск <1 означает снижение числа исходов в группе лечения по сравнению с группой контроля.
Б. Результаты кумулятивного мета-анализа данных, полученных в тех же исследованиях. Точки и линии обозначают соответствен но значения относительного риска и 95% ДИ обобщенных данных после включения в анализ каждого дополнительного исследования. Если нет существенной неоднородности данных, при добавлении последующего исследования ДИ сужается.
N — число больных в исследовании; Nе — суммарное число больных.
Количественное объединение данных различных клинических исследований с помощью мета-анализа позволяет получить результаты, которые невозможно извлечь из отдельных клинических исследований. Мета-анализ — сравнительно новый раздел клинической медицины. Как и следовало ожидать, имеются расхождения между результатами крупных испытаний и мета-анализами менее масштабных исследований, а также между разными мета-анализами, посвященными одной проблеме. Это заставляет разрабатывать новые количественные методы анализа Обобщение данных многих исследований требует тщательного применения строгих количественных методов анализа, а результаты этого обобщения нужно интерпретировать достаточно осторожно. Мета-анализ — не "палочка-выручалочка", решающая проблему научной доказательности, и не стоит заменять им клинические рассуждения. Кроме того, достоверный мета-анализ нельзя провести без строгого, единообразного представления результатов оригинальных исследований.

Заключение

Применение статистических методов весьма широко, практически во всех вузах и НИИ, на многих заводах есть вычислительные центры, среди программ обычно имеются статистические. Большинство статей в технических, медицинских, социологических изданиях содержат упоминания о применении статистических методов. Конечно, эти методы обычно просты (расчет среднего, выборочной дисперсии, критерия Стьюдента) и часто применяются неквалифицированно - например, критерий Стьюдента используется для наблюдений, распределение которых явно отличается от нормального, обычно применяется одномерная статистика. Именно поэтому все 11 государственных стандартов по прикладной статистике относились к ней. Многомерный статистический анализ, требующий расчетов на ЭВМ, применяется гораздо реже. Новые направления такие, как статистика объектов нечисловой природы, используются пока в единичных случаях.
По нашей оценке, в России имеется порядка 100 тысяч специалистов различных прикладных областей, постоянно использующих статистические методы в своей работе. Из-за отсутствия контрольной системы, низкой квалификации, огромного количества не всегда высококачественных публикаций по прикладной статистике деятельность этих специалистов зачастую нельзя считать научно обоснованной.
Отсутствие организационной структуры прикладной статистики как области прикладной (инженерной) деятельности связано с тем, что работы в этой области от пионерских попыток давно уже перешли к “массовому производству”, однако факт этого перехода недостаточно осознан как самими специалистами, так и организаторами науки и производства. В результате работы ведутся отдельными подразделениями и специалистами, как следствие - дублирование и низкий научно-технический уровень разработок.
Для обеспечения широкого внедрения современных методов статистической обработки данных следует прежде всего установить основные требования к ним и те характеристики, которые необходимо учитывать при выборе метода для обработки конкретных данных и при описании метода в нормативно-технической и методической документациях, а также в справочной, учебной, научной и технической литературе .
Совершенно необходима и классификация статистических методов, позволяющая прикладнику ориентироваться в них, которая в настоящее время отсутствует. Имеющиеся учебники можно рассматривать как введение в предмет, специальные монографии посвящены отдельным направлениям, что связано обычно с субъективной оценкой значимости тех или иных направлений. Очевидно, причина отсутствия приемлемой классификации в том, что объем знаний по прикладной статистике давно превысил индивидуальные возможности восприятия. 
Так, в трехтомнике Кендалла и Стьюарта около 2000 ссылок, т. е. ~2 % от имеющихся к настоящему времени актуальных работ. Из сказанного вытекает, что необходим специальный методологический и гносеологический анализ массива публикаций по прикладной статистике. Для проведения обоснованной классификации необходимо предварительное “освоение предметной области” . Целям подобной “предклассификации” служит выделение основных характеристик статистических методов обработки данных.
Кроме перечня общих требований и характеристик, необходимы предназначенные для непосредственного применения методические документы по конкретным статистическим методам, выполненные на современном научном уровне. Что вытеснить устаревшие и неверные методы, такие документы должны иметь основу.
Чтобы представить себе будущее прикладной статистики, сравним ее с метрологией - “наукой о единстве мер и точности измерений”. Это сравнение правомерно, поскольку с точки зрения современной теории измерений результаты статистической обработки данных - это косвенные измерения, полученные расчетным путем по результатам прямых измерений - исходным данным.
Вопросами метрологии занимается ряд научно-исследовательских институтов . Промышленные предприятия выпускают соответствующие средства измерений. Методики выполнения измерений стандартизированы, за состоянием средств измерений и правильностью их применения на предприятиях и в организациях всех отраслей народного хозяйства осуществляется метрологический надзор силами лабораторий государственного надзора территориальных органов Госстандарта.
Аналогом средств измерения является нормативно-техническая, методическая и программная документация, а также сами программы и средства вычислительной техники. В настоящее время разработку ведут многие группы, малые по численности, в основном для нужд собственной организации (предприятия), без должной координации и обеспечения внедрения программных разработок, в результате чего наблюдается сочетание дублирования и низкого качества разработок. Что же касается контрольной системы, то она полностью отсутствует. Рецензии и отдельные критические разборы не имеют правовой силы.
Представляется своевременным рассмотреть вопрос о целесообразности реорганизации прикладной статистики, например по образцу метрологии. С чего начать реорганизацию? 
Обсудим положение специалиста прикладной области, желающего применить статистические методы в своей работе. Казалось бы, можно непосредственно воспользоваться научной или учебной литературой, пакетами программ. Однако на этом пути встают два основных препятствия. Во-первых, научная литература имеет целью изложение новых научных результатов, а поэтому в подобной литературе и документации пакетов зачастую не удается найти подробной, и законченной методики анализа статистических данных в определенной ситуации. Например, гамма-распределение широко обсуждается в научной литературе, по крайней мере, с 1921 г., когда Р. Фишер на его примере сравнивал эффективность различных методов оценивания параметров , однако при разработке ГОСТ 11.011-83 “Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения” лишь 50 % материала нам удалось построить на данных литературных источников, остальные 50 % основаны на результатах исследований, проведенных при подготовке стандарта. Во-вторых, в литературе по статическим методам встречается довольно большое число устаревших или даже неверных утверждений
Из сказанного вытекает, что специалисту прикладной области необходимы методические материалы и хорошо документированные пакеты программ, содержащие полностью описанные алгоритмы обработки и интерпретации статистических данных и выполненные на современном научно-техническом уровне. Кроме того, необходимы правовые меры, позволяющие исключить из пользования ошибочные рекомендации.
Только научно-обоснованные нормативно-технические и методические документы позволят обеспечить современный научный уровень статистических методов, предназначенных для использования в производственных условиях, в отраслевых НИИ и КБ.
Не менее важно использование научно-технической документации при обработке данных, полученных в ходе научных исследований. Практика выработала определенное представление о способах обработки, признанных “стандартными” в соответствующих областях. Так, судя по медицинским журналам, в настоящее время в медицинских научных исследованиях “стандартной” является проверка однородности двух выборок (с целью обнаружения различия двух совокупностей) с помощью критерия Стьюдента. Этот стихийно выработавшийся “стандарт” не вполне соответствует современным научным представлениям, согласно которым однородность целесообразно проверять с помощью непараметрических критериев – критерия Смирнова или, при альтернативе сдвига, критерия Вилкоксона и др. 
Регрессионный анализ ассоциируется с “методом наименьших квадратов”, хотя по современным воззрениям “метод наименьших модулей” представляется более предпочтительным. Поразительно живучим является представление о широкой применимости нормального закона распределения, несмотря на отсутствие в большинстве прикладных областей подтверждений его применимости.
Задачи классификации многие связывают с построением иерархической системы типа биологической систематики живых организмов, хотя имеется масса иных подходов . Применимость вероятностно-статистических методов по традиции связывают с частотным подходом Мизеса, с наличием “статистической однородности”, “статистического ансамбля”, с возможностью проведения большого числа опытов, хотя уже более 50 лет теория вероятностей развивается как аксиоматическая математическая дисциплина, и мизесовский подход превратился в тормоз развития, хотя в начале XX в. он был прогрессивным. 
Как уменьшить область влияния этих и других устаревших догм, ставших стандартами мышления? Один из создателей современной физики Макс Планк говорил: “Новая научная истина побеждает не потому, что ее противники убеждаются в ее правильности и прозревают, а лишь по той причине, что противники постепенно вымирают, а новое поколение усваивает эту истину буквально “с молоком матери”. Но у нас нет времени ждать “постепенного вымирания” сторонников устаревших догм.
Идея стандартизации математических методов имеет давнюю историю. Возможно, наиболее известной попыткой является многотомный трактат Н. Бурбаки “Элементы математики”. Недаром один из разделов программной статьи Н. Бурбаки “Архитектура математики” называется: “Стандартизация математических орудий”. Изданная “Математическая энциклопедия” в пяти томах и подготавливаемая энциклопедия “Вероятность и математическая статистика” - отражение той же тенденции. 
По сравнению с трактатом Н. Бурбаки НТД по прикладной статистике и другим статистическим методам должны обладать тем преимуществом, что в них будет содержаться все необходимое для обработки конкретных реальных данных, в то время как “Трактат” посвящен наиболее абстрактным разделам чистой математики. Фактически в качестве “стандарта” выступает многократно используемая программа расчетов на ЭВМ. В связи с лавинообразным ростом парка ЭВМ, и в частности персональных компьютеров, особую актуальность приобретает задача обеспечения высокого качества пакетов прикладных статистических программ.
Итак, статистические методы опираются на развитую теорию и продемонстрировали свою полезность в отраслях народного хозяйства. Однако анализ положения дел в области применения статистических методов показывает явное неблагополучие, в результате которого накопленный в стране научный потенциал используется далеко не в полной мере.
Следовательно, необходимы специальные меры для усиления взаимосвязи между двумя типами специалистов в области статистических методов. Один тип - это математики, разрабатывающие и изучающие статистические методы; в настоящее время они сосредоточены в основном в вузах и академических институтах. Другой тип - это специалисты отраслей народного хозяйства, которые применяют статистические методы для решения задач своих отраслей. Грубо говоря, математики изготавливают инструмент, прикладники его применяют. Во втором случае применение статистических методов выступает как вид инженерной деятельности. 
Статистические методы являются весьма эффективными как при управлении качеством продукции, так и при решении других производственных и научных задач во всех отраслях народного хозяйства. Они позволяют получать значительный экономический эффект, принимать научно обоснованные решения.
Эффективность применения этих методов в значительной степени повышается благодаря их унификации и стандартизации. При этом с одной стороны, достигается упорядочение методов в зависимости от задач и условий применения, с другой - для широкого использования рекомендуются путем стандартизации хорошо обоснованные наукой и апробированные на практике методы. НТД на статистические методы должны излагаться и оформляться в доступной инженерам форме с удобными для пользования таблицами, программным обеспечением.
Наиболее эффективными формами внедрения в отраслях народного хозяйства статистических методов является введение их в государственные стандарты на конкретные виды продукции в разделы “Приемка”, “Методы контроля (испытаний, анализа, измерений)” или прямое их использование при разработке технологии контрольных операций, средств управления технологическими процессами и т. д.
В настоящее время статистические методы, особенно их современные модификации, активно применяются лишь на отдельных промышленных предприятиях и НИИ, хотя нормативно-техническая и методическая документации и пакеты программ (диалоговые системы), разработанные к настоящему времени, позволяют использовать их гораздо шире. Причинами тому являются:
а) отсутствие в действующей НТД на конкретные виды продукции в разделах “Приемка” и “Методы контроля (испытаний, анализа, измерений)” для изготовителей и потребителей четких указаний о порядке обработки данных, вследствие чего в НТД допускаются противоречия, а иногда и неправильные толкования, которые по своему содержанию не соответствуют современному научно-техническому уровню;
б) слабое обоснование с правовой точки зрения разделов “Приемка” и “Методы контроля” многих действующих НТД на конкретные виды продукции, в которых применяются выборочные методы прикладной статистики, отсутствие в них четких указаний о взаимоотношениях поставщика и потребителя при оценке результатов обработки данных, при решении вопроса об экономической целесообразности тех или иных методов, гарантиях и т. д.;
в) отсутствие специальной подготовки инженерно-технических работников непосредственно на предприятиях и в НИИ, в том числе и знания пакетов программ и НТД по прикладной статистике и другим статистическим методам;
г) отсутствие на предприятиях заинтересованности во внедрении статистических методов.

Список литературы

Antman E.M., Lau J., Kupelnick B., Mosteller F., and Chalmers I. A comparison of results of meta-analysis of randomised control trials and recommendations of clinical experts. Treatment for myocardial infarction. JAMA 1992;268:240—8
Begg С.В. Publication bias. In: Cooper H., Hedges L., eds. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
Berlin J.A., Antman E.M. Advantages and limitations of metaanalytic regressions of clinical trials data. Online J Curr Clin Trials. 4 June 1994: Doc. No. 13
Berlin J.A., Laird N.M., Sacks H.S., Chalmers T.C. A comparison of statistical methods for combining event rates from clinical trials. Stat Med 1989;8:141—51
Boizak S., Ridker P.M. Discordance between meta-analyses and large-scale randomized, controlled trials. Examples from the management of acute myocardial infarction. Ann Intern Med 1995;123:873—7
Chalmers I., and Altman D.G. Systematic reviews. London: BMJ Publishing Group; 1995:1
Chalmers T.C., Smith H. Jr., Blackburn B., Silverman B., Schroeder B., Reitman D., et al. A method for assessing the quality of a randomized control trial. Control Clin Trials 1981;2:31—49.
Cooper H., Hedges L.V. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
Counsell С. Formulating questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 1997;127:380—7. Международный журнал медицинской практики 1999;4:20—8
Dear K.B., Begg C.B. An approach for assessing publication bias prior to performing a meta-analysis. Statistical Science 1992;7:237—45
Dumouchel W. Meta-analysis for dose-response models. Stat Med 1995;14: 679—85.
Ellis J., Mulligan I., and Sacket D.L. Inpatient general medicine is evidence based. Lancet 1995;346:407—10
Fleiss J.L. Statistical Methods for Rates and Proportions, 2d ed. New York: J Wiley 1981;161—5
Gelman A., Carlin J.B., Stern H.S., Rubin D.B. Bayesian Data Analysis. London: Chapman & Hall; 1995:148—54
Hedges L.V. Modeling publication selection effects in random effects models in meta-analysis. Statistical Science 1992;7:246—55
Hedges L.V., Olkin I. Statistical Methods for Meta-Analysis. Orlando: Academic Pr; 1985
Irwig L., Tosteson A.N., Gatsonis C., Lau J., Colditz G., Chalmers T.C., et al. Guidelines for meta-analyses evaluating diagnostic tests. Ann Intern Med 1994;120:667—76
Last J.M. A dictionary of epidemiology. New York: Oxford University Press; 1988:81
Lau J., Schmid C.H., Chalmers T.C. Cumulative meta-analysis of clinical trials builds evidence for exemplary medical care. J Clin Epidemiol 1995;48:45—57
Mantel N., Haenszel W. Statistical aspects of the analysis of data from retrospective studies of disease. J Natl Cancer Inst 1959;22:719—48
McQuay H.J., Moore R.A. Using numerical results from systematic reviews in clinical practice. Ann Intern Med 1997;126:712—20
Morgenstern H. Uses of ecologic analysis in epidemiologic research. Am J Public Health 1982;72:1336—44
Schurtz K.F., Chalmers I., Hayes R.J., Altman D.G. Empirical evidence of bias. Dimension of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995;273:408—12
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985, С. 215
Афифи А, С. Эйзен. Статистический анализ: Подход с использованием ЭВМ. — М.: Мир, 1982, С.388
Бикел П., Доксам К. , op.cit., C. 256
Будилова Е. В., Дрогалина Ж. А., Терехин А. Т. Основные направления современной науки и ее математический аппарат: анализ публикаций.// Журнал общей биологии. — 1995. с.179-189
Бурбаки Н. Очерки по истории математики. - М.: ИЛ, 1963 , С. 253
Вентцель Е. Теория вероятностей. — М.: Изд-во «Наука», 1989
Гублер Е. В. Вычислительные методы анализа и распознавания - Л.: Медицина, 1978
Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973
Клайн М. Математика. Утрата определенности. - М.: Мир. 1984
Козлов В. С. Общая теория статистики. - М.: Статистика, 1995
Коротков В. П., Тайн Б. А. Основы метрологии и теории точности измерительных устройств. - М.: Изд-во Стандартов, - 1978., С.5
Купцов В.И., Предмет философского исследования, М., 1997, С.58
Лакин Г. Ф. Биометрия: Учеб. пособие для биол. спец. вузов — 4-е изд., перераб. и доп. — М.: Высшая шк., 1990, С.20.
Лапидус В. А. Стандарты и качество. 1998. № 3 С. 36-43
Любищев А. А. Об ошибках в применении математики в биологии. 1. Ошибки от недостатка осведомленности.// Журнал общей биологии. — 1969. — Т.30. вып.5. — с.572—584
Мудров В.И., Кушко В.Л. Метод наименьших модулей.- М.: Знание, 1971
Нарский И.С., Методология науки М.: Прогресс, 1986
Новые идеи в математике, сб. N. 1, с. 87.
Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов//Заводская лаборатория, 1992, вып.1, с.67-74
Пасхавер И. С.. Яблочник А. Л. Общая теория статистики. - М.: Финансы и статистика, 1983
Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. – М. 1997
Рокицкий П. Ф. Биологическая статистика. Минск, Вышэйшая школа, 1973, С.45
Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989; — 510с. Т. 2: 1990
Сэхляну В. О применении математики в биологии и медицине.//Вопросы философии. 1990, вып.10, стр. 102
Тарасенко Ф. П. Непараметрическая статистика. — Томск, изд-во ТГУ, 1976
Фейерабенд П. Избранные труды по методологии науки: Переводы с англ и нем./Общ. ред. и авт. вступ. ст. И. С. Нарский. — М.: Прогресс, 1986, С. 61
Холлендер М., Вульф Д. А. Непараметрические методы статистики. - М.: Финансы и статистика. 1993
Хрестоматия по истории философии, М., 1988, С. 59-74
Юревич А. В., Цапенко И. П. Функциональный кризис науки//Вопросы философии. 1998, вып.1, стр. 17-29
Алфавитный указатель
Антман Р. 4 
Берлин И. 4
Бессель Ж. 33
Боден Ж. 6 
Больцман Д. 9 
Браунли К 4 
Будилова Е 4 
Бурбаки Н 4, 53 
Галилей Г. 6 
Госс Г. 5 
Декарт Р. 5
Кендалл Д 4,  50 
Кетле А. 10 
Кранке 34 
Купер 4 
Кутт 34
Лейбниц В. 5, 6 
Любищев 4 
Максвелл Р. 9 
Мантель 41 
Мендель Н. 10
Нейман Д. 27, 29 
Орлов А. 4 
Пирсон К. 7, 27, 29 
Пифагор 5 
Планк М. 53 
Платон 5 
Поликлет 5 
Рунге 34 
Спиноза 5 
Стьюарт 50 
Стьюдент 21, 53 
Тарасенко 4
Фишер 4, 26, 27, 29, 31, 32,51
Ханцель 41 
Шредингер М. 10 
Шурц 4 
Якоби 33 

Тарасенко Ф. П. Непараметрическая статистика. — Томск, изд-во ТГУ, 1976
Купцов В.И., Предмет философского исследования, М., 1997, С.58
Хрестоматия по истории философии, М., 1988, С. 59-74
Там же, С. 97
Цит. по: Новые идеи в математике, сб. N. 1, с. 87.
Цит по: П. Фейерабенд. Избранные труды по методологии науки: Переводы с англ и нем./Общ. ред. и авт. вступ. ст. И. С. Нарский. — М.: Прогресс, 1986, С. 61
Там же, с. 114
Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов//Заводская лаборатория, 1992, вып.1, с.67-74
Лакин Г. Ф. Биометрия: Учеб. пособие для биол. спец. вузов — 4-е изд., перераб. и доп. — М.: Высшая шк., 1990, С.20.
Там же, С. 21
Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989, С. 215
Нарский И.С., Методология науки М.: Прогресс, 1986
Там же, С.98
Будилова Е. В., Дрогалина Ж. А., Терехин А. Т. Основные направления современной науки и ее математический аппарат: анализ публикаций.// Журнал общей биологии. — 1995. с.179-189
Бикел П., Доксам К. , op.cit., C. 256
Юревич А. В., Цапенко И. П. Функциональный кризис науки//Вопросы философии. 1998, вып.1, стр. 17-29
Там же
См., напр: Любищев А. А. Об ошибках в применении математики в биологии. 1. Ошибки от недостатка осведомленности.// Журнал общей биологии. — 1969. — Т.30. вып.5. — с.572—584
А. Афифи, С. Эйзен. Статистический анализ: Подход с использованием ЭВМ. — М.: Мир, 1982, С.388
Там же, С. 390
Купцов В.И., op.cit., C.76
Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989; — 510с. Т. 2: 1990
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985, С. 215
Там же
См., напр: Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973
Пасхавер И. С.. Яблочник А. Л. Общая теория статистики. - М.: Финансы и статистика, 1983
Козлов В. С, Общая теория статистики. - М.: Статистика, 1995
Пасхавер И. С.. Яблочник А. Л. Общая теория статистики. - М.: Финансы и статистика, 1983
Рокицкий П. Ф. Биологическая статистика. Минск, Вышэйшая школа, 1973, С.45
Там же, С. 107
Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973
Сэхляну В. О применении математики в биологии и медицине.//Вопросы философии. 1990, вып.10, стр. 102
Там же, с.103
Е. С. Вентцель. Теория вероятностей. — М.: Изд-во «Наука», 1989
Там же
Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов//Заводская лаборатория, 1992, вып.1, с.67-74
Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989;
Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ./ Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистики, 1989
 Лапидус В. А. Стандарты и качество. 1998. № 3 С. 36-43
Рокицкий П. Ф. Биологическая статистика. Минск, Вышэйшая школа, 1973
Кендалл М., Стьюарт А. Статистические выводы и связи. Пер. с англ. — М.: Главная редакция физ. — мат. литературы. 1973
Там же
Клайн М. Математика. Утрата определенности. - М.: Мир. 1984
Козлов В. С. Общая теория статистики. - М.: Статистика, 1995
Гублер Е. В. Вычислительные методы анализа и распознавания - Л.: Медицина, 1978
См., напр, Козлов В.В., op.cit
Тарасенко Ф. П. Непараметрическая статистика. — Томск, изд-во ТГУ, 1976
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985
Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. – М. 1997
Холлендер М., Вульф Д. А. Непараметрические методы статистики. - М.: Финансы и статистика. 1993
П. Фейерабенд. Избранные труды по методологии науки: Переводы с англ и нем./Общ. ред. и авт. вступ. ст. И. С. Нарский. — М.: Прогресс, 1986
Chalmers I., and Altman D.G. Systematic reviews. London: BMJ Publishing Group; 1995:1
Antman E.M., Lau J., Kupelnick B., Mosteller F., and Chalmers I. A comparison of results of meta-analysis of randomised control trials and recommendations of clinical experts. Treatment for myocardial infarction. JAMA 1992;268:240—8
Ellis J., Mulligan I., and Sacket D.L. Inpatient general medicine is evidence based. Lancet 1995;346:407—10
Last J.M. A dictionary of epidemiology. New York: Oxford University Press; 1988:81
Counsell С. Formulating questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 1997;127:380—7. Международный журнал медицинской практики 1999;4:20—8
McQuay H.J., Moore R.A. Using numerical results from systematic reviews in clinical practice. Ann Intern Med 1997;126:712—20
Cooper H., Hedges L.V. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
Fleiss J.L. Statistical Methods for Rates and Proportions, 2d ed. New York: J Wiley 1981;161—5
Mantel N., Haenszel W. Statistical aspects of the analysis of data from retrospective studies of disease. J Natl Cancer Inst 1959;22:719—48
Gelman A., Carlin J.B., Stern H.S., Rubin D.B. Bayesian Data Analysis. London: Chapman & Hall; 1995:148—54
Berlin J.A., Laird N.M., Sacks H.S., Chalmers T.C. A comparison of statistical methods for combining event rates from clinical trials. Stat Med 1989;8:141—51
Boizak S., Ridker P.M. Discordance between meta-analyses and large-scale randomized, controlled trials. Examples from the management of acute myocardial infarction. Ann Intern Med 1995;123:873—7
Hedges L.V., Olkin I. Statistical Methods for Meta-Analysis. Orlando: Academic Pr; 1985
Lau J., Schmid C.H., Chalmers T.C. Cumulative meta-analysis of clinical trials builds evidence for exemplary medical care. J Clin Epidemiol 1995;48:45—57
Morgenstern H. Uses of ecologic analysis in epidemiologic research. Am J Public Health 1982;72:1336—44
Berlin J.A., Antman E.M. Advantages and limitations of metaanalytic regressions of clinical trials data. Online J Curr Clin Trials. 4 June 1994: Doc. No. 13
Hedges L.V. Modeling publication selection effects in random effects models in meta-analysis. Statistical Science 1992;7:246—55
Begg С.В. Publication bias. In: Cooper H., Hedges L., eds. The Handbook of Research Synthesis. New York: Russell Sage Foundation; 1994
Dear K.B., Begg C.B. An approach for assessing publication bias prior to performing a meta-analysis. Statistical Science 1992;7:237—45
Chalmers T.C., Smith H. Jr., Blackburn B., Silverman B., Schroeder B., Reitman D., et al. A method for assessing the quality of a randomized control trial. Control Clin Trials 1981;2:31—49.
Schurtz K.F., Chalmers I., Hayes R.J., Altman D.G. Empirical evidence of bias. Dimension of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995;273:408—12
Irwig L., Tosteson A.N., Gatsonis C., Lau J., Colditz G., Chalmers T.C., et al. Guidelines for meta-analyses evaluating diagnostic tests. Ann Intern Med 1994;120:667—76
Dumouchel W. Meta-analysis for dose-response models. Stat Med 1995;14: 679—85.
Cook D.J., Witt L.G., Cook R.J., Guyatt G.H. Stress ulcer prophylaxis in the critically ill: a meta-analysis. Am J Med 1991;91:519—27
Любищев А.А., op.cit., C. 574
Орлов А.И., О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория, 1992, №1
Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. – М.1997
 Кендалл М., Стюарт А. Теория распределений. - М.: Наука. 1966.
Воронин Ю. А. Теория классифицирования и ее приложения. - Новосибирск: Наука, 1985
Коротков В. П., Тайн Б. А. Основы метрологии и теории точности измерительных устройств. - М.: Изд-во Стандартов, - 1978., С.5
Там же
Орлов А. И. / Заводская лаборатория. 1985. Т. 51. № 1. С. 60-62
Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973 , С.99
Холлендер М., Вульф Д. А. Непараметрические методы статистики. - М.: Финансы и статистика. 1983.
Мудров В.И., Кушко В.Л. Метод наименьших модулей.- М.: Знание, 1971
См., напр: Айвазян С. А., Бежаева 3. И., Староверов О. В. Классификация многомерных наблюдений. - М.: Статистика, 1974.
Цит по: Клайн М. Математика. Утрата определенности. - М.: Мир. 1994
Бурбаки Н. Очерки по истории математики. - М.: ИЛ, 1963 , С. 253












4