¿Qué es un Metaanálisis?

Dagoberto Ojeda D. ¹ y Javiera Wurth O. ²

Rev. chil. anest. Vol. 43 Número 4 pp. 343-350|doi:
PDF|ePub|RIS

• Los profesionales de la salud tradicionalmente han recurrido a los artículos de revisión de un tema como fuente de información confiable.

• La medicina basada en la evidencia ha sentado las bases para estructurar este tipo de sapiencia en la forma de revisiones sistemáticas y un tipo de resumen cuantitativo llamado metaanálisis.

• La idea de fondo es entregar un conocimiento sintetizado, reduciendo la subjetividad.

• Los metaanálisis han adquirido una importancia creciente en la toma de decisiones y conductas en medicina clínica, por ello, se debe estar familiarizado con esta metodología, conocer sus limitaciones y no confiar ciegamente en sus resultados.

• Pese a que la información entregada por esta herramienta epidemiológica parece ser más precisa y consistente, esta debe ser complementaria al juicio clínico en el proceso de toma de decisiones médicas.

• Los metaanálisis tienen sus limitaciones y, como todo trabajo de investigación, deben ser leídos críticamente.

Los términos metanálisis o metaanálisis o meta-análisis no han sido agregados a la nueva edición del Diccionario de la RAE. En las publicaciones españolas se usa con mayor frecuencia meta-análisis o metaanálisis, en la Revista Médica de Chile metaanálisis y en otras metanálisis. La tendencia actual es abandonar los guiones y mantener las dos vocales cuando se usan prefijos terminados en vocal (intraarticular, sobreestimulación), así que hablaremos de metaanálisis, aunque visual y auditivamente pareciera mejor metanálisis.

La medicina basada en la evidencia surgió como una manera de mantener el paso con el desarrollo acelerado de la ciencia médica y como un cambio del paradigma tradicional que reconocía en la intuición, la experiencia y el razonamiento fisiopatológico a árbitros idóneos para la toma de decisiones clínicas. Así se llegó a configurar una jerarquía de la evidencia científica que va desde los metaanálisis de ensayos clínicos en la cúspide hasta descender a las meras opiniones/observaciones clínicas (Figura 1) ¹ . Sin embargo, no hay acuerdo unánime al respecto, y hay quienes prefieren no tomar las conclusiones de una revisión sistemática o un metaanálisis como verdades absolutas, o considerarlos casi como un sinónimo de evidencia. Parece más ecléctico separar las investigaciones en prospectivas y retrospectivas y considerar en la cúspide de la evidencia sólo las prospectivas. Para prevenir conclusiones equívocas de un metaanálisis es conveniente saber la forma de interpretarlos adecuadamente y conocer los posibles sesgos que pudieran invalidarlos, pues son de una variada calidad. Un buen ensayo aleatorizado y con un tamaño muestral adecuado, pudiera aportar mejor información y ser más beneficioso para cambiar una conducta clínica que un metaanálisis sesgado. Por otra parte, un buen metaanálisis de estudios metodológicamente mal diseñados dará lugar a malos resultados estadísticos.

Figura 1 Jerarquía de la evidencia científica (según Manchikanti et al ¹ ).

La explosión de la literatura médica ocurrida a partir de la década del 70 hizo prácticamente imposible estudiar un tópico si no es con la ayuda de estrategias objetivas y sistemáticas. Es en ese terreno donde nacieron las revisiones sistemáticas y los metaanálisis.

Un metaanálisis consiste básicamente en fusionar estadísticamente los resultados de diversos estudios independientes pero en cierta medida combinables entre sí ² , con el objeto de verificar si existe un efecto que pueda ser evaluado estadísticamente. La primera referencia que se tiene de un estudio de este tipo es un artículo de Pearson ³ en 1904 que resumió los resultados de 11 estudios que se referían a los efectos de la vacuna contra la tifoidea. El término fue inicialmente aplicado en el ámbito de las ciencias sociales y la psicología y sólo a partir de los 80 empezó a usarse en medicina, para generalizarse en los 90 en las publicaciones médicas. Glass4 tiene el mérito de haber acuñado la palabra metaanálisis en un artículo publicado en 1976, definiéndolo como el análisis estadístico de una colección de resultados con el propósito de integrar sus hallazgos.

Revisión sistemática y metaanálisis son términos complementarios pero no sinónimos. Una visión detallada del tema se encuentra en el artículo sobre revisiones sistemáticas. Generalmente, las revisiones sistemáticas incluyen un metaanálisis, pero no necesariamente. Un metaanálisis es una técnica estadística que permite estimar cuantitativamente el beneficio del total de estudios técnicamente adecuados recopilados en una revisión sistemática. En términos simples, la revisión sistemática es la metodología y el metaanálisis un conjunto de herramientas estadísticas.

Un metaanálisis puede efectuarse después de una revisión sistemática o bien sin esta, simplemente combinando los resultados de varios estudios, lo que no es muy aconsejable porque probablemente se omitiría información de importancia, incurriendo en un sesgo de publicación. Por lo tanto, la calidad de un metaanálisis (análisis cuantitativo) dependerá de la calidad de la revisión sistemática que lo precede (análisis cualitativo). La calidad de los estudios seleccionados para una revisión sistemática puede ser evaluada mediante una lista de verificación llamada PRISMA ⁵ . No está de más recordar que los estudios susceptibles de ser incluidos en un metaanálisis deben establecer una comparación del efecto entre al menos dos grupos. La principal dificultad de combinar los resultados de múltiples estudios radica en la naturaleza diversa de estos, tanto en diseño como en la metodología utilizada; los más útiles son los ensayos clínicos controlados y aleatorizados; otros estudios clínicos son menos estrictamente controlados y por lo tanto, tienen un mayor sesgo ⁶ , como los estudios de cohorte o los de casos y control, corte transversal. Se entiende como sesgo, un error sistemático que lleva a una distorsión del parámetro que refleja el efecto investigado, alejándolo del valor verdadero. Además, existe diversidad en los tamaños muestrales y poblaciones estudiadas, lo que puede causar que la combinación de dichos estudios no entregue un efecto consistente y por el contrario este sea heterogéneo o diverso. Todo lo dicho anteriormente debe ser tomado en cuenta al evaluar la calidad y credibilidad de un metaanálisis. Un metaanálisis en sí consta de 2 etapas ⁵ :

1. Extracción de los datos de cada estudio individual y obtención del punto estimado o medida resumen del efecto.

2. Decidir si es apropiado combinar los resultados de los estudios y presentar el efecto final; esto involucra dar mayor importancia a los estudios que aportan mayor información. Habitualmente estos son los estudios con mayor cantidad de participantes (mayor tamaño muestral).

El objetivo de un metaanálisis es resolver si existe un efecto, si este efecto es positivo o negativo (favorable o desfavorable) y cuantificarlo en una cifra. El efecto se puede cuantificar como una medida de asociación binaria (riesgo relativo u odds ratio), si se trata de datos categóricos, o bien una diferencia estandarizada de medias en caso de datos continuos. Para corroborar la existencia de un efecto, obviamente deben seleccionarse aquellos trabajos en que exista una comparación entre 2 grupos. Idealmente estos estudios deberían ser exclusivamente ensayos clínicos aleatorizados para disminuir el riesgo de la aparición de sesgos.

Anatomía de un forest plot ⁵

Cuando se realiza un metaanálisis es de gran utilidad examinar los resultados de cada ensayo incluido y los globales en una representación gráfica. Esto se efectúa mediante un gráfico denominado “forest plot”, que permite una interpretación sencilla y rápida. Todo metaanálisis debe mostrar un forest plot. Para explicar este gráfico se presentará un metaanálisis (ficticio), que tiene el objetivo de averiguar si el uso de presión positiva al final de la espiración (PEEP) durante el intraoperatorio, es útil para disminuir la ocurrencia de atelectasias postoperatorias (Figura 2).

Figura 2 Forest plot de un metaanálisis (ficticio), para averiguar si el uso PEEP durante el intraoperatorio, es útil para disminuir la ocurrencia de atelectasias en el postoperatorio.

La línea vertical en la mitad del gráfico marca la zona donde el tratamiento y el control tienen el mismo efecto, cuando no hay diferencia entre ambos. En este caso se observa que el cuadrado que denota el efecto en la mayoría de los estudios está por debajo del 1 (a la izquierda de la vertical). La línea horizontal de la base tiene una escala de medición (menor y mayor que 1) y muestra el efecto del tratamiento: en el lado izquierdo, en la mitad inferior a 1 (pero mayor que cero) están los estudios que demuestran que el tratamiento es favorable (menor incidencia de atelectasias en el grupo con PEEP que en el grupo control). Como la medida de efecto utilizada es el riesgo relativo (OR, del inglés odds ratio), parecería que la incidencia de atelectasia es menor con el uso de PEEP.

El tamaño de los cuadrados indica el tamaño muestral; las líneas horizontales el intervalo de confianza de 95%. Cuando la línea del intervalo de confianza cruza la línea de nulidad del efecto, equivale a decir que estadísticamente no existe diferencia en el efecto entre grupo tratado y grupo control.

El “weight” o peso, denota la importancia que se dará al estudio en el cálculo del efecto combinado o “pooled”. Se calcula en base al inverso de la varianza; mientras mayor sea el tamaño muestral menor la magnitud del intervalo de confianza y, por tanto, menor la varianza y mayor el peso o importancia que se le dará al estudio. El rombo de la zona inferior muestra el efecto combinado o “pooled”; su ancho indica el intervalo de confianza. En este caso el efecto combinado de los estudios demuestra que el PEEP disminuye significativamente la incidencia de atelectasias postoperatorias: OR “pooled” (combinado) de 0,72, con un intervalo de confianza 95% inferior a 1, indicativo de que el PEEP Intraoperatorio disminuye en un 28% la incidencia de atelectasias postoperatoria (datos ficticios).

Heterogeneidad

Antes de pensar en usar una revisión sistemática para hacer un metaanálisis hay que hacer un estudio previo de “heterogeneidad” de los estudios utilizados, que no es más que la variabilidad que existe entre los estimadores que se han obtenido en cada uno de esos estudios. Para esto hay que medir la heterogeneidad, cuantificándola con un valor objetivo mediante test estadísticos llamados pruebas de heterogeneidad; mientras menos heterogéneos sean los resultados, más probable es que las diferencias entre los estudios se deban al azar y mientras mayor sea la heterogeneidad, más probable es que los resultados se deban a universos distintos.

Además del forest plot los software estadísticos entregan también los resultados de un metaanálisis en forma numérica (Tabla 1). En esta tabla se aprecian los mismos datos del forest plot y además aparecen 3 tests estadísticos.

Tabla 1 Tabla numérica de un metaanálisis (ficticio), para averiguar si el uso PEEP durante el intraoperatorio, es útil para disminuir la ocurrencia de atelectasias en el postoperatorio

El primero de ellos tiene el objetivo de decidir si existe homogeneidad del efecto combinado de los estudios incluidos en el metaanálisis ⁷ , homogeneidad del efecto significa que este es el mismo en todos los estudios y que las variaciones observadas se deben al azar. En realidad esta homogeneidad del efecto está siendo evaluada desde que decidimos investigar sobre un tópico ⁵ . En el ejemplo planteado, los autores desde antes tenían en mente un efecto beneficioso o al menos no perjudicial del PEEP Intraoperatorio. Sin embargo, los estudios clínicos pueden diferir en las características de los participantes, la severidad de su enfermedad, el resultado buscado, la dosis o intensidad de la intervención. También existe una homogeneidad metodológica: ensayos clínicos en paralelo o cross-over, aleatorización ciega, análisis con intención de tratar, etc. Por esto se recurre a la estadística para ratificar si el efecto es uno solo en forma matemática (con un valor de p como evidencia). Por efecto de la aleatorización utilizada en los ensayos clínicos, se observarán pequeñas diferencias en los resultados; si estas diferencias son más grandes que las esperadas por efecto del azar, se hablará de heterogeneidad estadística. Si visualmente no hay suficiente traslape entre los intervalos de confianza en el forest plot se debe sospechar la presencia de heterogeneidad ⁵ .

El test estadístico utilizado para decidir si hay homogeneidad es χ2 (Chi-cuadrado). La hipótesis nula es que existe homogeneidad, de manera que mientras menor sea el valor de p, menos error hay en rechazar dicha hipótesis; en este caso el valor de p es alto, por lo que no se rechaza y se asume que el efecto es homogéneo. Cuando un metaanálisis incluye pocos estudios, la potencia de este test para detectar heterogeneidad es baja y se pide un valor de p de 0,1 en vez del clásico 0,055.

La heterogeneidad en un metaanálisis puede cuantificarse a través del segundo test que aparece bajo la Tabla 1, llamado índice de inconsistencia o I2; este índice estadístico es menos influenciado por el número de estudios que se incluyen en el metaanálisis ⁵ . Hasta hace poco el test más utilizado era el Q de Cochrane, pero tiene una serie de debilidades (es un parámetro conservador, no cuantifica el grado de heterogeneidad y pierde potencia cuando el número de estudios es pequeño). Los valores de I2 van de 0% a 100%, considerándose habitualmente los límites 25%, 50% y 75% para delimitar una heterogeneidad baja, moderada y alta, respectivamente. En nuestro ejemplo se observa que no se rechaza la hipótesis de que existe heterogeneidad, puesto que tendríamos un 44% de probabilidad de error al hacerlo, corroborado por un segundo test que cuantifica la variación en el riesgo relativo debido a heterogeneidad en cero.

El tercer test estadístico que aparece bajo la Tabla 1 indica que el riesgo relativo es distinto de 1 (o sea que hay un efecto); en este caso se rechaza la hipótesis de que no hay efecto, puesto que el error asociado a esto es mínimo.

Si existe heterogeneidad se recomienda ⁵ :

1. Usar otro tipo de modelo estadístico para combinar el resultado de los estudios: el “random effect metanalysis”.

2. Dividir el estudio en subgrupos y analizar la heterogeneidad en cada uno.

3. Dividir en subgrupos y realizar una meta-regresión.

Suponiendo que en el ejemplo ficticio utilizado hubiera existido heterogeneidad, se analizará un segundo ejemplo (también ficticio), de un supuesto metaanálisis que investiga lo publicado respecto a la utilidad del PEEP para prevenir atelectasias postoperatorias, ahora en un subgrupo de pacientes obesos (Figura 3). Como se dijo anteriormente, al examen visual se observa que hay menos traslape entre las líneas horizontales de los intervalos de confianza que en el ejemplo anterior. El test de Chi-Cuadrado muestra que se debe rechazar la hipótesis de que exista homogeneidad del efecto, puesto que el error asociado a esto es mínimo (menor que 1%). La cantidad de variación en el riesgo relativo es muy alta; más de 65%.

Figura 3 Forest plot de un metaanálisis (ficticio), para averiguar si el uso PEEP durante el intraoperatorio en un subgrupo de pacientes obesos, es útil para disminuir la ocurrencia de atelectasias en el postoperatorio.

1- Heterogeneity chi-squared = 20,45 (d.f. = 7) p = 0,005

2- I-squared (variation in RR attributable to heterogeneity) = 65,8%

3- Test of RR = 1 : z = 1,62 : p = 0,106

Se realiza entonces un segundo análisis con el método de random effects. A grandes rasgos aquí se asume que cada estudio está estimando distintos efectos y que estos siguen una distribución gaussiana con una medida de resumen central (promedio de los efectos). Esto es lo que se muestra en el segundo rombo (inferior) del forest plot (Figura 3). Esta es otra manera de verificar si existe heterogeneidad: la magnitud de la diferencia entre el efecto combinado según análisis mediante efectos fijos o random; mientras mayor es la diferencia, mayor es el grado de heterogeneidad. ¿Con cuál nos quedamos? Se recomienda elegir el resultado obtenido con el método más conservador (efectos fijos) ⁵ . Una heterogeneidad mayor de 75% se considera excesiva, de manera que a ese nivel es mejor no reportar el resultado combinado o sea el metaanálisis no es plausible ⁸ . Sin embargo, pese a tener una alta heterogeneidad estadística también debe utilizarse el sentido común y, cuando todos los estudios muestran una clara dirección del efecto y el intervalo de confianza del efecto combinado no incluye al cero, no sería lógico declarar que no existe efecto ⁹ .

Como se dijo anteriormente si la heterogeneidad es demasiado alta es mejor reanalizar los datos separando a los estudios en subgrupos; por ejemplo PEEP y atelectasias postoperatorias en pacientes obesos separados de pacientes ancianos y de pacientes con patología pulmonar, y observar qué ocurre con la heterogeneidad según subgrupo. A esto también se le llama análisis de sensitividad ¹⁰ .

Finalmente, una meta-regresión consiste en analizar la variación en el efecto (variable dependiente) provocada por la característica o variable que se ocupó para subdividir los estudios incluidos. Por ejemplo: efecto del PEEP en la incidencia de atelectasias postoperatorias en pacientes obesos y no obesos.

A pesar de todo este análisis estadístico, debe tenerse presente que no poder demostrar heterogeneidad no siempre quiere decir que los estudios sean homogéneos.

Sesgo de publicación

Una crítica importante que podría hacerse a un metaanálisis es que omitiera estudios que pudieran ser importantes para obtener conclusiones válidas. Es sabido que los estudios con menor tamaño muestral, aquellos que no demuestran un efecto, en los que no hubo aleatorización producen menos interés en los comités editoriales de las revistas científicas para ser publicados ¹¹ . Es imposible, en cualquier área de investigación, saber cuántos estudios han sido ocultados o descartados. La tendencia actual a exigir el registro centralizado de todos los estudios que se emprenden es una iniciativa internacional diseñada para disminuir este sesgo.

El método más común para detectar este sesgo de publicación son los gráficos en embudo o “funnel plot” (Figura 4), que muestra los estudios incluidos en nuestro ejemplo del efecto del PEEP en atelectasia postoperatorias. Lo que este gráfico representa es la relación entre el efecto (calculado como el logaritmo del riesgo relativo o logrr) y el tamaño muestral de los estudios, expresado en forma de error estándar; a medida que disminuye el tamaño de los estudios los puntos se van alejando de la línea vertical del medio y van descendiendo dentro del gráfico. En el gráfico del ejemplo, se aprecia una simetría de los estudios (representados por los puntos) en el funnel plot. Una asimetría con concentración de puntos al lado derecho (el lado de valores mayores de riesgo relativo), sugeriría un sesgo de publicación.

Figura 4 Funnel plot del estudio ficticio sobre efecto del PEEP: cada punto representa un estudio; la forma de embudo simétrico sugiere la ausencia de sesgo de publicación.

Además del examen visual del funnel plot, existen test estadísticos que indican de manera más objetiva si existe un sesgo de publicación. En este ejemplo se usa el test de Harbord ¹² :

Test of H0: no small-study effects: p = 0,612

esto significa que no hay sesgo de publicación (no se rechaza la hipótesis de que NO hay sesgo de publicación).

Metaanálisis de datos continuos

Cuando el resultado de un metaanálisis involucra una variable cuantitativa continua, lo que se analiza es la diferencia estandarizada de medias. Una variable continua es aquella en la que en su escala de medición para dos valores contiguos existen infinitos valores intermedios. En este tipo de metaanálisis se admite que los datos asumen una distribución normal, con una distribución simétrica alrededor del promedio ⁵ . Este razonamiento desde ya introduce un sesgo, puesto que no siempre los datos continuos presentan una distribución normal. Por razones matemáticas se supone que los datos tienden a tener una distribución normal cuando los tamaños muestrales son muy grandes.

Para realizar un metaanálisis con datos continuos se requerirá registrar: 1) El tamaño muestral; 2) el promedio de los datos y 3) la desviación estándar. La desviación estándar no siempre es reportada; algunas veces puede ser deducida de los datos y en algunos casos puede ser necesario contactar al autor para poder calcularla.

Los datos continuos pueden estar en diferentes unidades de medición y no se puede combinar diferencias entre dos grupos que se midieron en diferentes unidades. La solución a este problema es calcular una diferencia estandarizada de medias (SMD), que corresponde a la diferencia entre los promedios de los grupos en comparación dividida por la desviación estándar promedio del estudio ⁵ ; lo que se comparará entonces serán los resultados entre los diferentes estudios en unidades de desviación estándar. Por ejemplo el peso de los recién nacidos cuyas madres fueron sometidas a alguna terapia (Tabla 2).

Tabla 2 Diferencia Estandarizada de Medias (SMD)

Como ejemplo de un metaanálisis con variable continua se usará un metaanálisis (ficticio), que intenta dilucidar si el uso preoperatorio de gabapentina disminuye el consumo de morfina en las primeras 24 horas del postoperatorio de artroplastía de rodilla. La comparación se hace restando:

Consumo Morfina Grupo Placebo – Consumo Morfina Grupo Gabapentina.

Lo que se aprecia en el forest plot de este ejemplo (Figura 5) es que el consumo de morfina en el grupo placebo es consistentemente superior (en unidades de desviación estándar) al grupo gabapentina: 0,62 veces superior. Este valor es significativo, puesto que el intervalo de confianza (0,41-0,82) de la diferencia estandarizada de media es siempre superior a cero (valor de nulidad). Nótese que la heterogeneidad es sumamente alta en este metaanálisis, lo que habla de que el efecto no es único y que los estudios no son enteramente comparables, por lo cual se realiza un metaanálisis asumiendo que el efecto sigue una distribución normal (“random effects”, rombo inferior), resultando que no hay un efecto significativo de disminución del consumo de morfina al usar gabapentina, puesto que el intervalo de confianza (-0,05-2,19), incluye al cero o valor de nulidad.

Figura 5 Forest plot de un metaanálisis con variable continua (ficticio), que intenta dilucidar si el uso preoperatorio de gabapentina disminuye el consumo de morfina en las primeras 24 horas del postoperatorio de artroplastía de rodilla.

Metaanálisis de estudios observacionales

Todo lo dicho anteriormente se refiere a los metaanálisis que incluyen exclusivamente ensayos clínicos aleatorizados, pero también existen metaanálisis de estudios observacionales. En este caso se debe tomar en cuenta que los pacientes sometidos al factor o tratamiento en investigación pueden diferir en otros aspectos que pueden influenciar el efecto resultante (confusión), de manera que llegan a ser más importantes que el sesgo de publicación ¹³ . Aún si dentro del análisis se ajusta por las variables que diferencian a los grupos en estudio puede persistir una confusión residual. Stroup et al propusieron una lista de verificación exclusiva para metaanálisis de estudios observacionales, separada de la lista tradicional propuesta por PRISMA ¹⁴ .

Los metaanálisis tienen sus propios problemas metodológicos que en gran medida ya han sido descritos, así como la forma de enfrentarlos. Una lectura crítica supone tener presentes estas limitaciones, tratar de identificarlas en las publicaciones y asegurarse que los autores lidiaron adecuadamente con ellas:

• Heterogeneidad: es por ello que se critica a los metaanálisis, satirizándoseles porque se comparan peras con manzanas.

• Sesgo de publicación: dada su naturaleza, es muy difícil impedir el sesgo de publicación, o por lo menos, hacerse una idea de su magnitud.

• Sesgo impulsado por agenda: ocurre cuando los autores tienen una agenda económica, social o política. Aunque ocurre más en metaanálisis realizados en el ámbito de las ciencias sociales, la interacción cada vez más estrecha entre investigadores y la industria farmacéutica, hace que el conflicto económico surja en el ámbito de la investigación médica.

Existen dos aspectos claves para la correcta interpretación de los resultados de un metaanálisis:

1. El metaanálisis fue hecho con un número inadecuado de estudios: no está determinado el número mínimo de estudios a partir del cual se puede realizar un metaanálisis, porque es muy dependiente de la pregunta formulada. Parece lógico que los que están realizados con un mayor número de estudios tengan más confiabilidad y obtengan resultados más consistentes, independientemente de la dispersión.

2. El número de pacientes fue insuficiente: se ha sugerido el cálculo del tamaño óptimo de información (OIS, del inglés optimal information size). El OIS corresponde al número de pacientes que se habrían requerido al calcular el tamaño muestral tradicional para un estudio único, con potencia suficiente. Otra manera de calcular el OIS es consultar un nomograma para encontrar el número de pacientes, o más precisamente, el número de eventos.

• Revisión sistemática de ensayos clínicos con o sin metaanálisis

• Ensayos clínicos

• Estudios de cohorte

• Estudios de casos y control

• Estudios de corte transversal

• Series de casos

REFERENCIAS

1. Manchikanti L, Benyamin R, Helm S, Hirsch JA. Evidence-Based Medicine, Systematic Reviews and Guidelines in Interventational Pain Management: Part 3: Systematic Reviews and Meta-Analysis of Randomized Trials. Pain Physician 2009; 12: 35-72.
2. DerSimonian R, Laird N. Meta-Analysis in Clinical Trials. Controlled Clinical Trials 1986; 7: 177-188.
3. Pearson K. Report on certain fever inoculations statistics. Br Med J 1904; 3: 1243-1246.
4. Glass GV. Primary, secondary and metanalysis of research. Educ Res 1976; 5: 3-8.
5. Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analysis: the PRISMA statement. BMJ 2009; 339: b2535.
6. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Disponible en www.cochrane-handbook.org.
7. Akobeng AK. Evidence Based Child Health 1 Principles of Evidence Based Medicine. Arch Dis Child 2005; 90: 837-840.
8. Higgins JP, Thompson SG. Quantifying heterogeneity in a metaanalysis. Stat Med 2002; 21: 1539-1558.
9. Petiti DB. Meta-Analysis, decisión-analysis and cost-effectiveness analysis. New York, NY: Oxford University Press, 1994.
10. Blettner M, Sauerbrei W, Schlehofer B, Scheuchenpflug T, Friendenreich C. Traditional reviews, meta-analysis and pooled analysis in epidemiology. Int J Epidemiol 1999; 28: 1-9.
11. Dickersin K, Berlin JA. Meta-Analysis: State of the science. Epidemiol Rev 1992; 14: 154-176.
12. Jonathan AC. Sterne (Ed.), 2009, Meta-Analysis in Stata, Texas 77845. Stata Press.
13. Egger M, Schneider M, Smith GD. Spurious precision? Meta-analysis of observational studies. BMJ 1998; 316: 140-144.
14. Stroup DF, Berlin JA, Morton SC. Meta-analysis of Observational Studies in Epidemiology: A Proposal for Reporting. JAMA 2000; 283: 2008-2012.