La Política de la Corrupción

Sesión 2: Leer un estudio con ojo crítico: cómo leer un artículo académico

Bogdan G. Popescu

Tecnológico de Monterrey

La idea central

Un artículo no es una colección de datos.

Es un argumento: evidencia y supuestos, ensamblados para que aceptes una conclusión.

Los datos se memorizan. Los argumentos se evalúan.

Qué vas a poder hacer

Al terminar hoy, con cualquier artículo de cualquier ciencia social:

  • Decir con precisión qué te están pidiendo creer
  • Encontrar el supuesto que los autores nunca escribieron
  • Decir qué otra cosa pudo haber producido su resultado
  • Dar un veredicto calibrado en vez de un veredicto de gusto

Los seis movimientos

%%{init: {"flowchart": {"useMaxWidth": true, "htmlLabels": false, "nodeSpacing": 10, "rankSpacing": 26, "padding": 12}, "themeVariables": {"fontSize": "12px", "edgeLabelBackground": "#f9fafb"}}}%%
flowchart LR
  M1["1<br/>AFIRMACIÓN"] --> M2["2<br/>ARGUMENTO"] --> M3["3<br/>MEDICIÓN"] --> M4["4<br/>COMPARAR"] --> M5["5<br/>RIVALES"] --> M6["6<br/>VEREDICTO"]
  style M1 fill:#1e293b,color:#f9fafb,stroke:#1e293b
  style M2 fill:#1e293b,color:#f9fafb,stroke:#1e293b
  style M3 fill:#4a7c6f,color:#f9fafb,stroke:#4a7c6f
  style M4 fill:#4a7c6f,color:#f9fafb,stroke:#4a7c6f
  style M5 fill:#b44527,color:#f9fafb,stroke:#b44527
  style M6 fill:#b7943a,color:#f9fafb,stroke:#b7943a

Los mismos seis, siempre, en este orden. Son un procedimiento, no una lista de vocabulario.

Movimiento 1 — La afirmación

Cuatro tipos de afirmación empírica

  • Descriptiva — cómo es el mundo
  • Efecto causal — X cambió a Y
  • Mecanismopor qué X cambió a Y
  • Generalización — también se sostiene en otras partes

Afirmaciones distintas necesitan evidencia distinta. Los artículos se deslizan entre ellas.

Un tema, cuatro afirmaciones

Descriptiva Las democracias rara vez pelean entre sí.
Causal La democracia hace menos probable que un Estado pelee.
Mecanismo …porque sus líderes temen el castigo electoral.
General Cualquier democracia, en cualquier lugar, será pacífica.

La evidencia para la primera no sostiene ninguna de las otras tres.

El movimiento 1 en la práctica

Pregunta, antes que nada:

  • ¿Cuál de las cuatro es la afirmación principal del artículo?
  • ¿Cuál promete el título?
  • ¿Cuál entrega la sección de conclusiones?

Cuando esas tres no coinciden, ya encontraste algo.

Movimiento 2 — El argumento

Forma estándar

Quita la prosa. Numera las premisas. Pon la conclusión al final.

“Desde 1816, las democracias casi nunca han ido a la guerra entre sí. La democracia mantiene la paz.”

P1. Los pares de democracias rara vez pelearon entre sí.
C. La democracia causa la paz entre ellas.

Una premisa, y una conclusión enorme. Falta algo.

La premisa que falta

P1. Los pares de democracias rara vez pelearon entre sí.
P2. (no dicha) Su menor tasa de guerra no se debe a otros rasgos compartidos, como mayor riqueza, interdependencia económica o alianzas militares.
C. La democracia causa la paz entre ellas.

P2 no aparece en ninguna parte del texto — y sin ella el argumento se derrumba.

Una premisa no dicha que hace trabajo real es un entimema. Casi todo artículo tiene uno.

Léelo con caridad

Antes de atacar, construye la versión más fuerte que el texto admita.

  • Completa la premisa que el autor de verdad suscribiría
  • No la más tonta, la que lo deja mal parado
  • Si tu versión es fácil de demoler, la construiste mal

Criticar una reconstrucción débil no le dice nada al lector.

Dónde se esconden las premisas

Vigila las palabras que abren o cierran una categoría:

  • como, por ejemplo, incluyendo (such as, for example, including) — abren
  • estos, ninguno de estos, el/la (these, any of these, the) — cierran
  • mera, suficiente, solo, no puede, descarta (mere, sufficient, only, cannot, rules out) — fijan un límite

“Controlamos por intereses compartidos como alianza, comercio y riqueza — y ninguno de estos explica la paz democrática.”

Un artículo que abre una categoría y la cierra una frase después dio por supuesto que la lista estaba completa.

Ese supuesto casi nunca se enuncia.

Movimiento 3 — Medición

¿Qué se observó realmente?

El concepto del título rara vez es la cosa que está en la base de datos.

Concepto afirmado Cosa medida
democracia un puntaje mayor a 6 en un índice de democracia
guerra 1,000+ muertes en combate al año
intereses compartidos un tratado de alianza registrado
líderes que temen al votante …nada

Pregunta: ¿la medida captura el concepto, o solo correlaciona con él?

Dos niveles

%%{init: {"flowchart": {"useMaxWidth": true, "htmlLabels": false, "nodeSpacing": 22, "rankSpacing": 56, "padding": 18}, "themeVariables": {"fontSize": "13px", "edgeLabelBackground": "#f9fafb"}}}%%
flowchart LR
  G["MEDIDO<br/>pares de países,<br/>una fila por año"] -.->|"¿esto se sigue?"| I["AFIRMADO<br/>individuos:<br/>votantes, líderes"]
  style G fill:#4a7c6f,color:#f9fafb,stroke:#4a7c6f
  style I fill:#b44527,color:#f9fafb,stroke:#b44527

Movimiento 1, renglón tres: las democracias se mantienen en paz porque sus líderes temen el castigo electoral.

Lo que se midió: los pares de democracias pelearon menos entre sí.

No se sigue que algún votante haya castigado a algún líder.

Datos de grupo, afirmación individual: la falacia ecológica. La evidencia de grupo autoriza conclusiones de grupo — nada más.

Movimiento 4 — Comparación

¿Comparado con qué?

“Las democracias casi nunca van a la guerra entre sí.”

  • ¿Con qué tan seguido pelean dos dictaduras? (¿eran pares parecidos?)
  • ¿Con qué tan seguido pelean dos países cualesquiera? (la guerra es rara en todas partes)
  • ¿Con esos mismos pares antes de democratizarse? (¿ya estaban en paz?)

El número sí es evidencia — de la afirmación descriptiva.

Para saber si la democracia importa, hay que saber: ¿comparado con qué?

Encuentra la frase del supuesto

Todo diseño compra su comparación con un supuesto. Los buenos artículos lo escriben.

Diseño El supuesto
Antes/después nada más cambió al mismo tiempo
Tratados vs. control ambos grupos venían en trayectorias paralelas
Controles/emparejamiento no queda ningún factor de confusión sin medir
Experimento la asignación de verdad fue aleatoria

La paz democrática vive en controles/emparejamiento. Su supuesto es la P2 del movimiento 2 — ahí no dicha, aquí escrita.

La misma frase. Que hayas tenido que encontrarla tú es lo que separa un artículo débil de uno fuerte.

Luego haz una sola pregunta

Una vez que encontraste la frase:

¿Le creo?

No “¿es sofisticada?”. No “¿se publicó?”.

¿Puedes nombrar algo concreto que la haría falsa?

Para la paz democrática: la OTAN.

  • Casi todas las democracias de la posguerra estaban dentro de una misma alianza, frente a un mismo enemigo — y los aliados no pelean entre sí, sean democracias o no.

Movimiento 5 — Rivales

Genera rivales primero

Antes de juzgar la evidencia, escribe qué predice cada explicación.

“Las democracias casi nunca pelean entre sí. La democracia mantiene la paz.”

  • Alianza — las democracias estuvieron del mismo lado en la Guerra Fría
  • Comercio — los socios comerciales evitan la guerra; las democracias comercian mucho
  • Riqueza — los países ricos pelean menos; las democracias son ricas
  • Causalidad inversa — la paz y la seguridad permiten que la democracia sobreviva

La prueba discriminante

Pregúntale a la evidencia:

¿Discrimina? ¿O el mismo patrón aparecería bajo varias explicaciones?

La regla: si un rival predice el mismo patrón, esa evidencia no puede rechazar al rival.

Los cuatro rivales — alianza, comercio, riqueza, causalidad inversa — predicen la misma paz.

El efecto no es la explicación

X causó Y y sabemos por qué X causó Y son dos argumentos separados.

Un diseño puede clavar el primero y dejar vivos varios mecanismos.

Los artículos ganan el primero y escriben la conclusión como si hubieran ganado los dos.

Aunque se descartaran los rivales y la democracia causara la paz: votantes, normas, transparencia — todos siguen en pie.

El renglón dos nunca entrega el renglón tres.

La lista mecánica

Antes de acreditar cualquier explicación, descarta las aburridas:

  • Selección — ¿se metieron ellos mismos al grupo?
  • Tendencias temporales — ¿ya venía en esa dirección de todos modos?
  • Techo/piso — ¿quedaba espacio para moverse?

En la paz democrática: la guerra entre dos países cualesquiera ya es rarísima — y viene cayendo desde 1945.

Piso y tendencia. Cualquiera de las dos produce el patrón sin ninguna paz democrática.

Movimiento 6 — Veredicto

Tres niveles, no una calificación

Bien sostenido — la evidencia carga con esto

Plausible pero no establecido — consistente, no discriminado

No establecido con estos datos — afirmado más allá de la evidencia

La mayoría de los artículos caen en los tres a la vez. Di cuál es cuál.

El ejemplo de hoy, juzgado

Bien sostenido: desde 1816, los pares de democracias casi nunca han ido a la guerra.

Plausible pero no establecido: que lo haya hecho la democracia, y no la alianza, el comercio o la riqueza.

No establecido con estos datos: que los líderes se mantengan en paz porque temen el castigo electoral.

Un tema, cuatro afirmaciones. La evidencia alcanza las dos primeras y ahí se detiene.

Una falla no es una refutación

Encontrar una debilidad no muestra que la conclusión sea falsa.

  • Un mal argumento puede tener una conclusión verdadera
  • “Su diseño tiene una limitación” ≠ “están equivocados”
  • El veredicto es sobre qué carga la evidencia

Tu trabajo es ubicar la línea entre lo que se mostró y lo que se dijo.

El ejercicio

El artículo

Dinas, Matakos, Xefteris y Hangartner (2019), Political Analysis.

  • Contexto: islas griegas, crisis de refugiados de 2015
  • Diseño: las islas cercanas a Turquía recibieron refugiados; las lejanas no
  • Datos: porcentajes de voto, 95 municipios, antes y después
  • Hallazgo: +2 puntos para el partido de extrema derecha Amanecer Dorado

El diseño es fuerte. Dos estrategias, pruebas placebo, un gradiente dosis-respuesta.

Dónde desembarcaron los refugiados

Todas las islas que recibieron refugiados están sobre la costa turca.

Lo que necesitan saber

No lo han leído. Esto es lo que la tarea requiere:

  • Los refugiados se quedaban menos de 48 horas, luego seguían al continente
  • Así los autores descartan por diseño el contacto y la competencia por recursos
  • La ruta que afirman: llegadas → amenaza percibida → voto por Amanecer Dorado
  • El efecto: +2 puntos, un alza de 44% sobre una base de 4.5%

La evidencia

Tres elecciones a la par. Luego septiembre de 2015.

Lo que concluyen

Tres frases del artículo (en el original):

“mere exposure is sufficient to fuel prejudice and change political behavior” (p. 247)

competition over “scarce resources such as access to jobs, housing, or education… there is no specific competition… over any of these resources” (p. 253)

“the ensuing chaos on affected islands” (p. 253)

Su tarea

15 minutos, en parejas. Una frase por punto — no están escribiendo un ensayo.

  • Movimiento 1 (cita 1) — “alimenta el prejuicio”: ¿descriptiva, causal, de mecanismo o general?
  • Movimiento 2 (cita 2) — escríbanlo como P1, P2, C. ¿Qué premisa nunca se dice?
  • Movimiento 3 (la figura) — ¿qué se contó, y se contó sobre personas o sobre municipios?
  • Movimiento 4 (el mapa) — ¿qué tiene que ser cierto de las islas cercanas y lejanas?
  • Movimiento 5 — nombren otra cosa que pudiera subir el voto 2 puntos.

Luego etiqueten cada una de sus tres afirmaciones: sostenida / plausible / no establecida.

Respuestas rápidas

  • Movimiento 1de mecanismo. Dice por qué se movió el voto: por el prejuicio.
  • Movimiento 2 — no dicha: que empleo, vivienda y educación son los únicos recursos escasos.
  • Movimiento 3 — porcentajes de voto, contados sobre municipios. La afirmación es sobre la cabeza de la gente.
  • Movimiento 4 — ambos grupos debían venir en la misma trayectoria antes de 2015. La figura dice que sí.
  • Movimiento 5 — la disrupción, o la migración dominando las noticias. Las dos predicen los mismos 2 puntos.

Ahora tres de estas, a fondo.

Revelación 1 — La premisa oculta

P1. El conflicto entre grupos requiere competencia por recursos escasos.
P2. No hay competencia por empleo, vivienda ni educación.
P3. (no dicha) Esos tres son los recursos escasos relevantes.
C. Entonces el conflicto entre grupos no explica la reacción.

such as” abre la categoría. “any of these” la cierra. P3 nunca se defiende.

Policía, transporte, clínicas, espacio público — también escasos. La frase de los propios autores: “ensuing chaos.”

Revelación 2 — Dos saltos

%%{init: {"flowchart": {"useMaxWidth": true, "htmlLabels": false, "nodeSpacing": 22, "rankSpacing": 46, "padding": 16}, "themeVariables": {"fontSize": "13px", "edgeLabelBackground": "#f9fafb"}}}%%
flowchart LR
  V["MEDIDO<br/>voto por municipio"] -.->|"de grupo a individuo"| I["votantes<br/>individuales"]
  I -.->|"de votos a mentes"| P["AFIRMADO<br/>prejuicio"]
  style V fill:#4a7c6f,color:#f9fafb,stroke:#4a7c6f
  style I fill:#f9fafb,color:#334155,stroke:#64748b
  style P fill:#b44527,color:#f9fafb,stroke:#b44527

El prejuicio nunca se mide. El resultado es un porcentaje de voto.

Midieron votos, no prejuicio.

Revelación 3 — Rivales

%%{init: {"flowchart": {"useMaxWidth": true, "htmlLabels": false, "nodeSpacing": 18, "rankSpacing": 60, "padding": 16}, "themeVariables": {"fontSize": "13px", "edgeLabelBackground": "#f9fafb"}}}%%
flowchart LR
  A["A. Mera exposición<br/>ver refugiados"] --> R["Sube el voto de<br/>Amanecer Dorado"]
  B["B. Disrupción<br/>caos, servicios saturados"] --> R
  C["C. Saliencia<br/>la migración domina<br/>las noticias"] --> R
  style A fill:#b44527,color:#f9fafb,stroke:#b44527
  style B fill:#f9fafb,color:#334155,stroke:#64748b
  style C fill:#f9fafb,color:#334155,stroke:#64748b
  style R fill:#1e293b,color:#f9fafb,stroke:#1e293b

Las tres predicen el mismo resultado. La evidencia no discrimina.

El veredicto calibrado

Bien sostenido: la llegada de refugiados subió el voto de Amanecer Dorado unos 2 puntos.

Plausible, no establecido: que lo haya hecho ver refugiados, y no la disrupción alrededor.

No establecido con estos datos: que el prejuicio de alguien haya cambiado.

Este es un buen artículo. Fíjate en que el veredicto sigue teniendo tres niveles.

El machote

Seis movimientos

  1. AFIRMACIÓN — ¿qué exactamente me piden creer?
  2. ARGUMENTO — ¿P1, P2, P3 oculta, C?
  3. MEDICIÓN — ¿qué se midió, en qué nivel?
  4. COMPARACIÓN — ¿comparado con qué, bajo qué supuesto?
  5. RIVALES — ¿qué más predice esto? ¿discrimina?
  6. VEREDICTO — sostenido / plausible / no establecido