Lectura
Índice completo

PARTE XLVII · Operación de los servicios públicos

512

Evaluar la prestación de servicios públicos

Comprobar qué cambió, para quién y qué conviene hacer después

Capítulo 512 · 529 capítulos publicados

En este capítulo

Ejemplo construido. Un municipio recibe solicitudes de permisos menores de remodelación en varias oficinas. Para reducir devoluciones por formularios incompletos, cambia el flujo: un equipo clasifica cada expediente al inicio y una persona lo acompaña hasta que la autoridad competente decide. La dirección quiere saber si el cambio merece mantenerse y ampliarse. Que los tiempos bajen después de la reforma sería una señal, pero no bastaría para demostrar que ella produjo la diferencia.

Evaluar la prestación significa organizar evidencia para responder una pregunta concreta sobre un cambio y una decisión. Primero se define qué se modificó, qué resultado se esperaba, para quién y qué explicación permitiría atribuir un cambio a la reforma. Después se observa si el procedimiento realmente se implantó, qué resultados siguieron, qué otras causas pudieron influir y qué consecuencias aparecieron. El capítulo 506 desarrolla las dimensiones para medir un servicio; aquí se usan medidas adecuadas para juzgar una reforma. El capítulo 229 trata la evaluación de políticas en términos generales, y el 136 explica diseños causales que aquí se aplican a una decisión de prestación.

Figura 512.1. De una reforma a una decisión informada, sin saltos causales.

Evaluación de un cambio en un servicio: definir la decisión y el cambio; comprobar cómo se implantó; comparar resultados con una referencia y revisar explicaciones alternativas; y decidir si mantener, adaptar, ampliar o retirar, dejando constancia de incertidumbres. Un cambio observado después no demuestra por sí solo que la reforma lo causó.

La secuencia temporal organiza la evaluación; la atribución depende del contraste, el diseño y sus supuestos.

512.1. Formular la decisión antes de elegir indicadores#

La oficina no necesita “medir el servicio entero” para responder a la pregunta inmediata. Debe precisar qué decisión se acerca: mantener el nuevo flujo, ajustarlo o extenderlo a otras oficinas. También define el cambio con suficiente detalle para saber qué cuenta como exposición a la reforma: fecha de inicio, tareas añadidas, oficinas participantes y población de solicitudes cubierta. Si varias versiones del procedimiento conviven, tratarlas como una sola intervención ocultaría diferencias relevantes.

Luego formula una pregunta evaluable. ¿Redujo el cambio las devoluciones por errores formales? ¿Se mantuvieron las correcciones sustantivas y las garantías que exige el permiso? ¿El equipo de clasificación trasladó trabajo a otra unidad? Estas preguntas distinguen objetivos y riesgos; una sola medida de rapidez o volumen no puede representarlos todos. Los denominadores y medidas de servicio deben quedar definidos de antemano, de acuerdo con el capítulo 506.

La guía de evaluación de HM Treasury recomienda definir propósito, usuarios, preguntas, diseño y momento en que se utilizarán los resultados. Se usa aquí como guía pública del gobierno central británico, no como norma jurídica universal. La recomendación de la OCDE sobre evaluación de políticas públicas aporta un marco multijurisdiccional para incorporar evaluaciones estructuradas a las decisiones, con calidad y proporcionalidad (HM Treasury, Magenta Book, 2026; OCDE, Recomendación sobre evaluación de políticas públicas).

512.2. Verificar qué ocurrió durante la implementación#

Antes de interpretar resultados, el municipio comprueba qué cambió en la práctica. ¿El equipo recibió y clasificó solicitudes de todas las oficinas participantes? ¿La persona responsable pudo seguir los casos hasta la decisión? ¿Qué recursos, capacitación y coordinación necesitó? ¿Hubo excepciones, adaptaciones o periodos de interrupción? Las respuestas describen la intervención que realmente existió; un procedimiento publicado no prueba que se aplicara igual en cada oficina.

Esto es evaluación de proceso: explica cómo se ejecutó el cambio, qué partes funcionaron como previsto y qué obstáculos o ajustes aparecieron. La guía británica Magenta separa preguntas de proceso, impacto y valor por dinero, aunque las evaluaciones pueden combinar evidencia de más de un tipo. No sustituye una evaluación de resultados (HM Treasury, Magenta Book, 2026). Una práctica puede haberse implementado fielmente sin producir el beneficio esperado; también puede generar una mejora parcial porque el personal la adaptó a una condición local. Distinguir adopción, funcionamiento y resultado ayuda a decidir si el mecanismo tiene sentido o si hace falta revisar sus supuestos.

Conviene registrar desde el inicio quién documenta adaptaciones, qué evidencia se conservará y cuándo se revisará. Entrevistas breves, observación de expedientes y registros de operación pueden aclarar por qué una oficina aplica el flujo de manera distinta. Si los indicadores provienen de bases administrativas, sus definiciones, cambios y población observada deben examinarse según el capítulo 511; si cambió la forma de registrar devoluciones, una subida aparente puede reflejar mejor documentación y no un deterioro.

512.3. Comparar resultados sin atribuir automáticamente el cambio#

El municipio establece una línea de referencia anterior al cambio y conserva reglas comparables para contar expedientes, devoluciones y correcciones. También anota reformas simultáneas, cambios de personal, temporada de solicitudes, nuevas normas y circunstancias locales que podrían afectar los resultados. Una tendencia posterior sirve para describir qué pasó en el tiempo; por sí sola no estima qué habría ocurrido sin la reforma.

Si el cambio se introduce en fechas distintas entre oficinas, el orden puede crear una comparación útil, pero no equivale automáticamente a asignación aleatoria. Las primeras oficinas en adoptar el flujo quizá tuvieran más personal, mayor volumen o liderazgo distinto. El diseño debe preguntar qué factores determinan cuándo y dónde se aplica la reforma y si las oficinas comparadas habrían seguido tendencias semejantes sin ella. Los diseños, sus supuestos y alternativas causales se estudian con detalle en los capítulos 133 y 136; aquí importa elegir un contraste que responda a la decisión y declarar qué inferencia permite.

Cuando una comparación causal sólida no es viable, la evaluación todavía puede estudiar si el cambio contribuyó al resultado esperado. Para sostener esa conclusión necesita una explicación plausible del mecanismo, evidencia de que las etapas ocurrieron, resultados coherentes con la explicación y una revisión seria de factores alternativos. El Magenta Book describe métodos basados en teoría como una vía para analizar contribuciones en situaciones donde un contrafactual experimental no es viable, pero advierte que no ofrecen por sí mismos estimaciones precisas del tamaño del efecto ni prueba definitiva. Debe hablarse de contribución respaldada por evidencia y graduar la certeza, no de efecto demostrado (HM Treasury, anexo metodológico del Magenta Book).

Ejemplo construido. En las oficinas que adoptaron el flujo, las devoluciones pasan del 20 % al 12 % de las solicitudes; en las oficinas de comparación, del 15 % al 11 %. La caída observada es de 8 puntos porcentuales en las primeras y de 4 en las segundas. La diferencia entre cambios es de −4 puntos: (12 − 20) − (11 − 15). No son «8 puntos causados por la reforma» ni una reducción del 4 %; puntos porcentuales y cambio relativo son medidas distintas. Interpretar esos −4 puntos como efecto requiere defender, entre otros supuestos, que sin la reforma las tendencias habrían sido paralelas, que no hubo cambios diferenciales simultáneos y que las solicitudes y sus registros son comparables. Con solo estos cuatro porcentajes no se comprueban esos supuestos ni se estima la incertidumbre: hacen falta más periodos y datos sobre volumen, composición y variación entre oficinas.

512.4. Examinar para quién mejora y qué se desplaza#

El resultado medio puede ocultar consecuencias opuestas. La clasificación inicial quizá reduzca devoluciones en solicitudes sencillas, pero dejar expedientes inusuales en una cola especializada. Una reforma también puede reducir el trabajo de una ventanilla y aumentarlo en el equipo jurídico o de inspección. Por eso se revisan grupos y oficinas relevantes, diferencias en el tipo de expediente, cargas transferidas y correcciones posteriores. El objetivo es averiguar si la mejora se sostiene y quién asume el coste, no fabricar una clasificación de oficinas.

La evaluación considera efectos deseados y no deseados: solicitudes que abandonan el trámite, decisiones menos consistentes, errores difíciles de corregir, horas de trabajo en distintas unidades o cambios en la capacidad de atender otros asuntos. Comparar costes requiere contabilizar recursos utilizados y horizonte temporal; un ahorro en una partida no demuestra que el servicio total cueste menos. La evaluación económica debe conectarse con evidencia de resultados y con una pregunta explícita de valor por dinero, no reducirse a dividir el presupuesto por trámites cerrados.

512.5. Convertir hallazgos en una decisión que pueda revisarse#

El informe presenta qué se cambió, cómo se implantó, qué datos se analizaron, qué comparación se utilizó, qué resultados se observaron y qué limitaciones afectan la conclusión. Separar resultados medidos de interpretaciones evita que un gráfico se convierta en una afirmación causal más fuerte que su diseño. También hace visible qué grupos, lugares o periodos quedan fuera de la evidencia.

Con esa base, la dirección puede mantener el flujo, adaptarlo, ampliar la prueba o retirarlo. La evaluación no decide por sí sola qué valores priorizar ni qué nivel de riesgo es aceptable; hace explícitas las consecuencias y fortalece la deliberación. Una ampliación puede condicionarse a conservar una salvaguarda, resolver una carga trasladada o verificar resultados en otro contexto. Deben quedar registrados la decisión, su responsable, fecha, fundamento y próxima revisión, junto con recomendaciones aceptadas o rechazadas.

La OCDE señala que la evaluación es útil cuando se integra en los procesos de decisión y seguimiento; sus hallazgos pierden valor práctico si se publican y luego no se asigna quién responderá a ellos. El marco británico recomienda planificar desde el principio cuándo y para quién se necesitarán resultados. Son referencias institucionales, no garantía de que toda evaluación cambie una decisión. La dirección debe comunicar qué aprendió y qué permanece incierto, incluso si decide mantener el servicio por razones que van más allá de una estimación de efecto.

Síntesis#

  • La evaluación empieza por la decisión que deberá informar y el cambio concreto que se juzgará.
  • Comprobar implementación permite entender qué intervención ocurrió, pero no demuestra que haya sido eficaz.
  • Un antes y después describe una secuencia; atribuir un efecto requiere un contraste y supuestos defendibles.
  • Los resultados promedio pueden ocultar diferencias, cargas desplazadas y consecuencias no previstas.
  • La evidencia apoya una decisión revisable; no escoge por sí sola los objetivos ni valores públicos.

Preguntas de transferencia#

El resultado mejoró tras la reforma#

Ejemplo construido. Después de asignar una persona responsable por expediente, bajaron las devoluciones por formularios incompletos. ¿Puede el municipio afirmar que la reforma causó la reducción?

Mostrar respuesta razonada

No solo con la secuencia temporal. Debe verificar si cambió la definición o captura de una devolución, si la reforma se aplicó realmente y qué otras condiciones variaron. Una comparación adecuada puede estimar el cambio atribuible si su diseño y supuestos son defendibles; de lo contrario, la conclusión debe limitarse a una mejora observada o a una contribución plausible sustentada por varias evidencias.

Se implantó el procedimiento en todas las oficinas#

Ejemplo construido. La dirección confirmó que todas las oficinas recibieron el nuevo manual. ¿Esto demuestra que el cambio produjo el resultado esperado?

Mostrar respuesta razonada

No. Recibir el manual no indica qué prácticas se adoptaron, cómo funcionaron ni qué resultados produjeron. La evaluación debe observar la implementación real, sus adaptaciones y sus consecuencias antes de recomendar mantener o ampliar la reforma.

Fuentes y lecturas del capítulo#

Bibliografía de la parte XLVII · Bibliografía general

Última revisión editorial
Cierre de contenidos