PARTE XLI · Computación, datos e Internet
452
Información: representar, comprimir y transmitir
Un bit no es una idea pequeña: es una distinción dentro de un código compartido y un sistema físico
En este capítulo
La secuencia 01000001 puede representar la letra A, el número 65, una intensidad o parte de una instrucción. Los mismos ocho bits cambian de significado cuando cambia el acuerdo que los interpreta. Sin ese acuerdo sólo hay dos clases de estado ordenadas en una secuencia.
La teoría de la información estudia cuántas distinciones hacen falta para representar elecciones y con qué fiabilidad pueden atravesar un canal. Deliberadamente deja aparte gran parte del significado. Esa separación permitió descubrir límites generales para texto, sonido, imágenes y señales sin afirmar que todos significan lo mismo.
Este capítulo pregunta: ¿cómo convertir mensajes en símbolos transmisibles, retirar redundancia sin perder lo necesario y añadir redundancia capaz de detectar errores?
452.1. Bits, símbolos y códigos#
Un símbolo es una posibilidad de un alfabeto: letra, color, estado o evento. Un código asigna secuencias de símbolos de salida a posibilidades de entrada. El código funciona si emisor y receptor comparten regla, límites y orden. Ninguna forma binaria es autoexplicativa.
Un bit distingue dos alternativas. También es la unidad de información cuando se usa logaritmo de base dos. Ocho posiciones binarias permiten
Digital no significa que la materia sea binaria. Tensión, carga, luz o magnetización varían continuamente; un circuito define regiones interpretadas como estados y deja margen frente al ruido. Si una señal cae entre regiones o cambia cerca del instante de muestreo, puede ser ambigua. Los bits existen como abstracción sostenida por umbrales físicos.
Un código de longitud fija facilita localizar símbolos: todos ocupan igual número de posiciones. Uno de longitud variable usa secuencias cortas para casos frecuentes y largas para raros. Debe poder delimitarse sin confusión. En un código prefijo, ninguna palabra válida es comienzo de otra, por lo que la secuencia puede decodificarse de izquierda a derecha.
Representar números introduce decisiones. Un entero sin signo cubre un rango; uno con signo necesita convención; un número de coma flotante aproxima magnitudes con exponente y precisión finitos. Dos operaciones matemáticamente equivalentes pueden redondear distinto. La representación no es un recipiente neutral: determina rango, resolución, casos especiales y fallos.
Texto, audio e imagen se digitalizan mediante muestreo y cuantización. Se eligen posiciones o instantes y se asignan valores discretos. Mayor frecuencia o precisión puede conservar más detalle y producir más datos; no recupera lo ya perdido ni garantiza mejor percepción si el sensor, el rango o el ruido dominan.
452.2. Información, significado y contexto#
En su teoría de 1948, Claude Shannon modeló una fuente que selecciona mensajes, un transmisor, un canal, un receptor y un destino. La medida depende de probabilidades de selección y no necesita entender de qué hablan los mensajes. Esa omisión es una fortaleza para ingeniería y un límite para interpretar comunicación humana.
Recibir un resultado improbable reduce más incertidumbre que recibir uno esperado. Si una fuente siempre produce el mismo símbolo, observarlo aporta cero información de Shannon sobre cuál ocurrirá, aunque el símbolo pueda tener enorme importancia humana. Información estadística, relevancia, verdad y significado no son sinónimos.
El contexto puede vivir fuera de los datos. Un archivo de números necesita esquema, unidad, fecha, instrumento y versión. Separar contenido de metadatos ayuda a reutilizar, pero ambos deben llegar. Una tabla sin unidad puede transmitirse sin un solo bit errado y ser usada de manera incorrecta.
El receptor aporta conocimiento previo. Una abreviatura que un grupo entiende puede ser incomprensible para otro; una imagen comprimida puede preservar rasgos visibles y destruir detalles diagnósticos. «Sin pérdida» se define respecto de símbolos reconstruidos, no respecto de toda intención o consecuencia.
La misma secuencia puede tener interpretaciones incompatibles y, a la inversa, secuencias distintas pueden expresar el mismo significado. Los sistemas necesitan contratos de tipo y versión. Validar sintaxis comprueba que la forma pertenece al lenguaje; validar semántica comprueba restricciones del dominio, como que una fecha exista o una dosis corresponda a una unidad.
La procedencia añade quién produjo el dato, mediante qué proceso y qué transformaciones recibió. No vuelve verdadera una afirmación, pero permite juzgarla. Copiar preserva patrones con gran fidelidad; no preserva automáticamente autoridad, consentimiento o contexto.
452.3. Compresión y redundancia#
Comprimir explota regularidad para usar menos símbolos en promedio. Repeticiones, frecuencias desiguales y correlaciones permiten representar lo predecible con menos. Un archivo ya comprimido o una secuencia cercana al azar ofrece poca regularidad al compresor; intentar comprimir todo archivo sin pérdida no puede acortar todos los casos.
La compresión sin pérdida permite reconstruir exactamente la secuencia original. Codificación Huffman, modelos aritméticos y diccionarios aprovechan regularidades distintas. El resultado depende del modelo y de la sobrecarga necesaria para describirlo. Un método excelente para texto puede ser malo para mediciones ruidosas.
La compresión con pérdida conserva una aproximación según un criterio. En audio e imagen puede eliminar componentes menos perceptibles o cuantizar transformaciones. La calidad depende del uso: un artefacto tolerable en entretenimiento puede ocultar una lesión o alterar una medición científica. Se conserva el original cuando nuevas preguntas podrían requerir detalle descartado.
La redundancia parece desperdicio y cumple funciones. En lenguaje ayuda a entender con ruido; en formatos permite sincronizar, identificar y validar; en sistemas, versiones y copias permiten recuperación. La compresión retira redundancia estadística de la fuente, mientras la corrección de errores añade redundancia estructurada para atravesar el canal. No son operaciones contradictorias porque resuelven problemas distintos.
Un formato comprimido necesita límites, diccionario o estado y protección contra datos malformados. Una pequeña corrupción puede afectar gran región al perder sincronización. Además, una entrada diminuta puede expandirse enormemente y agotar recursos. Decodificar es una operación sobre datos no confiables y requiere límites.
Comparar compresión exige misma entrada, calidad reconstruida, energía, tiempo y memoria. Una razón de compresión mayor no es mejor si destruye rasgos necesarios o cuesta demasiado decodificar. La métrica se alinea con la tarea posterior.
452.4. Ruido, errores y corrección#
Un canal altera señales por ruido, interferencia, atenuación, fallos o pérdida de sincronía. El receptor decide qué símbolos son más probables a partir de la observación y del modelo. Aumentar potencia, ancho de banda, duración o codificación puede mejorar fiabilidad, pero cada recurso tiene coste y límites.
Detectar errores añade una relación que una secuencia válida debe cumplir. Un bit de paridad detecta ciertos cambios, no todos. Una suma de comprobación y un código de redundancia cíclica cubren patrones más amplios según su diseño. Que la comprobación coincida reduce la probabilidad de corrupción no detectada; no prueba autenticidad frente a un atacante deliberado.
Corregir requiere suficiente distancia entre palabras de código. Si representaciones válidas difieren en varias posiciones, el receptor puede asociar una secuencia cercana con la válida más probable. Repetir cada bit tres veces corrige un cambio por mayoría en un bloque, pero triplica longitud y falla con patrones mayores. Los códigos prácticos logran mejores compromisos.
La retransmisión es otra estrategia: detectar fallo y pedir de nuevo. Funciona cuando existe canal de retorno y demora tolerable. En una emisión unidireccional, un almacenamiento que puede degradarse o una comunicación espacial con gran retardo, conviene corregir localmente. Muchos sistemas combinan corrección y retransmisión.
Shannon demostró que, bajo un modelo de canal, existen códigos capaces de acercarse a una capacidad con probabilidad de error arbitrariamente pequeña usando bloques largos, pero no especificó que toda implementación alcance ese límite ni prometió cero error con recursos finitos. Por encima de capacidad no existe codificación que sostenga transmisión fiable bajo los supuestos.
Los errores también ocurren fuera del canal: sensor mal calibrado, programa incorrecto, metadato perdido o interpretación equivocada. Un código corrector puede entregar fielmente un valor falso. La integridad de transmisión es una capa, no la verdad del sistema.
452.5. Entropía de información y diferencias con la entropía física#
Para una variable discreta
Se mide en bits por símbolo con logaritmo base dos. Si cuatro símbolos son igualmente probables,
La entropía es un promedio del modelo de fuente, no el tamaño exacto de cada mensaje. Estimar mal probabilidades reduce compresión. Las dependencias entre símbolos importan: letras aisladas pueden parecer inciertas, mientras secuencias del idioma son predecibles. La entropía condicional cuantifica incertidumbre restante al conocer otro dato; la información mutua cuantifica dependencia compartida.
La entropía termodinámica y la de Shannon comparten una forma matemática y relaciones profundas en física estadística y computación física. No son intercambiables sin declarar el sistema. La termodinámica describe estados físicos, energía, temperatura y multiplicidad bajo unidades como joules por kelvin; Shannon describe una distribución de posibilidades y usa bits. Igual símbolo no autoriza trasladar cualquier afirmación de una disciplina a la otra.
Almacenar un bit requiere un estado físico distinguible. Borrar información lógicamente de forma irreversible tiene un coste termodinámico mínimo bajo supuestos definidos, conocido por el principio de Landauer. Los dispositivos reales consumen mucho más por resistencia, fugas, control y refrigeración. Eso muestra que información es física sin reducir significado humano a calor.
La entropía tampoco mide automáticamente inteligencia, complejidad o valor. Una secuencia aleatoria puede tener alta entropía y carecer de estructura útil; una demostración breve puede tener gran valor y pocos símbolos. La medida responde a una pregunta precisa: incertidumbre promedio dentro de un modelo probabilístico.
Síntesis#
Los bits representan distinciones mediante códigos y soportes físicos. La teoría de la información cuantifica elección y transmisión sin resolver significado. La compresión retira regularidad; la protección del canal añade redundancia organizada. Detección, corrección y retransmisión cubren fallos distintos. La entropía de Shannon mide incertidumbre estadística y no debe confundirse sin más con entropía termodinámica, verdad o importancia.
Preguntas de transferencia#
1. Un archivo comprimido se transmite con una comprobación correcta. ¿Su contenido es verdadero?#
No. La comprobación apoya integridad de bits bajo su modelo; no valida sensor, procedencia, interpretación ni afirmación.
2. ¿Por qué añadir redundancia después de comprimir no deshace la compresión?#
Porque la compresión retira regularidad de la fuente y el código de canal añade relaciones diseñadas para detectar o corregir ruido. Cumplen funciones diferentes.
3. Una fuente produce siempre el mismo aviso crítico. ¿Tiene mucha entropía?#
No respecto de cuál aviso aparecerá: es completamente predecible. Puede ser semánticamente crucial, lo que demuestra que importancia y entropía de Shannon son magnitudes distintas.
4. ¿Más bits de cuantización garantizan una medición más exacta?#
No. Mejoran resolución potencial, pero ruido, rango, sensor, referencia y calibración pueden dominar la incertidumbre.
Clave de lectura. La banda superior representa conocimiento compartido, no un canal místico separado. Si una unidad o esquema debe viajar, también tiene que codificarse.
Fuentes y lecturas del capítulo#
- Claude E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 1948.
- Claude E. Shannon. A Mathematical Theory of Communication, segunda parte. Bell System Technical Journal, 27(4), 1948.
- International Telecommunication Union. Digital Terrestrial Television Broadcasting: Implementation Handbook. ITU-R, sección sobre codificación de fuente y canal.
- National Institute of Standards and Technology. Discussion on the Full Entropy Assumption of the SP 800-90 Series. NIST IR 8427, 2023.
- Rolf Landauer. Irreversibility and Heat Generation in the Computing Process. IBM Journal of Research and Development, 5(3), 1961.