Laboratorio Especializado · Vista DedicadaTeoría de la Información & Probabilidad

Entropía de Shannon & Teoría de la Información

Incertidumbre, compresión óptima, divergencia de Kullback-Leibler y capacidad de canal

Simulador interactivo de distribución de probabilidades discretas y continuas. Manipula distribuciones de Bernoulli y multinomiales para calcular la entropía en bits, la redundancia informacional y la cota teórica de compresión sin pérdida.

Relación Fundamental
$$H(X) = -\sum_{i=1}^n P(x_i) \log_2 P(x_i)$$
Fundamento Matemático

Teoría de la Información de Shannon

En 1948, Claude Shannon despojó a la información de su significado semántico y la reformuló como una medida probabilística de reducción de incertidumbre. Todo el entrenamiento del Deep Learning contemporáneo es, analíticamente, la minimización de una divergencia de Shannon.

Incertidumbre Promedio

Entropía de Shannon $H(X)$

$$H(X) = - \sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$$

Cuantifica la sorpresa esperada o la cantidad mínima teórica de bits necesarios para transmitir los estados de una variable aleatoria discreta $X$. Alcanza su cota superior en la distribución uniforme ($H(X) = \log_2 |\mathcal{X}|$).

Entropía Relativa

Divergencia de Kullback-Leibler $D_{\text{KL}}$

$$D_{\text{KL}}(P \parallel Q) = \sum_{x \in \mathcal{X}} P(x) \log\left(\frac{P(x)}{Q(x)}\right)$$

Mide el sobrecoste de codificar eventos de la distribución verdadera $P$ empleando un modelo aproximado $Q$. Por la desigualdad de Jensen, $D_{\text{KL}}(P \parallel Q) \ge 0$ (siendo $0$ si y solo si $P = Q$). No es una métrica formal por ser asimétrica.

Función de Pérdida en IA

Entropía Cruzada (Cross-Entropy Loss)

$$H(P, Q) = H(P) + D_{\text{KL}}(P \parallel Q) = - \sum_{x} P(x) \log Q(x)$$

En clasificación supervisada y LLMs autorregresivos, los datos empíricos $P$ son fijos ($H(P)$ constante). Por tanto, minimizar la entropía cruzada es idéntico a minimizar la divergencia KL entre el modelo y la realidad empírica.

Límite Físico de Transmisión

Información Mutua & Límite de Shannon

$$I(X; Y) = H(X) - H(X | Y), \quad C = B \log_2\left(1 + \frac{S}{N}\right)$$

$I(X; Y)$ cuantifica cuántos bits de incertidumbre sobre $X$ se disipan al observar $Y$. En redes neuronales profundas, el Information Bottleneck Principle estipula que las capas ocultas maximizan $I(Z; Y)$ mientras comprimen $I(X; Z)$.