Entropía (información)
De Wikipedia, la enciclopedia libre
Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de la mecánica estadística y la teoría de la información para hacer esto aparente. Este artículo versa sobre la entropía, en la formulación que hace de ella la Teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en honor a Claude E. Shannon.
Tabla de contenidos |
[editar] Concepto básico
El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Como ejemplo, consideremos algún texto escrito en español, codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, 'y'), mientras otros sí lo son (como la 'a'), la cadena de caracteres no será tan "aleatoria" como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 A Mathematical Theory of Communication ("Una teoría matemática de la comunicación", en inglés).
Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones:
- La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.
- Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.
[editar] Definición formal
La entropía nos indica el límite teórico para la compresión de datos. También es una medida de la información contenida en el mensaje.
Su cálculo se realiza mediante la siguiente fórmula:
donde H es la entropía, p son las probabilidades de que aparezcan los diferentes códigos y n, el número total de códigos. Si nos referimos a un sistema, las p se refieren a las probabilidades de que éste se encuentre en un determinado estado y n, el número total de posibles estados.
Se utiliza habitualmente el logaritmo de base 2, y entonces la entropía se mide en bits.
Por ejemplo, el lanzamiento de una moneda al aire para ver si sale cara o cruz (dos estados con probabilidad 0,5) tiene una entropía:
![H = 0,5*\log_2(\frac{1}{0,5}) + 0,5*\log_2(\frac{1}{0,5}) = 0,5*\log_2(2) + 0,5*\log_2(2) = 1 [bit]](../../../../math/a/e/8/ae8f02d7b345202a229b3094361bd681.png)
A partir de esta definición básica, se pueden definir otras entropías.
[editar] Explicación intuitiva
En un experimento aleatorio, una variable aleatoria X puede tomar distintos valores posibles en distintas repeticiones (realizaciones del experimento). Como algunos valores de X son más probables que otros, existe una distribución de probabilidad de los valores de X, la que depende del experimento elegido.
La entropía asociada a la variable X es un número que depende directamente de la distribución de probabilidad de X, e indica lo plana que es esa distribución. Una distribución es plana (tiene alta entropía) cuando todos los valores de X tienen probabilidades similares, mientras que es poco plana cuando algunos valores de X son mucho más probables que otros. En una distribución de probabilidad plana (con alta entropía) es difícil poder predecir cuál es el próximo valor de X que va a presentarse, ya que todos los valores de X son igualmente probables.
Si a cada posible valor de X que pueda ocurrir se le asigna una cierta combinación de dígitos binarios 0 o 1 para diferenciarlo de los demás, la cantidad promedio de dígitos binarios que hay que asignarle a los distintos valores de X es (aproximadamente) igual a la entropía de la distribución de probabilidad de X. Los valores 0 o 1 usados suelen llamarse bits. Además, la metodología comúnmente usada para asignar combinaciones de valores 0 o 1 a los distintos valores posibles de X se conoce con el nombre de codificación Huffman.
