정보 엔트로피
위키백과 ― 우리 모두의 백과사전.
정보 엔트로피(영어: information entropy)는 클로드 섀넌이 제안한 개념으로 신호나 사건에 있는 정보의 양을 엔트로피의 개념을 빌려 설명한 것이다.
[편집] 배경
정보의 한가지 예는 사람과 사람이 주고 받는 대화에서 찾을 수 있다. 아들이 아버지에게 전화를 걸어 집에 불이 났는지 안났는지를 알리는 것이 정보의 뜻을 보여주는 한 예이다. 이를 비트라는 단위, 즉 이진수로 표현한것이 이진수 정보량이다. TV 쇼에서 O와 X가 앞뒷면에 그려져 있는 판을 들고 사회자의 질문에 답하는 것도 하나의 정보 전달 방법이다. 만약 독립적인 질문 두 개를 동시에 했다면 OX판이 2개가 있어야 한다.
엔트로피란 무엇인가? 학교 시험을 예로 들어보자. 월별로 누가 일등인지를 게시판에 알려주는 정보를 생각해보자. 학생들이 총 K명이라고 할때 각 학생이 1등을 할 확률은 pk,k = 1,2,...,K로 표현한다. 한 학생이 지난 일년간을 통계 범위로 보았을 때 12달 시험 중 5번을 일등했다고 하면, 이 학생의 1등 여부는 1비트로 표현이 가능하다. 이젠 이 반의 1등이 누구인지를 나타내는 정보의 엔트로피를 구해보자. 정보 엔트로피는 각자의 정보량을 각자의 1등 확률을 곱해 평균한 것이다.
[편집] 정의
섀넌은 이산 확률 사건 x의 엔트로피 값을
로 정의했다. 사건 x의 엔트로피는 x의 모든 가능한 결과값 i에 대해 i의 발생 확률 값인 p(i)과 그 확률의 역수의 로그 값의 곱의 합이 된다. 이 정의는 이산 사건 대신에 적분을 사용하여 임의의 연속 확률 분포에 대해 확장할 수 있다.
[편집] 내부 참조
 |
이 문서는 수학에 관한 토막글입니다. 서로의 지식을 모아 알차게 문서를 완성해 갑시다. |
