두 가지 엔트로피

[무한한 지식 01] 섀넌은 정보를 측정했다. 위너는 지식을 측정하고 있었다.

English한국어

무질서로 흩어지는 흐름과 그에 맞서 구조를 만드는 지식의 대비.

우주는 무질서를 향해 간다. 무언가가 그 흐름에 맞선다. 우리는 그것을 지식이라 부르지만, 지식이 어떻게 작동하는지를 설명하는 정립된 이론은 아직 없다.

여기 두 개의 문자열이 있다.

문자열 A: G7&xQ2!pLm@9rWv$KjZ3*nYf

문자열 B:

문자열 A를 인코딩하려면 더 많은 비트가 필요하다. 우리가 가진 가장 엄밀한 수학적 정의, 곧 클로드 섀넌(Claude Shannon)의 정의에 따르면 문자열 A에는 더 많은 정보가 들어 있다. 문자열 B는 거의 아무것도 남지 않을 만큼 압축할 수 있다.

그런데도 문자열 B를 익히면 우주를 이해하는 방식이 달라질 수 있다. 문자열 A에서는 아무것도 배울 수 없다.

여기서 무언가 이상하다고 느꼈다면 정보이론의 토대에 난 오래된 균열을 발견한 셈이다. 1948년부터 줄곧 눈앞에 있었던 균열이다. 20세기를 대표하는 두 지성, 섀넌과 노버트 위너(Norbert Wiener)는 평생 그 균열의 서로 다른 편에 서 있었다.

공학의 문제

섀넌의 연구 과제는 정확하고 범위가 분명했다.1 알려진 확률에 따라 기호를 내보내는 정보원이 있을 때, 그 기호를 정확히 인코딩하려면 하나당 몇 비트가 필요한가? 잡음이 섞인 통신로에서는 데이터를 잃지 않고 얼마나 빠르게 전송할 수 있는가?

그의 답은 엔트로피였다.

기호 하나가 주는 평균적인 의외성이다. 엔트로피가 높을수록 다음 기호를 예측하기 어렵고, 더 많은 비트와 더 넓은 메시지 공간이 필요하다. 이는 신호의 의미와 무관하게 구조만 측정하는 구문적 복잡성의 척도다. 섀넌은 이를 분명히 밝혔다. “의사소통의 의미론적 측면은 공학적 문제와 무관하다.” 압축과 전송이라는 목적에 한정하면 옳은 판단이었다. 의미는 잡음으로 취급해도 됐다.

이 공식은 열역학의 볼츠만 엔트로피와 형식이 같았다. 단순히 닮은 정도가 아니라 실제 계산에서도 대응했다. 2025년 연구는 분자동역학의 궤적을 압축해 열역학적 엔트로피를 정확히 재현했다. 섀넌 정보와 볼츠만 엔트로피는 단위만 다른 같은 양이다.

생존의 문제

사이버네틱스의 아버지 위너는 전혀 다른 질문에서 출발했다.2 신호를 어떻게 인코딩할 것인가가 아니라, 유기체와 기계가 무질서를 향하는 세계에서 어떻게 질서를 유지하는가를 물었다.

온도조절기, 신경계, 경제, 면역계는 모두 피드백 시스템이다. 환경을 감지하고, 현재 상태를 필요한 상태와 비교하고, 그 차이에 맞춰 조정하면서 유지된다. 한마디로 이들은 학습하기 때문에 지속된다.

위너는 정보를 “음의 엔트로피(negative entropy)“라고 불렀다. 질서를 유지하는 힘이라는 뜻이었다. 그는 “엔트로피가 무질서의 척도인 것처럼, 일련의 메시지가 전달하는 정보는 질서의 척도다”라고 썼다.

섀넌은 이를 “수학적 말장난”이라고 불렀다. 1948년 10월, 위너의 Cybernetics 출간 전 원고를 읽은 뒤 이렇게 썼다.

당신은 정보를 “음의 엔트로피”라고 부르고, 나는 “일반적인 엔트로피 공식”을 사용한다. 아마 그저 “상보적인 관점”일 것이다.

Wiener는 이렇게 답했다.

맞다, “순전히 형식적인” 것이다.

하지만 그것은 순전히 형식적인 문제가 아니었다. 그들은 같은 방정식으로 서로 다른 것을 측정하고 있었다.

간극을 보여 주는 동전

어떤 동전에서 앞면이 나올 확률을 라고 하자. 섀넌 엔트로피는 다음과 같다.

일 때 엔트로피는 1비트다. 불확실성이 가장 크고, 동전을 한 번 던질 때 얻는 섀넌 정보도 최대다.

일 때 엔트로피는 약 0.08비트다. 결과를 쉽게 예측할 수 있다. 지루한 동전이다. 한 번 던져 얻는 섀넌 정보도 거의 없다.

이제 이 동전에 돈을 건다고 생각해 보자.

동전의 편향을 모르면 매번의 결과는 그저 잡음이다. 섀넌 정보는 많지만 쓸모는 없다. 반대로 앞면이 나올 확률이 99%라는 사실을 알면 섀넌의 공식으로는 포착할 수 없는 무언가를 갖게 된다. 바로 지식이다. 그 지식이 내기의 승패를 바꾼다.

엔트로피가 낮은 정보원이 더 가치 있는 이유는 바로 예측할 수 있기 때문이다. 예측 가능해야 그 정보를 활용할 수 있다. 섀넌 엔트로피는 비트 수를 셀 뿐, 이런 가치는 세지 못한다.

신호가 지식이 되는 까닭은 신호 자체에 있지 않다. 신호와 그것을 받아들이는 시스템의 관계에 있다.

섀넌의 연구를 대중에게 소개하는 책을 함께 쓴 워런 위버(Warren Weaver)는 이 문제를 일찍 알아봤다. 그는 이를 “의미론적 함정(semantic trap)“이라고 불렀다.3 섀넌의 수학에서 정보라는 말이 맡은 역할은 일상에서 같은 말이 맡는 역할과 거의 관계가 없었다.

고에너지 우주 방사선 입자가 하드디스크의 비트를 뒤집는 사건은 섀넌 정보다. 문밖으로 나가려는 순간 친구가 비가 온다고 알려 주는 말도 섀넌 정보다. 두 번째 신호의 비트 수는 훨씬 적다. 그러나 첫 번째는 잡음이고 두 번째는 행동을 바꾼다.

섀넌의 이론은 둘을 구별하지 못한다. 애초에 그 구별을 위해 만들어진 이론이 아니다.

위너에게 필요했던 단어

위너는 그 간극을 감지했다. 그의 연구 전체를 관통한 사이버네틱스는 유용한 신호와 쓸모없는 신호를 구별하는 시스템에 관한 학문이었다. 온도조절기는 소리와 냄새를 무시하고 온도만 감지한다. 면역세포는 온도를 무시하고 분자 표지를 감지한다. 모든 피드백 시스템은 생존에 중요한 신호를 골라내고 나머지는 버린다.

위너가 원한 것은 중요한 대상에 관한 불확실성을 줄이는 신호를 설명하는 이론이었다. 시스템이 세계를 이해하는 모델을 갱신해 더 효과적으로 행동하게 하는 신호의 이론이었다.

그는 이를 “음의 엔트로피” 또는 “질서”라고 불렀다. 같은 개념을 여러 차례 붙잡으려 했지만 끝내 명료한 이름을 붙이지는 못했다. 새로운 공식이 필요했던 것이 아니다. 다른 단어가 필요했다.

그 단어는 지식이다.

금속 안의 금

정보(섀넌): 어떤 메시지가 전송됐는지에 관한 불확실성의 감소. 모든 신호를 똑같이 취급하며 잡음과 통찰을 모두 비트로 측정한다.

지식(위너가 붙잡으려 했던 것): 세계에 대한 모델을 개선하고 행동을 가능하게 하는 불확실성의 감소.

모든 지식은 정보다. 모든 정보가 지식인 것은 아니다.

기술적으로는 포함 관계다. 지식은 정보의 “부분집합”이다. 그러나 부분집합이라는 말만으로는 둘의 중요도가 거꾸로 보일 수 있다. 금을 금속의 부분집합이라고 부르는 것과 같다. 금은 더 희귀하고, 우리가 굳이 캐내려는 대상도 금이다.

과학 이론 하나는 몇 킬로바이트로 압축될 수 있다. 섀넌 정보는 거의 없지만 지식은 막대하다. 미래를 예측하고 행동을 가능하게 하며 중요한 대상에 관한 불확실성을 줄이기 때문이다.

무작위 문자열은 섀넌 정보를 최대로 담고도 지식은 전혀 담지 않을 수 있다. 비트가 아무리 많아도 잡음에서는 배울 수 없다.

두 이론

섀넌과 위너의 불일치는 마이너스 부호 때문이 아니었다.4 두 사람이 설명하려는 대상이 달랐다.

섀넌은 물었다. 신호를 어떻게 셀 것인가? 위너는 물었다. 그중 중요한 신호를 어떻게 셀 것인가?

섀넌은 구문을 선택했다. 공학의 문제를 풀기에는 옳은 선택이었고, 그 선택은 디지털 시대를 열었다.

위너는 의미를 선택했다. 겨냥한 대상은 옳았지만 그것을 명료하게 표현할 어휘가 없었다.

그 어휘가 바로 지식이다. 위너가 “음의 엔트로피” 또는 “질서로서의 정보”라고 부른 것은 지식이라 부르는 편이 더 정확하다. 지식은 중요한 정보다. 모델을 갱신하고 행동을 가능하게 하며 무질서에 맞서는 신호다.

섀넌은 정보이론을 세웠다. 위너가 세우려 했던 것은 지식이론이었다.

그 이론은 아직 만들어지는 중이다. 출발점에서 마주치는 질문들은 피하기 어렵다. 지식이 정보와 다르다면 지식은 어떤 종류의 물리적 존재인가? 어떻게 축적되며, 왜 때로 사라지는가? 지식은 현실을 묘사하는 데 그치는가, 아니면 현실의 무질서에 실제로 맞서는가?

Footnotes

  1. Claude Shannon, “A Mathematical Theory of Communication” (1948). 엔트로피 공식 는 확률 를 가진 이산 소스에서 기호당 평균 놀람을 측정한다. ↩

  2. Norbert Wiener, “Cybernetics” (1948) and “The Human Use of Human Beings” (1950). 정보를 음의 엔트로피, 곧 질서의 척도로 본 위너의 개념은 사이버네틱스의 이론적 토대를 제공했다. ↩

  3. Claude Shannon and Warren Weaver, “The Mathematical Theory of Communication” (1949). Weaver의 서문은 Shannon의 작업을 대중화했고, “information”의 기술적 사용과 일상적 사용 사이의 차이를 짚었다. ↩

  4. Ronald Kline, “The Cybernetics Moment” (2015). 클라인은 섀넌과 위너의 서신을 바탕으로 나란히 출발했다가 갈라진 두 연구의 지적 맥락을 기록한다. ↩

그래프 뷰