우주는 무질서를 향해 간다. 무언가가 거기에 맞선다. 우리는 그것을 지식(knowledge)이라고 부르지만, 그것이 어떻게 작동하는지에 대한 정립된 이론은 아직 없다.
여기 두 개의 문자열이 있다.
String A: G7&xQ2!pLm@9rWv$KjZ3*nYf
String B:
String A는 인코딩하는 데 더 많은 비트가 필요하다. 우리가 가진 가장 엄밀한 수학적 정의, 즉 Claude Shannon의 정의에 따르면 String A에는 더 많은 정보(information)가 들어 있다. String B는 거의 아무것도 아닌 수준까지 압축될 수 있다.
그런데도 당신은 String B를 외워서 우주에 대한 이해를 바꿀 수 있다. String A는 당신에게 아무것도 가르쳐주지 않는다.
이것이 문제처럼 느껴진다면, 당신은 1948년 이후 줄곧 눈앞에 숨어 있던 정보 이론의 토대 속 균열을 발견한 것이다. 20세기의 가장 위대한 두 지성, Shannon과 Norbert Wiener는 평생 그 균열의 서로 반대편에 서 있었다.
공학의 문제
Shannon의 프로젝트는 정확하고 경계가 분명했다.1 알려진 확률로 기호를 내보내는 소스가 있을 때, 그것들을 충실하게 인코딩하려면 기호당 몇 비트가 필요한가? 잡음이 있는 채널이 있을 때, 데이터를 잃지 않고 어느 속도까지 전송할 수 있는가?
그의 답은 엔트로피(entropy)였다.
기호당 평균 놀람. 엔트로피가 높을수록 예측하기 어렵고, 더 많은 비트가 필요하며, 메시지 공간은 더 넓어진다. 이것은 구문적 복잡성의 척도다. 즉 신호(signal)의 구조를 측정하되, 그 신호가 무엇을 뜻하는지는 고려하지 않는다. Shannon은 이를 명시적으로 말했다. “communication의 semantic aspects는 engineering problem과 무관하다.” 그는 옳았다. 압축과 전송에서 의미는 잡음이다.
그 공식은 열역학에서의 Boltzmann 엔트로피와 형식적으로 동일하다는 것이 드러났다. 단순한 유비가 아니라 작동상 동등했다. 2025년 연구는 분자 동역학 궤적을 압축하면 열역학적 엔트로피가 정확히 재현된다는 것을 보였다. Shannon 정보와 Boltzmann 엔트로피는 서로 다른 단위로 표현된 같은 것이다.
생존의 문제
cybernetics의 아버지인 Norbert Wiener는 완전히 다른 질문에서 출발했다.2 질문은 신호를 어떻게 인코딩하는가가 아니었다. 유기체와 기계는 무질서를 향해 가는 세계 속에서 어떻게 조직을 유지하는가였다.
온도 조절기. 신경계. 경제. 면역계. 이 모두는 피드백 시스템(feedback system)이다. 자신들의 환경을 감지하고, 감지한 것을 자신들에게 필요한 것과 비교하고, 조정함으로써 지속된다. 한마디로 말해, 이들은 학습함으로써 지속된다.
Wiener는 정보를 “negative entropy”라고 불렀다. 질서를 유지하는 힘이라는 뜻이다. 그는 “entropy가 disorganization의 척도인 것과 마찬가지로,” “일련의 메시지가 운반하는 information은 organization의 척도다”라고 썼다.
Shannon은 이것을 “mathematical pun”이라고 불렀다. 1948년 10월, Wiener의 Cybernetics 사전본을 읽은 뒤 그는 이렇게 썼다.
당신은 information을 “negative entropy”라고 부르고, 나는 “regular entropy formula”를 사용한다… 하지만 나는 그것이 그저 “상보적인 관점”이라고 본다.
Wiener는 이렇게 답했다.
맞다, “순전히 형식적인” 것이다.
하지만 그것은 순전히 형식적인 문제가 아니었다. 그들은 같은 방정식으로 서로 다른 것을 측정하고 있었다.
간극을 드러내는 동전
어떤 동전이 앞면이 나올 확률은 다. Shannon 엔트로피는 다음과 같다.
일 때: 엔트로피는 1비트다. 불확실성은 최대다. 한 번 던질 때마다 Shannon 정보도 최대다.
일 때: 엔트로피는 약 0.08비트다. 이 동전은 예측 가능하다. 지루하다. 한 번 던질 때마다 Shannon 정보는 거의 없다.
이제 당신이 이 동전에 돈을 걸고 있다고 상상해보자.
그 편향을 모른다면, 각각의 던지기는 당신에게 그저 잡음일 뿐이다. Shannon 정보는 높지만 가치는 0이다. 그 동전이 99%의 확률로 앞면이 나온다는 것을 안다면, 당신은 Shannon의 공식이 포착할 수 없는 무언가를 갖게 된다. 당신은 지식을 갖게 된다. 그리고 그 지식은 당신이 이기게 해준다.
저엔트로피 소스가 더 가치 있는 것은 정확히 그것이 예측 가능하기 때문이다. 예측 가능성은 그것을 활용할 수 있게 해주는 조건이다. Shannon의 엔트로피는 비트를 센다. 이것은 셀 수 없다.
어떤 신호를 지식으로 만드는 것은 신호 안에 있지 않다. 그것은 신호와 그 신호를 받는 시스템 사이의 관계 안에 있다.
Shannon의 작업에 대한 대중적 해설을 공동 집필한 Warren Weaver는 이 문제를 일찍 알아보았다. 그는 이를 “semantic trap”이라고 불렀다.3 “information”이라는 단어가 Shannon의 수학 안에서 맡은 역할은 일상 언어에서 그 단어가 맡는 역할과 거의 아무 관련이 없었다.
하드 드라이브의 비트를 뒤집는 우주선: Shannon 정보다. 당신이 문밖으로 나가려는 순간 친구가 비가 온다고 말해주는 것: 이것 역시 Shannon 정보다. 사실 훨씬 더 적은 비트다. 하지만 하나는 잡음이고, 다른 하나는 당신의 행동을 바꾼다.
Shannon의 이론은 둘을 구별할 수 없다. 애초에 그러도록 설계되지 않았다.
Wiener에게 필요했던 단어
Wiener는 그 간극을 감지했다. 그의 전체 프로젝트, 즉 cybernetics는 유용한 신호와 쓸모없는 신호를 구별하는 시스템에 관한 것이었다. 온도 조절기는 소리와 냄새를 무시하고 온도에만 주의를 기울인다. 면역 세포는 온도를 무시하고 분자적 표지에 주의를 기울인다. 모든 피드백 시스템은 자신의 생존에 중요한 신호를 선택하고 나머지는 버린다.
Wiener가 원했던 것은 중요한 것들에 대한 불확실성을 줄이는 신호의 이론이었다. 즉 효과적인 행동을 가능하게 하는 방식으로 시스템의 세계 모델을 업데이트하는 신호의 이론이었다.
그는 이것을 “negative entropy”라고 불렀다. “organization”이라고도 불렀다. 그는 그 개념을 반복해서 붙잡으려 했지만, 끝내 그것에 깔끔한 이름을 붙이지는 못했다. 그에게 필요했던 것은 새로운 공식이 아니었다. 다른 단어였다.
그 단어는 지식이다.
금속 안의 금
Information (Shannon): 어떤 메시지가 보내졌는지에 대한 불확실성의 감소. 모든 신호는 똑같이 계산된다. 잡음과 통찰은 같은 화폐를 지니며, 비트로 측정된다.
Knowledge (Wiener가 붙잡으려 했던 것): 세계에 대한 당신의 모델을 개선하고 행동을 가능하게 하는 불확실성의 감소.
모든 지식은 정보다. 모든 정보가 지식인 것은 아니다.
이는 기술적으로 포함 관계다. 지식은 정보의 “부분집합”이다. 하지만 이를 부분집합이라고 부르는 것은 중요성을 뒤집는다. 금을 금속의 “부분집합”이라고 부르면 중요성이 뒤집히는 것과 같다. 금은 더 희귀하고, 당신이 파내려는 것이 바로 그것이다.
과학 이론은 몇 킬로바이트로 압축될지도 모른다. Shannon 정보는 거의 없다. 하지만 지식은 엄청나다. 그것은 예측하고, 행동을 가능하게 하며, 중요한 것들에 대한 불확실성을 줄인다.
무작위 문자열은 최대의 Shannon 정보와 0의 지식을 지닌다. 잡음에서는 배울 수 없다. 그것이 얼마나 많은 비트를 담고 있든 상관없다.
두 이론
Shannon/Wiener의 불일치는 결코 마이너스 부호에 관한 것이 아니었다.4 그것은 설명하려는 대상 에 관한 것이었다.
Shannon은 물었다. 신호를 어떻게 셀 것인가? Wiener는 물었다. 중요한 신호를 어떻게 셀 것인가?
Shannon은 구문을 선택했다. 공학에는 그것이 옳은 선택이었다. 그리고 그것은 우리에게 디지털 시대를 안겨주었다.
Wiener는 의미를 선택했다. 그는 목표에 관해서는 옳았다. 다만 그것을 깔끔하게 말할 어휘가 없었을 뿐이다.
여기에 그 어휘가 있다. Wiener가 “negative entropy” 또는 “information-as-order”라고 부른 것은 knowledge라고 부르는 편이 더 낫다. 지식은 중요한 정보다. 모델을 업데이트하고, 행동을 가능하게 하며, 무질서에 맞서는 신호다.
Shannon은 우리에게 information의 이론을 주었다. Wiener는 knowledge의 이론에 닿으려 하고 있었다.
우리는 아직 그 이론을 만들고 있다. 그리고 그 첫 질문들은 피할 수 없다. 지식이 정보와 구별된다면, 그것은 어떤 종류의 물리적 사물인가? 지식은 어떻게 축적되는가. 그리고 왜 때로는 사라지는가? 지식은 단지 현실을 묘사할 뿐인가, 아니면 현실에 맞서는 것인가?
Footnotes
-
Claude Shannon, “A Mathematical Theory of Communication” (1948). 엔트로피 공식 는 확률 를 가진 이산 소스에서 기호당 평균 놀람을 측정한다. ↩
-
Norbert Wiener, “Cybernetics” (1948) and “The Human Use of Human Beings” (1950). negative entropy, 즉 organization의 척도로서의 information이라는 Wiener의 개념은 cybernetics의 개념적 토대를 제공했다. ↩
-
Claude Shannon and Warren Weaver, “The Mathematical Theory of Communication” (1949). Weaver의 서문은 Shannon의 작업을 대중화했고, “information”의 기술적 사용과 일상적 사용 사이의 차이를 짚었다. ↩
-
Ronald Kline, “The Cybernetics Moment” (2015). Kline의 역사는 Shannon-Wiener 서신과, 서로 평행했지만 갈라져 나간 두 프로젝트의 지적 맥락을 기록한다. ↩