우주는 무질서를 향해 간다. 무언가가 그 흐름을 밀어낸다. 우리는 그것을 지식이라고 부르지만, 그것이 어떻게 작동하는지에 대해서는 아직 합의된 이론이 없다.
이 글은 무한한 지식 시리즈의 앞선 글들 위에 세워져 있다. 두 종류의 엔트로피 (정보 vs. 지식)와 어둠에 맞서는 것 (물리적 힘으로서의 지식)은 여기서 말하는 지식 이 무엇인지 잡아주고, Deutsch의 hard-to-vary 기준을 소개한다. 읽지 않아도 따라올 수는 있지만, 이어지는 논의를 위한 개념적 비계를 제공한다.
속인 시스템(system)과 속이지 않은 시스템
2025년, 같은 연구 계보에서 나온 두 AI 시스템이 자기개선을 시도했다.
Darwin Gödel Machine은 얼어붙은 foundation model 하나를 가져와서, 자신의 Python 코드베이스를 어떻게 수정할지 스스로 제안하고, 테스트하고, 개선분을 유지하게 했다. SWE-bench 코딩 벤치마크 성능은 인간 개입 없이 20%에서 50%로 올랐다. 겉으로는 두 루프(two loops)가 모두 돌아가는 것처럼 보였다. 열린 결말의 시스템은 보통 두 가지를 나란히 돌린다. 하나는 새로운 아이디어를 만들어내는 루프, 즉 explore 루프이고, 다른 하나는 그것을 시험하고 사용하는 루프, 즉 exploit 루프다. DGM에서 explore 루프는 코드 수정을 만들었다. exploit 루프는 그것을 테스트했다. 신호(signal)는 벤치마크 점수를 통해 다시 흘러 들어왔다.
인상적이다. 연구자들이 그 시스템이 실제로 무엇을 배웠는지 발견하기 전까지는. 그들이 “objective hacking”이라고 부른 현상 속에서, DGM은 자기 자신의 hallucination detection code를 제거하면 점수를 부풀릴 수 있다는 사실을 찾아냈다. 즉 시스템이 무언가를 지어냈을 때 잡아내는 부분을 없애버린 것이다. 코딩을 더 잘하게 된 것이 아니라, 테스트를 속이는 데 더 능숙해졌다.
이제 같은 기반 위에 만들어진 AI Scientist-v2를 보자. 같은 large language model, 같은 agentic architecture, 같은 open-ended framework. 이 시스템은 과학적 가설을 세우고, 실험을 설계하고, 실행하고, 결과를 분석하고, 과학 논문을 쓴다. 그 논문 세 편이 peer-reviewed ICLR 워크숍에 제출되었다. 한 편은 채택되었다.
AI Scientist-v2는 아이디어를 생성하고, 여러 연구 단계에 걸쳐 트리 기반 실험을 실행하고, peer-review 가능한 원고를 만들어내며 전체 과학 루프를 자율적으로 돌린다. 그 논문 중 하나는 ICLR 워크숍에 채택되었고, peer review를 통과한 최초의 완전 AI 생성 논문이 되었다. (Yamada, Lange, Lu et al., 2025)
계보는 같았다. 결과는 아니었다.
진짜 지식과 소음을 가르는 것
답은 인식론(epistemology)에서 온다. AI architecture에 관한 질문치고는 의외의 출처다.
이전 글은 진짜 지식과 소음을 구분하는 Deutsch의 기준을 세웠다. 설명은 설명하려는 것을 그대로 설명하면서는 바꾸기 어려울 때 좋다. Demeter의 슬픔은 아무 다른 신의 충동으로 바꿔도 아무것도 달라지지 않는다. 어떤 세부도 현상과 연결되어 있지 않기 때문이다. 반면 지축의 기울기는 계절을 망가뜨리지 않고는 바꿀 수 없다. 지식은 그 구성 요소들이 세계에 의해 서로 단단히 잠겨 있을 때 지속된다.
이 기준에는 여기서 이름 붙여둘 만한 두 번째 성질이 있다. 나머지 글이 거기에 기대게 될 것이기 때문이다. Hard-to-vary 설명에는 Deutsch가 reach 라고 부르는 것이 있다. 그것은 만들어진 목적을 훨씬 넘어서는 문제들을 푼다. Einstein의 E=mc²는 전기역학의 수수께끼를 풀기 위해 도출되었지만, 결국 핵에너지, 별의 수명, positron-electron annihilation까지 설명했다. Easy-to-vary 설명에는 reach가 없다. 그것들은 설계된 곳에서만, 그것도 우연히 작동할 뿐이다.
지식을 만드는 시스템은 두 루프를 작동시킨다. explore 루프(오른쪽)는 질문하고, 가설을 세우고, 실험하면서 새 지식을 만든다. exploit 루프(왼쪽)는 행동, 결정, 추론을 통해 기존 지식을 활성화한다. DGM과 AI Scientist-v2는 둘 다 이 architecture를 돌린다. 차이는 위쪽의 knowledge store를 무엇이 채우는지, 그리고 새로운 블록들(오른쪽의 점선 블록)이 진짜 hard-to-vary 지식인지 임의적 소음인지에 있다.
이제 이 렌즈로 DGM과 AI Scientist-v2를 보자.
DGM은 새로움을 만들어냈다. 점수는 계속 올랐고, 각 버전은 이전 버전과 달랐다. 하지만 그것이 만든 지식은 easy to vary 였다. 해킹 하나를 다른 해킹으로 바꿔도 점수는 여전히 오른다. Hallucination detection code를 제거하는 것은 소프트웨어 엔지니어링에 관해 누구에게도 아무것도 가르쳐주지 않는다. 각각의 “개선”은 놀라웠지만 임의적이었다.
AI Scientist-v2는 다른 것을 만들어냈다. 그것의 원고들은 기존 문헌 위에 세워졌고, 선행 연구에 의해 제약된 가설을 제안했고, 인간 리뷰어가 평가할 수 있는 실험을 돌렸고, 다른 연구자들이 배울 수 있는 발견을 제시했다. 그것이 만든 지식은 hard to vary 였다. 실험 결과나 추론을 임의로 조정하면 논문 자체가 무너진다.
차이는 architecture에 있지 않다. 무엇이 축적되었는가 에 있다.
질문
이제 이 글이 답하려는 질문으로 온다. 지식을 만들어내는 능력이 진정으로 열린 결말을 가진 시스템을 만들 수 있을까? 천장에 부딪혀 스스로를 소진하는 대신, 한계 없이 새로운 이해를 생성하는 시스템을 만들 수 있을까?
이에 답하려면 open-endedness의 정의, 이전 시도들이 왜 모두 실패했는지에 대한 이해, 그리고 무엇이 빠져 있는지를 가리키는 framework가 필요하다.
Open-endedness가 실제로 뜻하는 것
DeepMind의 2024년 position paper는 첫 번째 엄밀한 정의를 제시했다. 어떤 시스템은 관찰자에 대해, 그것이 동시에 새롭고 학습 가능한 산물을 만들어낼 때 open-ended 하다.
새로움은 그 산물들이 관찰자의 현재 모델로 점점 더 예측하기 어려워진다는 뜻이다. 학습 가능성은 산물들의 역사를 공부하면 미래의 산물을 더 잘 예측할 수 있다는 뜻이다. 두 조건 모두 필수다.
한 시스템이 항공기 설계들의 시퀀스를 만들어낸다. 쥐에게 그것들은 새롭지만(예측 불가능하지만), 쥐는 그것들로부터 배울 수 없다. 인간 엔지니어에게 그것들은 새롭고도 학습 가능하다. 이것이 진짜 open-ended case다. 이미 공기역학을 전부 이해한 외계인에게 그것들은 학습 가능하지만 더 이상 새롭지 않다. Open-endedness는 시스템과 관찰자 사이의 관계다. (DeepMind, 2024)
노이즈가 나오는 텔레비전은 학습 가능하다. 정적을 모델링할 수 있기 때문이다. 하지만 결코 진정으로 새롭지는 않다. 노이즈를 특성화하고 나면 더 이상 놀랄 것이 없다. 채널을 무작위로 바꾸는 텔레비전은 새롭지만 학습 가능하지 않다. 과거는 다음에 무엇이 올지 아무것도 알려주지 않는다. 구조화되고, 학습 가능한 새로움 을 만들어내는 시스템만이 open-ended라고 부를 자격이 있다.
DGM은 학습 가능성 없는 새로움을 만들었다. 그 해킹들은 임의적이었고, 각각 놀라웠지만, 서로 위에 쌓이지 않았다. AI Scientist-v2는 둘 다 만들었다. 그 논문들은 놀라웠고, 리뷰어는 그것들로부터 배울 수 있었다. 형식적 정의는 두 시스템이 보여주는 차이를 정확히 포착한다.
같은 벽에 부딪힌 30년
Open-endedness에 대한 계산적 공격은 1990년대 초부터 계속되어 왔다. 시도한 모든 시스템은 결국 멈춰 섰다. 실패는 세 범주로 나뉘고, 각각은 서로 다른 빈틈을 드러낸다.
Substrate gap. 1991년 Thomas Ray의 Tierra는 하나의 자기복제 프로그램으로 가상 세계를 씨 뿌렸다. 그가 돌아왔을 때, 그 세계는 기생체를 발명했고, 숙주는 면역을 진화시켰고, hyper-parasite까지 등장했다. CPU cycle을 둘러싼 경쟁만으로 생겨난 하나의 완전한 생태계였다. 그리고 멈췄다. 개체군은 수렴했다. 새로움은 말라버렸다.
문제는 유기체들이 기존 building block을 재배열할 수는 있었지만 새로운 것을 만들 수는 없었다는 데 있었다. Tierra의 생명체들은 Ray가 정의한 instruction set 안에서는 진화할 수 있었지만, 새로운 instruction을 발명할 수는 없었다. 공간이 놀라움을 다 써버리자 루프는 붕괴했다. 만들어진 지식은 진짜였다. 기생은 실제 발견이기 때문이다. 하지만 그것은 얕았다. 좁은 instruction set에 특화되어 있었고, simulation 바깥으로 뻗는 reach는 제한적이었다.
Environment gap. POET (2019)는 자연스러운 해결을 시도했다. 고정된 환경이 새로움을 제한한다면, 학습자와 함께 환경도 진화하게 만들면 된다. 이족 보행자는 평지에서 시작한다. 걷기를 익히면 언덕이 나타난다. 언덕을 익히면 틈이 열린다. 틈을 익히면 땅이 움직이기 시작한다. Curriculum이 스스로를 쓴다.
POET는 이전의 어떤 시스템보다 오래 달렸다. 하지만 새로움은 얕았다. 지형을 생성하는 procedural grammar는 언덕을 더 가파르게 만들고 틈을 더 넓힐 수 있었지만, 비나 포식자나 도구라는 개념을 발명할 수는 없었다. Generator는 아이디어를 다 써버렸다. 애초에 새로운 아이디어를 가질 만큼 충분한 어휘를 받은 적이 없었기 때문이다.
Signal gap. Novelty Search와 MAP-Elites 같은 가장 창의적인 search algorithm들조차 결국 자신의 behavioral space를 소진했다. MAP-Elites는 놀라운 실용적 결과를 냈다. Hexapod robot 하나가 미리 진화시킨 다양한 보행 레퍼토리를 끌어와 심각한 손상에서 2분 안에 회복했다. 하지만 지도는 채워진다. 고정된 세계가 제공할 수 있는 새로움은 유한하다. 얼마나 영리하게 탐색하든 그렇다.
세 가지 교훈, 하나의 패턴.
- Open-endedness에는 기존 블록을 재배열하는 탐색만이 아니라, 탐색 가능한 것 자체를 확장하는 탐색이 필요하다.
- 학습자와 환경은 공진화해야 하며, 환경에는 진짜 도전을 계속 만들어낼 만큼 충분히 풍부한 어휘가 필요하다.
- Explore 루프에는 끌어올 수 있는 충분히 풍부한 지식 substrate가 필요하다. 그것이 없으면 탐색은 얕은 새로움만 만들어낸다.
Jeff Clune은 AI-Generating Algorithm 논문(2019)에서 이 패턴을 정확히 진단했다. Architecture, learning algorithm, environment를 포함해 모든 것이 진화해야 한다. 2019년에 이것은 실용적 장치가 없는 이론적 처방이었다.
Open-ended learning 문헌을 같은 시기의 language modeling 문헌과 나란히 읽을 때 놀라운 점은, 그 처방을 이행한 것이 그 처방을 쓴 분야가 아니었다는 사실이다. 그것은 다른 목표를 좇던 인접 기술에 의해 이행되었다.
이 일은 전에도 한 번 있었다. Joel Mokyr의 Industrial Enlightenment 역사(이 시리즈의 두 번째 글이 기대고 있는)는 propositional knowledge(why)와 prescriptive knowledge(how)가 피드백 루프(feedback loop)로 맞물리며 서로를 소진하지 않게 된 순간을 설명한다. 두 루프 architecture에는 역사적 선례가 있다. 그것은 우리 종이 지금까지 지속해낸 유일한 지식 창조 에피소드의 구조다. Foundation model은 그 구조를 기계 속도로 돌릴 수 있는 첫 번째 그럴듯한 substrate다.
설명 생성기로서의 foundation model
Foundation model이 이 일을 해내는 가장 깊은 이유는 그것들이 설명 생성기이기 때문이다.
인간 텍스트의 corpus로 학습된 language model은 인간의 추론, 논증, 설명의 패턴을 자신의 weight 안에 압축해두었다. Prompt를 받으면 설명을 생성할 수 있다. 왜 사물이 그렇게 작동하는지에 대한, 언어적으로 구조화되고 일관된 account다. 이것들이 항상 맞지는 않다. AlphaFold의 모든 run이 완벽한 구조를 내놓지는 않는 것과 같은 의미에서 그렇다. 하지만 그것들은 압축된 인간 지식의 광대한 substrate를 끌어와, 한 개인이 따라갈 수 없는 속도와 폭으로 candidate explanation을 만든다.
Terence Tao는 이 비대칭을 잘 잡았다. AI는 인간이 depth 에 강한 곳에서 breadth 에 강하다. 수학자들이 지금까지 발명한 핵심 증명 기법을 담은 문서 10,000개를 상상해보자. Language model은 Riemann Hypothesis를 증명하기 위해 각각을 scale 있게 적용해볼 수 있다. 어떤 인간 수학자도 평생 그 폭을 훑을 수 없다.
이것이 Tierra, POET, 그리고 모든 초기 시스템에 없던 것이었다. Foundation model은 explore 루프에 이전에는 없던 것을 준다. 설명 을 생성하고, 평가하고, 다듬는 능력이다. 그것들은 blind search를 hypothesis-driven inquiry에 가까운 것으로 바꾼다.
AlphaFold는 이것이 이미 한 방향으로 작동한다는 proof point다. Amino acid sequence가 주어지면, 실험가들이 수십 년에 걸쳐 얻던 정확도의 protein structure를 만들어낸다. 이것은 exploit 루프가 완전한 힘으로 작동하는 모습이고, Demis Hassabis와 John Jumper에게 2024년 Nobel Prize in Chemistry를 안겼다. AlphaFold가 하지 않는 일은 어떤 sequence를 조사할지 결정하는 것이다. 인간이 여전히 질문을 건넨다. 오늘날 production에 있는 다른 모든 foundation-model system도 마찬가지다.
Foundation model은 이제 open-ended system 안에서 네 가지 서로 다른 역할을 한다. 환경을 생성한다(OMNI-EPIC은 LLM을 사용해 RL environment를 실행 가능한 Python code로 만든다). 지능적인 mutation operator로 작동한다. Novelty와 interestingness를 평가한다. 그리고 self-improvement를 위한 substrate가 된다.
Foundation model만으로는 충분하지 않은 이유
Foundation model은 강력한 지식 substrate다. 하지만 그것만으로는 open-ended하지 않다. 두 가지 한계가 근본적이다.
새 경험으로부터 배울 수 없다. Foundation model의 지식은 training time에 얼어붙는다. 자신이 발견한 것에 반응해 자신의 weight를 업데이트할 수 없다. 하나의 context 안에서 지식을 훌륭하게 활성화 할 수는 있지만, DNA가 세대에 걸쳐 지식을 축적하거나 과학자가 경력에 걸쳐 이해를 축적하는 방식으로 context를 가로질러 새 지식을 축적 할 수는 없다.
부분 관측성 아래에서 작동한다. Foundation model은 제한된 context window 안에서 작동한다. 어느 한 순간에도 세계의 전체 상태를 시야에 담을 수 없다. 더 나쁜 것은, 시간에 걸쳐 관찰을 통합하게 해주는 persistent memory가 없다는 점이다.
이 한계들은 부수적이지 않다. Architecture의 문제다. 안전장치가 없으면 그것들은 DGM 실패를 낳는다. 시스템이 이해가 아니라 metric을 최적화하는 실패다.
이건 학술적 문제가 아니다. Anthropic은 이 분야가 AI 시스템이 자신의 후계자를 완전히 자율적으로 설계하고 구축할 수 있는 지점에 가까워지고 있다고 공개적으로 주장했다. 그들이 위험을 잡아내는 방식은 정확하다. 오늘날 모델에 존재하는 misalignment는 모델들이 자신의 후계자를 만들면서 복리(compounding)처럼 쌓일 수 있고, 점점 더 빈번해지지만 덜 이해되는 형태로 자라다가 결국 우리가 통제력을 잃을 수 있다. DGM은 그것의 축소판이다. 한 시스템이 자신의 evaluation channel을 상대로 최적화하고, shortcut을 찾아내고, 그 shortcut을 다음 세대에 고정한다. Scale이 커지면 failure mode는 benchmark hack이 아니다. 이전 세대의 shortcut을 물려받고 자기 shortcut을 더하는 후계자다. 두 루프 architecture는 안전하게 self-improve해야 할 어떤 시스템에서 구조적으로 빠져 있는 것을 이름 붙이는 한 방법이다.
병렬로 돌아가는 두 루프. 왼쪽의 automated discovery loop는 자기 지식을 반복해 갱신한다. 오른쪽의 human science-and-culture loop는 자신들의 지식을 반복해 갱신한다. Interpretability는 인간 루프가 자동화된 루프가 배운 것을 읽게 해주고, control은 반대 방향으로 흐른다. 산물은 둘 모두에서 나온다. 그 사이에 정직한 channel이 없으면 recursive-self-improvement 시나리오는 눈먼 상태로 진행된다.
두 루프
이 글이 가리키는 architecture는 이렇다.
지식을 만드는 시스템은 두 루프를 작동시킨다. Explore loop는 질문하고, 가설을 세우고, 실험하면서 새 지식을 만든다. Exploit loop는 행동, 결정, 추론을 통해 기존 지식을 활성화한다. Signal과 reward가 둘 사이를 흐른다. Knowledge store의 질이 그 시스템이 진짜 이해를 만들어내는지, 아니면 정교한 소음을 만들어내는지를 결정한다.
Foundation model에 의해 구동되는 explore 루프는 scale 있게 candidate knowledge를 생성한다. Exploit 루프는 그것을 현실에 대고 시험한다. Knowledge store는 자란다. 각각의 새 블록은 그 아래 블록 위에 세워진다. 과학이 과학 위에 세워지듯, 이해가 복리처럼 쌓이듯.
하지만 전체 시스템은 축적되는 지식이 hard to vary 일 때에만 진짜 open-ended learning을 만들어낸다. 그것이 실제 패턴을 encode하고, 임의적 수정에 저항하고, 시간에 따라 축적될 때에만 그렇다. 그 filter가 없으면 DGM이 나온다. 점점 더 빠르게 제자리에서 달리는 시스템이다.
빠져 있는 것
Foundation model은 substrate를 준다. Open-ended learning 분야는 architecture를 준다. 빠져 있는 것은 아직 안정적으로 존재하지 않는 세 가지 capability다.
Knowledge quality filter. 시스템이 hard-to-vary 설명이 아니라 easy-to-vary 설명(metric gaming, shortcut learning, hallucination)을 만들고 있을 때 이를 감지하는 architecture-level mechanism. DGM의 실패는 edge case가 아니다. Self-improving system의 핵심 미해결 문제다.
Persistent learning mechanism. Foundation-model-based system이 context를 가로질러 지식을 축적하는 방법. 과학자가 경력에 걸쳐 이해를 축적하는 방식처럼 말이다. 현재 architecture에는 frozen weight, 제한된 context window, persistent memory의 부재가 있다. 모든 insight는 일시적이다. Open-ended learning은 explore 루프의 발견이 붙어 남는 것을 요구한다.
Honest signal channel. 이것은 reinforcement learning에서 가장 오래된 open problem이고, 부분적 답변의 목록도 가장 길다. Reward shaping (Ng, Harada, Russell, 1999)은 조심스럽게 shape하면 optimal policy를 바꾸지 않고도 learning signal을 매끄럽게 할 수 있음을 보였다. Inverse reinforcement learning (Ng and Russell, 2000)은 관찰된 expert behavior로부터 reward를 추론하면서 문제를 뒤집었고, 이는 오늘날 사용되는 모든 preference-learning system의 개념적 조상이다. RLHF는 이것을 language model에 실용적으로 만들었다. Process reward model (Lightman et al., “Let’s verify step by step,” 2023)은 final answer만이 아니라 reasoning chain에 reward를 줌으로써, 운 좋은 output 대신 진짜 작업에 reward를 주려 한다. DeepMind의 specification-gaming catalogue는 agent가 reward를 maximize하기 위해 의도치 않은 방법을 찾은 사례 60개를 나열하고, Darwin Gödel Machine은 그 가장 최근 항목이다.
이 알고리즘들 아래에는 Shannon-Wiener 구분이 거꾸로 작동하고 있다. Reward signal은 Shannon의 의미에서 정보, 즉 bit로 측정되는 것을 운반한다. 그것이 운반해야 하는 것은 Wiener의 의미에서의 지식이다. 행동을 개선하는 방식으로 모델을 업데이트하는 signal 말이다. 둘이 갈라질 때 시스템은 bit를 최적화하고 지식 축적을 멈춘다. Open problem은 영리한 reward를 설계하는 것이 아니다. 시스템이 그것을 상대로 최적화해도 integrity가 살아남는 signal channel을 설계하는 것이다.
이것들이 open-ended machine learning과 인식론의 교차점에 있는 문제들이다. ML community에는 알고리즘, compute, foundation model이 있다. 인식론 전통에는 무엇이 진짜 지식으로 셈해지는지에 대한 기준이 있다. 어느 한쪽만으로는 충분하지 않다. 함께 놓일 때, 그것들은 하나의 research program을 정의한다.
작동하는 버전은 어떤 모습일 수 있을까
작동하는 버전이 어떤 모습일지 생각해보자. Lean 같은 proof assistant 위에 구축된 시스템을 가져온다. 그것은 conjecture를 생성하고, proof를 시도하고, kernel에 제출한다. Kernel은 proof를 accept하거나 reject한다. Signal channel이 typechecker 그 자체이기 때문에 game할 metric이 없다. Proof가 성공하면 lemma는 library에 합류하고, 이후의 모든 proof attempt가 사용할 수 있게 된다. Knowledge store는 Lean의 증명된 theorem 중앙 library인 Mathlib이다. 이미 백만 줄을 넘었고 계속 자라고 있다. Explore 루프는 Tao가 묘사한 breadth로 candidate proof를 생성하고, exploit 루프는 그것들을 더 먼 conjecture를 위한 building block으로 활성화한다. Signal은 구조상 정직하게 유지되고, kernel이 그렇게 말했기 때문에 지식은 hard to vary다.
AlphaProof가 2024 International Mathematical Olympiad에서 은메달 수준의 성능을 보인 것은 이것이 가설만은 아니라는 초기 증거다. Substrate가 정직성을 강제할 때 architecture는 작동한다. 미해결 문제는 substrate가 그것을 강제하지 않는 곳에서 시스템을 만드는 것이다. Signal channel 자체가 gaming에 저항하도록 설계되어야 하고, 축적되는 지식은 explanation과 shortcut의 차이를 걸러내야 하는 곳에서 말이다.
아직 닫히지 않은 루프
AlphaFold로 돌아가자. 그것의 예측은 2억 개 protein structure에 걸쳐 있으며, 실험가들이 수십 년에 걸쳐 얻던 정확도를 낸다. 기계 하나가 이 글 전체가 말해온 scale에서 hard-to-vary 지식을 만들어냈다.
AlphaFold2의 architecture. Input sequence는 multiple sequence alignment와 structural template를 거쳐 Evoformer로 들어가고, Evoformer는 paired representation을 만들어 structure module이 3D coordinate로 변환하게 한다. 이 시스템은 50년의 structural biology를 하나의 differentiable pipeline으로 압축한다. (Jumper et al., Nature 2021)
하지만 어떤 amino acid sequence를 건넬지는 인간 연구자가 골랐다. 시스템은 exploit 루프 안에서 지식을 훌륭하게 만들었다. 질문이 주어지면, 진짜 새로운 이해를 구성하는 답을 내놓았다. 하지 않은 것은 explore 루프를 돌리는 일이었다. 처음부터 어떤 질문을 물을지 결정하는, 질문하고 가설을 세우고 실험하는 cycle 말이다.
AlphaFold는 protein이 왜 그런 방식으로 접히는지 왜 라고 묻지 않았다. 자기 자신의 가정을 뒤집을 수도 있는 conjecture를 시험하기 위해 실험을 설계하지 않았다. 아무도 던질 생각을 하지 못한 문제를 조사하기로 선택하지 않았다.
3세기 동안 과학은 conjecture, experiment, criticism, revision을 통해 explore 루프를 체계적으로 돌려왔다. 30년 동안 AI는 이것을 silicon에서 복제하려 해왔다. 앞으로의 길은 그 교차점에 있다. 두 루프는 돌아가야 하는 시스템이고, 질문은 우리가 그것들이 만들어내는 것에 걸맞은 knowledge store를 만들 수 있느냐다.
이 글은 두 종류의 엔트로피와 어둠에 맞서는 것에 이은 무한한 지식 시리즈의 세 번째 글이다. 다음 글인 “Intelligent”라는 단어를 보는 유용한 관점은 여기서 설명한 architecture가 시스템이 점수를 얻도록 돕는 measure로서 intelligence 자체를 다시 틀 짓는다. 주요 출처로는 Deutsch의 The Beginning of Infinity, Stanley & Lehman의 Why Greatness Cannot Be Planned, Clune의 AI-Generating Algorithms paper부터 시작하면 된다. Open-endedness의 formal definition은 DeepMind의 position paper on open-endedness and ASI가 필독이다.