ROS와 OpenAI Gym 환경을 만지작거리던 시절 이후로 꽤 오랜 시간이 지났습니다. Lilian의 최근 보상 해킹(reward hacking) 글1을 보니, 밤늦게까지 강화학습(RL) 알고리즘을 디버깅하고 에이전트가 과제를 배우는 모습(혹은 대개 배우지 못하는 모습)을 지켜보던 기억이 떠올랐습니다. 덕분에 예전에 썼던 survey paper와 mutual information experiment도 다시 읽어보게 되었습니다.
변하는 것이 많을수록…
가장 인상적인 점은 RL의 근본적인 과제가 놀랄 만큼 일관되게 남아 있다는 것입니다. RLHF를 통해 언어 모델 학습에서 RL이 인상적인 진전을 이뤄낸 것은 보았지만, 핵심 아이디어와 알고리즘은 극적으로 달라지지 않았습니다. 몇 년 전 우리가 씨름했던 탐색과 활용의 균형, 보상 설계, 정책 최적화라는 동일한 원칙들이 오늘날의 응용에서도 여전히 중심에 있습니다.
보상 해킹에서 얻은 교훈
아마 지난 4년 동안 제가 얻은 가장 깊은 통찰은 RL의 보상 해킹이 인간 행동과 인지 편향을 비추는 방식일 것입니다2. RL 에이전트가 보상 함수의 결함을 이용할 수 있듯이, 우리 인간도 비즈니스, 교육, 개인적 성장 어디에서든 실제 목표와 진정으로 맞닿아 있지 않은 대리 지표를 최적화하곤 합니다.
인간과의 평행 관계
이 평행 관계는 지표가 우리의 품질 감각을 어떻게 마비시킬 수 있는지 생각해 보면 특히 분명해집니다. 소셜 미디어의 좋아요, 분기 이익, 심지어 학술 인용 수까지도, 이런 대리 지표는 RL 에이전트가 보상 함수를 게임하듯 우리를 진정한 가치에서 벗어나게 만들 수 있습니다1.
탐색의 가치
그래서 RL에서 탐색이라는 개념은 인간의 학습에도 점점 더 적절하게 느껴집니다. 에이전트가 지역 최적해에 갇히지 않도록 무작위성과 탐색 보너스를 도입하듯이, 우리 역시 지표를 탐색하고 질문할 수 있는 능력을 유지해야 합니다. 이는 효과가 있다고 아는 것을 활용하는 일과, 우리의 진짜 목적에 더 잘 부합할지도 모르는 새로운 가능성을 탐색하는 일 사이의 균형을 지키는 문제입니다.
이 현상 전체는 중독이 작동하는 방식을 떠올리게 합니다. 뇌의 보상 시스템이 납치되어 장기적인 안녕을 놓친 채 즉각적인 보상만을 최적화하는 상황 말입니다2. 인공 시스템이든 생물학적 시스템이든, 보상 신호(signal)가 얼마나 강력하고 또 잠재적으로 얼마나 오도적일 수 있는지를 냉정하게 상기시켜 줍니다.
이런 평행 관계를 돌아보면, 이상하게도 저는 위안을 느낍니다. RL에서 우리가 마주하는 과제, 즉 대리 보상을 진짜 목적에 맞추고 탐색과 활용의 균형을 잡는 일은 단지 기술적인 문제가 아닙니다. 그것은 AI와 삶 모두에서 우리가 아직 길을 찾아가고 있는 깊이 인간적인 문제입니다.