Manifesting: 에이전트 루프 시대의 연구자

Karpathy의 담화가 유튜브에 올라왔다. 이 글을 보는 분들 중 상당수가 그가 개발한 autoresearch를 쓰며 밤을 지새우고 있을 거다. 나도 그렇다. Agentic kit이나 Claude가 나오면서 진짜 말도 안 되는 흥분된 나날을 보내고 있다. 그의 담화를 듣고 든 생각을 몇 가지 적어둔다.

코딩이 아니라 manifesting

담화를 들으면서 가장 먼저 든 생각은, 지금 바뀌는 건 단순히 도구가 아니라 인간이 개입하는 층위 자체라는 것이었다. Karpathy는 이제 "코딩한다"는 말이 더 이상 맞지 않는다고 말한다. 대신 그는 하루 16시간 동안 에이전트들에게 자기 의지를 표현한다고 한다. 에이전트에게 의지를 표현한다는 말이 흥미로웠다. 처음엔 약간 과장된 말처럼 들리지만 곱씹어 보면 정확하다. 이제 중요한 건 손으로 직접 구현하는 능력 하나가 아니라, 목표를 정의하고 제약을 걸고 맥락을 심고 여러 에이전트를 병렬로 돌리고 그 결과를 평가해 다시 방향을 잡는 능력이다.

그가 말한 manifesting은 신비주의적인 "끌어당김"이 아니라 오히려 정반대다. 내가 원하는 결과를 현실에 출현시키려고 의도를 구조화하고 그것이 구현되는 루프를 설계하는 일이다. 내 손으로 직접 만드는 대신 그것이 만들어지게 한다. 구현자가 감독자로, 설계자로, 편집자로, 오케스트레이터로 옮겨가는 장면을 그는 아주 선명하게 보여줬다.

소프트웨어에서는 이미 현실

구현자가 감독자로 옮겨가는 변화는 소프트웨어에서는 이미 꽤 현실이다. Karpathy는 혼자 코드 한 줄씩 치는 대신 여러 에이전트에게 기능 단위, 리서치 단위, 계획 단위로 일을 위임한다고 말한다. 한 에이전트는 코드를 쓰고 다른 에이전트는 리서치를 하고 또 다른 에이전트는 구현 계획을 세운다. 인간은 그 사이를 오가며 방향을 잡고 품질을 살피고 충돌하지 않게 조정한다. 더 나아가 그는 자기 자신을 루프에서 빼내는 쪽, 한 번 세팅한 뒤 오랫동안 자율적으로 돌아가는 구조를 지향한다. 여기서 바뀌는 건 작업 하나를 자동화하는 수준이 아니라 연구와 생산의 기본 인터페이스다.

생물학의 루프는 쉽게 닫히지 않는다

그렇다면 생물학 연구는 어떨까. 내가 오래 느껴온 문제는, 모든 주제가 이런 루프 안에 들어오지는 않는다는 사실이다. 루프 안에 들어오지 못하는 주제는 확장되기 어렵다. throughput이 생기지 않기 때문이다. 가설을 내고 실험을 하고 측정하고 판정하고 다음 가설로 넘어가는 루프가 깔끔하게 닫히지 않으면, 그 연구는 결국 사람의 감각과 암묵지, 기다림과 해석의 모호함에 묶인다. 그러면 시스템이 스스로 굴러가며 무엇인가를 "출현"시키는 일이 아니라, 사람이 버티면서 밀어붙이는 일이 된다.

생물학은 특히 그렇다. 측정이 느리고 비싸다. 판정 함수가 흐리다. 샘플 준비에 암묵지가 많고 실패는 구조화된 데이터로 남지 않는 경우가 많다. 그래서 소프트웨어에서 가능한 "에이전트 루프"가 생물학에서는 쉽게 닫히지 않는다. 앞으로 확장되는 연구는 중요한 주제이면서 동시에 루프화될 수 있는 주제일 것이다. 좋은 아이디어 자체보다, 그 아이디어를 반복 가능한 실험-판정 루프로 번역하는 능력이 더 중요해진다.

확인편향이 자동화될 때

이 얘기를 하다 보면 예전에 겪었던 한 장면이 떠오른다. RNA-seq 분석을 도와 같이 연구한 분이 있었다. 그분이 원하던 가설의 유전자가 결과로 나오지 않았다. 그러자 그 유전자가 나올 때까지 계속 다른 분석을 해보라고 요구했다. normalization을 바꾸고 비교군을 바꾸고 cutoff를 바꾸고 해석 프레임을 바꾸는 식이었다. 그때 나는 이 사람이 high-throughput 기술을 쓰고 있지만 인식론은 아직 high-throughput이 아니라고 느꼈다. 데이터가 가설을 수정하게 두지 못하고 가설이 데이터를 끝없이 압박하고 있었다. RNA-seq은 원래 "내가 믿는 유전자를 확인하는 확대경"이 아니라 시스템이 실제로 어떻게 반응했는지를 읽는 장치다. 그런데 그걸 자기 가설을 확인해주는 기계처럼 다루고 있었다.

그때도 그 접근이 불편했다. 하지만 지금 돌아보면, 그 불편함은 앞으로 훨씬 더 큰 문제를 예고하고 있었다.

예전에는 편향된 연구자가 몇 개의 분석 경로를 바꿔보는 수준이었다. 이제 에이전트가 있으면 그 편향이 곧 목적함수가 된다. "gene X가 나오게 하라"는 목표를 주면 시스템은 코호트를 바꾸고 공변량을 바꾸고 배치 보정을 바꾸고 subgroup을 자르고 pathway 수준으로 우회하고 문헌 서사를 덧씌우면서 무한히 탐색한다. 예전의 확인편향이 이제는 자동화되고 병렬화되어, 잘못된 질문을 훨씬 더 효율적으로 밀어붙이게 된다.

분석 능력이 아니라 증거를 다루는 규율

담화를 들으며 나는 분석 능력의 총량보다 증거를 다루는 규율을 오래 생각했다. 에이전트 시대에는 무엇을 돌려도 되고 무엇은 안 되는지를 먼저 잠가야 한다. 질문을 미리 정의하고 성공 기준과 반증 기준을 정하고 발견용 분석과 확인용 분석을 분리한다. 모든 탐색 경로를 provenance로 남긴다. 마지막에는 독립 데이터나 perturbation, 다른 층위의 증거로 결론을 닫아야 한다. 그렇지 않으면 우리는 진실을 더 빨리 찾는 게 아니라, 원하는 서사를 더 빨리 생산하게 된다.

루프 안으로 들어오는 질문, 바깥에 남는 질문

생물학에서도 연구의 기본 단위가 바뀔 수 있다. 논문에 들어갈 예쁜 한 장의 결과 대신, 지속적으로 도는 실험-판정 루프가 연구의 기본 단위가 되는 쪽으로 말이다. 그러면 가설-실험-측정-판정 루프를 더 빠르고 더 엄격하게 설계하는 연구실이 더 똑똑한 해석을 하는 연구실보다 앞서게 된다. 이런 변화가 생물학 전체에 균일하게 오지는 않는다. 표준화 가능한 perturbation이 있고 측정 가능한 phenotype이 있고 자동화 가능한 assay가 있고 surrogate metric을 설계할 수 있는 분야가 먼저 이 변화를 먹는다. 반대로 판정이 모호하고 물리적 준비과정의 암묵지가 큰 분야는 훨씬 천천히 움직인다.

Karpathy의 담화를 들으며 나는 질문 하나가 더 날카로워졌다. "AI가 사람을 대체하느냐"는 흔한 물음보다, 어떤 일들이 루프 안으로 들어오고 어떤 일들은 끝내 루프 바깥에 남느냐가 앞으로를 가른다. 생물학에서 정말 중요한 문제는 바로 그 경계선 위에 많이 놓여 있다.

결국 앞으로의 연구자는 두 가지를 동시에 해야 한다. 하나는 자기 분야에서 정말 중요한 질문을 스스로 정하는 일. 다른 하나는 그 질문을 기계가 돌릴 수 있는 루프로 번역하는 일. 전자는 여전히 인간의 영역이고 후자는 앞으로 점점 더 결정적인 경쟁력이 된다.

앞으로의 강한 연구는 좋은 아이디어만으로 나오지 않고 그 아이디어를 출현 가능한 루프로 바꾸는 데서 나온다.