싱글셀 파운데이션 모델: 스케일, 회의, 그리고 데이터 생산의 인식론

2023년 Nature Methods에 "How to build a virtual embryo"라는 글이 실렸다. 줄기세포 기반 배아 모델이 Method of the Year로 선정된 해였고 글은 computational embryo라는 개념을 조심스럽게 꺼내 들었다. 디지털 배아를 만들어서 유전자를 건드려보고 약물을 넣어보고 어떤 일이 일어나는지 시뮬레이션하자는 이야기였다. 그때 Ina Sonnen은 "이건 확실히 장기적인 과제"라고 했고 Berna Sozen은 "완벽에는 도달하지 못하겠지만 접근 불가능한 발달 단계를 이해하는 데는 쓸 수 있을 것"이라고 했다. 비전은 분명했지만 구체적인 경로는 아직 없었다.

3년 뒤인 2026년, Cao, Lu, Qiu가 같은 저널에 낸 perspective는 그 경로를 꽤 구체적으로 그렸다. 2600만 인간 태아 세포 아틀라스, MOSTA spatial atlas, 3D 인간 배아 재구성, Geneformer와 scGPT의 세포 임베딩, flow-matching 기반 궤적 모델링, Spateo의 벡터 필드 시뮬레이션. 2023년에는 "언젠가 할 수 있을 것"이었던 것이 2026년에는 "이 데이터와 이 모델로 이렇게 한다"로 바뀌었다. 그 사이에 일어난 일이 싱글셀 파운데이션 모델의 지난 2년이다.

상상한 대로 답을 예측하는 시대

같은 질문은 아니지만 우리도 비슷한 연구들을 활발히 하고 있는데 이게 어떻게 규정할 수 있는 차원이 아니긴 하다. 보통 생물학 연구가 문제를 정하고 그 차원 안에서 데이터를 봤다면 지금은 (이상한 비유지만) 상상한 대로 답을 예측한다.

스케일이 기본값이 되다

올해 초부터 지금까지 많은 싱글셀 파운데이션 모델(FM) 기법이 나왔다. 가장 먼저 눈에 들어오는 건 스케일이다. CellFM은 1억 셀로 800M 파라미터를 학습했고 TEDDY는 CELLXGENE에서 1억 1600만 셀을 끌어왔고 scPRINT-2는 16개 종에서 3억 5000만 셀을 모았다. C2S-Scale은 270억 파라미터까지 올리면서 싱글셀 분야 최초로 scaling law를 체계적으로 보고했다. Tahoe-x1은 30억 파라미터에 50개 암세포주 × 1,100개 약물의 perturbation 데이터를 직접 학습에 넣었고 MaxToki는 1억 7500만 셀에서 약 1조 토큰을 뽑아 시간축까지 학습했다. 2년 전 Geneformer의 3000만 셀이 많다고 했던 시절과는 두 자릿수 차이다. 데이터를 모으고 모델을 키우는 일 자체가 이제 기본값이 됐다.

스케일을 정면으로 묻다

그런데 스케일이 올라가는 것과 동시에, 그 스케일이 실제로 가치를 만들어내는지를 정면으로 묻는 논문들이 나왔다. Kedzierska 등은 Geneformer와 scGPT를 zero-shot으로 평가했는데 highly variable gene을 그냥 뽑는 것보다 못한 경우가 있었다. 수천만 셀을 학습한 모델이 HVG 선택이라는 가장 단순한 baseline에 졌다. Csendes 등은 Perturb-seq 데이터에서 scGPT와 scFoundation을 평가했는데 training set의 평균값을 그대로 예측치로 쓰는 train-mean predictor가 이겼다. Wei 등은 27개 방법을 29개 데이터셋에서 돌려본 뒤, FM이 baseline을 넘으려면 대량의 fine-tuning 데이터가 반드시 필요하다는 결론을 냈다. 세 논문이 각각 다른 각도에서 같은 지점을 건드린다. "크게 학습하면 알아서 잘한다"는 가설은 적어도 지금까지의 증거로는 지지되지 않는다. 모델을 키우는 논문과 그 스케일이 실제로 가치를 만드는지 되묻는 논문이 같은 해에 나란히 나오는 것이 올해 이 분야의 실제 모습이다. 우리도 자체적인 평가를 해보면, 비슷한 결론에 도달한다.

FM의 시험대: perturbation 예측

FM의 가치는 cell type annotation에서는 증명되기 어렵다. Cell type annotation은 이미 상당히 풀린 문제에 가깝고 레이블 붙이는 일에 수억 셀을 학습한 모델이 꼭 필요한 것은 아니다. 값이 매겨지는 것은 perturbation 예측이다. Perturbation은 인과적이고 어렵고 풀리면 실제로 쓸모가 있다. 이 유전자를 끄면 세포가 어떻게 변하는가, 이 약물을 주면 전사체가 어떻게 움직이는가 하는 질문이다. Tahoe-x1이 1,100개 약물의 반응 데이터를 학습에 직접 넣은 것, Pershad 등이 모델 예측 → 실험 검증 → 재학습이라는 closed-loop를 만들어 T-cell activation의 PPV를 3배 올린 것, Hediyeh-zadeh 등이 대장암 환자 300명의 아틀라스에 continual learning을 적용하면서 약물 내성 메커니즘을 규명한 것이 모두 이 방향 위에 있다. Tejada-Lapuerta 등의 causal ML perspective는 이 방향의 이론적 근거를 제공한다. 상관관계 기반 모델은 학습 분포 안에서만 작동하고 새로운 조건으로 일반화하려면 인과 구조가 필요하다.

아키텍처의 전환: 생물학을 구조에 녹이다

아키텍처 쪽에서도 전환이 보인다. 단순히 Transformer에 발현량을 넣는 것을 넘어서 생물학 지식을 구조적 제약으로 번역하려는 시도들이 올해 본격적으로 나왔다. HEIMDALL은 싱글셀 FM의 토크나이저를 유전자 정체성, 발현량 인코딩, 세포 구성 방식 세 축으로 분해하고 5개 주요 모델을 이 프레임워크로 재구현했다. 결론은, 학습 데이터와 비슷한 분포에서는 토크나이저가 뭐든 차이가 없고 distribution shift가 있을 때만 차이가 났다. FM의 가치가 발휘되어야 할 바로 그 순간에 토크나이저가 병목이 될 수 있다는 뜻이다. GREmLN은 scRNA 데이터에 유전자 순서가 없다는 근본적 문제를, gene regulatory network의 토폴로지를 spectral graph signal processing으로 attention에 직접 심는 방식으로 다뤘다. Tripso는 유전자 개별이 아니라 gene program 단위로 먼저 묶고 gene → gene program → cell이라는 3단계 계층을 만들었다. HEIMDALL, GREmLN, Tripso가 각각 토크나이저, attention, 계층 구조를 손댔지만 손대는 대상은 결국 하나다. 생물학의 구조를 아키텍처 안에 녹이는 일이다.

느린 쪽은 모델이 아니라 데이터를 만드는 방식이다

그런데 이 모든 흐름을 보면서 내가 계속 돌아오는 생각이 하나 있다. 인과적 예측이 FM의 시험대가 되려면, 모델만 바뀌어서는 안 된다. 데이터를 만드는 쪽이 바뀌어야 한다. 개인적으로 계속 의문인 부분인데, 바이오 파운데이션 모델을 만드는 건 제약산업에 그렇게 매력적인 일이 아니고 정작 승부는 어떤 문제를 어떻게 풀 것인가에서 난다. 여기에는 많은 연구가 필요한데, 우선 생물학적 직관을 던질 수 있는 정해진 차원의 데이터가 생산되어야 한다. 생산된 데이터는 표준화되어야 하고 만약 질환이라면 특정 질환군의 유전 정보와 임상 정보를 통제한 데이터를 만들어야 한다. 대기업이 갖는 균질한 파이프라인이 데이터 생산에 쓰일 수 있는 부분이다. 그런데 이런 접근이나 철학을 가진 곳이 국외와 다르게 국내에는 없는 듯하다. 오가노이드의 활용도 같은 맥락이다.

지금 perturbation 예측에서 가장 의미 있는 결과를 내고 있는 논문들, 즉 Tahoe-x1, Pershad의 closed-loop, Hediyeh-zadeh의 continual learning은 하나같이 체계적으로 설계된 perturbation 데이터를 쓰고 있다. 50개 세포주에 1,100개 약물을 조합한 Tahoe-100M 같은 데이터가 먼저 존재했기 때문에 모델이 그 위에서 인과를 배운다. 2026년 Virtual Embryo perspective가 그리는 미래, 즉 유전자를 건드리면 형태 형성이 어떻게 달라지는지를 시뮬레이션하는 것도 그에 맞는 데이터가 없으면 모델만으로는 닿을 수 없다. 발달 과정의 perturbation을 체계적으로 측정하고 표현형을 정량화하고 실패한 실험도 구조화된 데이터로 남기는 일이 먼저 일어나야 한다. 전통적인 생물학 실험실에서 이 전환이 일어나지 않으면, FM이 아무리 커져도 학습할 인과 구조 자체가 부족하게 된다.

재귀적 추론에 적합한 데이터, 즉 가설을 내고 perturbation을 걸고 결과를 측정하고 그 결과가 다시 다음 가설로 돌아가는 루프 안에서 생산된 데이터를 만드는 실험실이 늘어나야 이 분야가 실제로 약속한 것을 해낸다. 데이터 생산의 인식론이 바뀌느냐가 여기서 갈린다. 모델을 키우는 일은 이미 빠르게 일어나고 있고 데이터를 만드는 방식이 그 속도를 따라가지 못한다.