논문 리뷰 / NLP / Transfer Learning / Text-to-Text / T5
https://arxiv.org/abs/1910.10683
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a div
arxiv.org
모든 NLP 문제를 text-to-text 형식으로 통일하고, 사전학습 데이터·모델 구조·학습 objective·fine-tuning 방식·모델 크기 등 transfer learning의 핵심 요소를 대규모로 비교해 T5라는 강력한 encoder-decoder 기반 범용 NLP 모델을 제시한 논문이다.
1. T5 논문이 왜 중요한가
T5는 “Text-to-Text Transfer Transformer”의 약자다. 이름에서 알 수 있듯이 이 논문의 핵심은 모든 NLP task를 텍스트를 입력받아 텍스트를 출력하는 문제로 통일하는 것이다. 감성분석, 번역, 요약, 질의응답, 자연어 추론, 문법성 판단처럼 겉보기에는 서로 다른 task들도 T5에서는 모두 동일한 형식으로 처리된다.
예를 들어 감성분석은 입력 문장에 “sst2 sentence:” 같은 task prefix를 붙이고, 출력으로 “positive” 또는 “negative”를 생성하게 만들 수 있다. 번역은 “translate English to German:”이라는 prefix를 붙이고 독일어 문장을 생성하게 만들 수 있다. 요약은 “summarize:”라는 prefix를 붙이고 요약문을 출력하게 만든다. 즉, task별로 별도의 classification head나 span prediction head를 복잡하게 설계하지 않고, 모든 문제를 sequence-to-sequence generation으로 바꾸는 것이다.
이 논문을 처음 읽으면 가장 먼저 이런 의문이 생긴다. “분류 문제까지 굳이 텍스트 생성 문제로 바꾸는 것이 정말 좋은가?” 일반적으로 분류 task는 softmax classifier를 붙이면 끝난다. 그런데 T5는 label을 직접 생성하게 만든다. 예를 들어 entailment 문제에서 모델이 “entailment”, “neutral”, “contradiction” 중 하나를 텍스트로 생성한다. 얼핏 보면 비효율적으로 보이지만, 이 방식은 매우 강력한 장점을 가진다. 모든 task가 같은 interface를 가지기 때문에, pre-training, fine-tuning, multi-task learning, evaluation을 하나의 통일된 프레임워크 안에서 비교할 수 있다.
T5가 중요한 또 다른 이유는 이 논문이 단순히 새로운 모델 하나를 제안하는 데 그치지 않는다는 점이다. 저자들은 transfer learning에서 어떤 요소가 중요한지 체계적으로 비교한다. 모델 구조는 encoder-decoder가 좋은지, decoder-only가 좋은지, pre-training objective는 language modeling이 좋은지 denoising이 좋은지, masking 방식은 token masking이 좋은지 span corruption이 좋은지, 데이터셋은 Wikipedia만으로 충분한지 web-scale corpus가 필요한지, fine-tuning은 task별로 하는 것이 좋은지 multi-task로 하는 것이 좋은지 등을 실험적으로 분석한다.
BERT, GPT, ELMo 등으로 transfer learning이 NLP의 표준이 되었지만, 어떤 architecture, objective, 데이터, fine-tuning 방식이 가장 좋은지에 대한 비교는 복잡하고 분산되어 있었다. T5는 이를 text-to-text framework로 통일해 체계적으로 비교한다.
2. T5의 핵심: 모든 문제를 text-to-text로 바꾸기
T5의 가장 중요한 아이디어는 모든 NLP 문제를 동일한 입출력 형식으로 바꾸는 것이다. 입력도 text, 출력도 text다. 이 접근은 매우 단순하지만, NLP task 설계 방식에 큰 변화를 준다.
기존에는 task에 따라 모델의 출력 구조가 달랐다. 문장 분류는 class label을 예측하고, sequence labeling은 token별 label을 예측하며, 질의응답은 passage 안에서 answer span의 시작과 끝 위치를 예측하고, 번역과 요약은 sequence generation을 수행했다. 즉, task마다 head와 loss, preprocessing이 달라지는 경우가 많았다.
T5는 이 모든 것을 텍스트 생성 문제로 바꾼다. 분류 label도 텍스트로 생성하고, 질문의 답도 텍스트로 생성하고, 번역 결과도 텍스트로 생성한다. 이로써 모델은 항상 “입력 문자열을 보고 출력 문자열을 생성하는” 같은 문제를 풀게 된다.
| Task | 입력 예시 | 출력 예시 | T5 관점 |
|---|---|---|---|
| 번역 | translate English to German: That is good. | Das ist gut. | 입력 문장을 target language text로 생성 |
| 요약 | summarize: 긴 뉴스 기사 본문 | 짧은 요약문 | 긴 입력을 짧은 출력 text로 변환 |
| 감성분석 | sst2 sentence: This movie is great. | positive | class label을 text token으로 생성 |
| 질의응답 | question: ... context: ... | 정답 문구 | answer span이 아니라 정답 text를 생성 |
여기서 중요한 것은 task prefix다. T5는 같은 모델 하나가 여러 task를 수행하므로, 입력이 어떤 task에 해당하는지 알려주는 prefix가 필요하다. 예를 들어 “translate English to German:”은 번역 task를 지시하고, “summarize:”는 요약 task를 지시한다. 이 방식은 이후 prompt-based learning과 instruction tuning으로 이어지는 흐름과도 연결된다.
3. 기존 BERT, GPT와 T5의 차이
T5를 이해하려면 BERT와 GPT와의 차이를 함께 보는 것이 좋다. BERT는 encoder-only 구조로, MLM을 통해 양방향 representation을 학습하고 분류·추출형 task에 강하다. GPT는 decoder-only 구조로, left-to-right autoregressive language modeling을 통해 자연스러운 텍스트 생성에 강하다. T5는 이 둘과 달리 encoder-decoder Transformer를 사용한다.
encoder-decoder 구조는 입력 sequence를 encoder가 양방향으로 이해하고, decoder가 출력 sequence를 autoregressive하게 생성한다. 따라서 T5는 BERT처럼 입력을 깊게 이해할 수 있고, GPT처럼 출력을 생성할 수 있다. 이 점이 text-to-text framework와 잘 맞는다.
| 모델 | 구조 | 사전학습 objective | 강점 | 한계 |
|---|---|---|---|---|
| BERT | Encoder-only | Masked Language Modeling | 분류, NLU, span extraction | 자연스러운 autoregressive generation에는 부적합 |
| GPT | Decoder-only | Next-token prediction | 텍스트 생성, 대화, continuation | 입력 전체를 양방향으로 encoding하는 데 제한 |
| T5 | Encoder-Decoder | Denoising span corruption | 이해와 생성 task를 text-to-text로 통합 | decoder-only LLM 대비 추론 구조가 상대적으로 무거울 수 있음 |
이 비교에서 T5의 위치가 분명해진다. T5는 BERT처럼 입력을 양방향으로 이해하면서도, GPT처럼 output text를 생성한다. 따라서 번역, 요약, 질의응답처럼 입력과 출력이 모두 복잡한 sequence인 task에 자연스럽게 맞는다. 동시에 분류 문제도 label text generation으로 통일할 수 있다.
4. T5의 모델 구조: Encoder-Decoder Transformer
T5의 backbone은 Transformer encoder-decoder 구조다. encoder는 입력 text를 받아 contextual representation을 만들고, decoder는 encoder output을 cross-attention으로 참조하면서 target text를 순차적으로 생성한다. 이는 원래 Transformer가 기계번역에서 사용했던 구조와 유사하다.
논문은 여러 architecture를 비교한다. encoder-decoder, decoder-only language model, prefix language model 등이다. 실험 결과 T5의 최종 선택은 encoder-decoder 구조다. 이유는 text-to-text framework에서 encoder-decoder가 다양한 task를 가장 안정적으로 처리하기 때문이다. 입력 전체를 양방향으로 encoding하고, 출력은 autoregressive하게 생성하는 방식이 NLU와 NLG task를 모두 포괄하기 좋다.
T5는 기본 Transformer에서 몇 가지 구현상 변경을 사용한다. 대표적으로 relative position bias를 사용하고, layer normalization 방식도 기존 Transformer와 약간 다르다. 그러나 이 논문의 초점은 새로운 attention mechanism을 제안하는 데 있지 않다. 핵심은 architecture, objective, data, scale을 동일한 text-to-text framework 안에서 체계적으로 비교하는 것이다.
5. C4: Colossal Clean Crawled Corpus
T5의 또 다른 중요한 기여는 C4, 즉 Colossal Clean Crawled Corpus다. C4는 Common Crawl에서 추출한 대규모 영어 텍스트를 정제한 데이터셋이다. 웹 크롤링 데이터는 매우 크지만, 노이즈가 많다. HTML 잔재, 중복 문서, 의미 없는 문장, 부적절한 텍스트, 코드 조각 등이 섞여 있다.
저자들은 Common Crawl 데이터를 정제해 language model pre-training에 사용할 수 있는 대규모 corpus를 구축했다. C4는 T5의 대규모 transfer learning 실험을 가능하게 만든 핵심 자원이다. 논문은 단순히 모델만 공개한 것이 아니라 데이터셋, code, pre-trained checkpoint도 함께 공개해 후속 연구가 동일한 testbed에서 비교할 수 있도록 했다.
| 데이터셋 | 특징 | T5에서의 의미 |
|---|---|---|
| C4 | 정제된 Common Crawl 기반 대규모 영어 corpus | T5의 최종 pre-training 데이터셋 |
| Unfiltered C4 | 정제 수준이 낮은 web corpus | data cleaning의 중요성 비교 |
| Wikipedia | 고품질이지만 상대적으로 작은 encyclopedic corpus | 고품질 소규모 데이터와 대규모 웹 데이터 비교 |
| WebText-like | Reddit link 기반 웹 텍스트와 유사한 corpus | GPT 계열 학습 데이터와 유사한 설정 비교 |
이 부분에서 생기는 의문은 “데이터셋이 크면 무조건 좋은가?”이다. 논문은 단순히 크기만 중요한 것이 아니라, 품질과 다양성, 그리고 downstream task와의 적합성도 중요하다는 점을 보여준다. C4는 웹 규모의 다양성을 가지면서도 정제 과정을 거쳤기 때문에, T5의 최종 학습 데이터로 선택된다.
6. Pre-training Objective: Denoising
T5의 사전학습 objective는 denoising이다. 원본 텍스트의 일부를 손상시킨 뒤, 모델이 손상된 부분을 복원하도록 학습한다. 이는 BERT의 masked language modeling과 비슷해 보이지만, T5는 encoder-decoder 구조에 맞게 span corruption 방식을 사용한다.
일반적인 BERT-style MLM은 token 일부를 [MASK]로 바꾸고 각 token을 독립적으로 예측한다. 반면 T5는 연속된 span을 하나의 sentinel token으로 대체한다. 그리고 decoder는 가려진 span들을 순서대로 생성한다. 예를 들어 원문에서 여러 구간이 가려졌다면, 입력에는 각 구간을 대표하는 sentinel token이 들어가고, 출력에는 sentinel token과 함께 원래 span들이 이어진 target sequence가 된다.
논문에서 최종적으로 사용한 설정은 원본 token의 15%를 corruption 대상으로 삼고, 평균 span length를 3으로 두는 방식이다. 즉, token 하나하나를 독립적으로 가리는 대신 평균 길이 3 정도의 연속 구간을 가린다. 이 방식은 자연어에서 의미 단위가 종종 연속된 구문으로 나타난다는 점을 반영한다.
7. Sentinel Token이 왜 중요한가
T5의 span corruption에서 중요한 요소는 sentinel token이다. Sentinel token은 가려진 span의 위치를 표시하는 특수 token이다. 예를 들어 입력에서 첫 번째로 가려진 span은 <extra_id_0>, 두 번째로 가려진 span은 <extra_id_1> 같은 식으로 표시된다. target sequence도 같은 sentinel token을 사용해 각 span의 시작을 구분한다.
이 방식의 장점은 두 가지다. 첫째, 입력 sequence가 짧아진다. 가려진 span 전체를 여러 [MASK] token으로 대체하는 것이 아니라 하나의 sentinel token으로 압축하기 때문이다. 둘째, decoder는 여러 span을 하나의 sequence로 생성하므로 encoder-decoder 구조를 자연스럽게 활용할 수 있다.
| 구성 요소 | 역할 | 의미 |
|---|---|---|
| Corrupted input | 일부 span이 sentinel token으로 대체된 입력 | encoder가 불완전한 문맥을 이해하도록 학습 |
| Sentinel token | 가려진 span의 위치와 순서를 표시 | 입력과 target 사이의 복원 지점 연결 |
| Target output | 가려진 span들을 sentinel token과 함께 생성 | decoder가 missing text를 생성하도록 학습 |
처음에는 “BERT처럼 [MASK] token을 여러 개 넣으면 되는 것 아닌가?”라는 의문이 생긴다. 그러나 T5는 단순 token classification 모델이 아니라 encoder-decoder generation 모델이다. 따라서 가려진 token을 각각 독립적으로 예측하는 것보다, 가려진 span들을 decoder가 순차적으로 생성하는 방식이 text-to-text 구조에 더 잘 맞는다.
8. T5의 실험 설계: 단일 논문이라기보다 대규모 비교 연구
이 논문은 일반적인 모델 제안 논문보다 실험 범위가 훨씬 넓다. 저자들은 하나의 방법만 제시하지 않고, transfer learning에서 중요한 여러 요소를 하나씩 바꿔가며 비교한다. 그래서 이 논문은 T5 모델 논문인 동시에 NLP transfer learning에 대한 대규모 empirical survey에 가깝다.
비교하는 요소는 크게 architecture, pre-training objective, unlabeled dataset, training strategy, scaling, multi-task learning이다. 이러한 비교를 통해 저자들은 최종 T5 recipe를 구성한다. 즉, T5는 갑자기 정해진 모델이 아니라, 여러 실험에서 얻은 인사이트를 조합한 결과물이다.
| 비교 축 | 질문 | 최종 T5에서의 선택 |
|---|---|---|
| Architecture | encoder-decoder가 좋은가, decoder-only가 좋은가? | encoder-decoder Transformer |
| Objective | LM objective가 좋은가, denoising objective가 좋은가? | span corruption denoising |
| Data | 어떤 unlabeled corpus가 좋은가? | C4 |
| Transfer | pre-train 후 task별 fine-tuning이 좋은가? | pre-training + downstream fine-tuning |
| Scale | 모델 크기와 학습량을 키우면 성능이 오르는가? | 최대 11B 규모까지 확장 |
9. 모델 크기: Small부터 11B까지
T5는 여러 크기의 모델을 사용한다. 대표적으로 Small, Base, Large, 3B, 11B가 있다. 작은 모델은 실험 비교와 ablation에 적합하고, 큰 모델은 최종 성능을 극대화하기 위해 사용된다.
논문에서 중요한 점은 단순히 큰 모델 하나를 학습했다는 것이 아니라, 같은 text-to-text framework 안에서 모델 크기와 학습량을 늘렸을 때 어떤 성능 변화가 나타나는지 분석했다는 점이다. 결과적으로 scale은 매우 중요하다. 모델 크기와 학습량을 키울수록 여러 benchmark에서 성능이 개선된다.
| 모델 | 대략적 파라미터 수 | 용도 | 해석 |
|---|---|---|---|
| T5-Small | 약 60M | 가벼운 실험과 baseline | 빠르지만 표현력 제한 |
| T5-Base | 약 220M | 주요 비교 실험 | BERT-Base급 규모와 비교 가능 |
| T5-Large | 약 770M | 고성능 실험 | 대부분 task에서 Base보다 우수 |
| T5-3B | 약 3B | scale-up 효과 확인 | 대규모 transfer learning 성능 확인 |
| T5-11B | 약 11B | 최종 최고 성능 모델 | 당시 여러 benchmark에서 SOTA 달성 |
여기서 중요한 교훈은 명확하다. text-to-text framework 자체도 중요하지만, 충분한 데이터와 모델 규모가 결합될 때 그 효과가 극대화된다. T5는 “좋은 형식 + 좋은 데이터 + 좋은 objective + scale”이 결합된 결과물이다.
10. Architecture 비교: 왜 Encoder-Decoder인가
논문은 encoder-decoder 구조, decoder-only language model, prefix language model을 비교한다. 각 구조는 attention mask와 정보 흐름이 다르다. decoder-only LM은 GPT처럼 왼쪽에서 오른쪽으로만 context를 본다. prefix LM은 prefix 부분은 양방향으로 보고, target 부분은 causal하게 생성하는 방식이다. encoder-decoder는 입력 전체를 encoder가 양방향으로 보고, decoder가 출력 sequence를 생성한다.
T5의 최종 선택은 encoder-decoder다. 이유는 다양한 text-to-text task에서 입력과 출력의 역할이 명확히 분리되는 경우가 많기 때문이다. 번역, 요약, 질의응답에서는 입력 문맥을 충분히 이해한 뒤 target text를 생성해야 한다. encoder-decoder 구조는 이 패턴에 자연스럽게 맞는다.
이 부분에서 생기는 의문은 “decoder-only GPT도 모든 문제를 text generation으로 풀 수 있는데, 왜 굳이 encoder-decoder가 필요한가?”이다. GPT식 decoder-only 모델도 분명 강력하다. 그러나 T5 논문이 다루는 범위는 번역, 요약, 질의응답, 분류, 자연어 추론 등 다양한 supervised NLP benchmark다. 입력을 양방향으로 인코딩한 뒤 출력만 causal하게 생성하는 encoder-decoder 구조는 이러한 task에 더 직접적으로 맞는다.
11. Objective 비교: 어떤 pre-training이 좋은가
T5 논문에서 가장 실용적으로 중요한 부분 중 하나는 pre-training objective 비교다. 저자들은 language modeling, prefix language modeling, denoising objective 등 여러 방식을 비교한다. 그리고 denoising objective가 text-to-text transfer learning에서 강력하다는 결론을 얻는다.
Denoising objective에도 여러 변형이 있다. token을 하나씩 바꾸는 방식, span을 바꾸는 방식, token을 drop하는 방식, random span을 shuffle하는 방식 등이 가능하다. 최종 T5는 span corruption을 사용한다. 이는 입력 일부를 연속된 span 단위로 가리고, decoder가 그 span들을 복원하게 하는 방식이다.
| Objective | 방식 | 장점 | 한계 |
|---|---|---|---|
| Language Modeling | 왼쪽 context로 다음 token 예측 | 생성형 모델 학습에 자연스러움 | 입력 전체를 양방향으로 이해하는 task에는 제한 |
| Masked LM | 일부 token을 mask하고 예측 | 양방향 context 활용 가능 | encoder-decoder generation 구조와 완전히 일치하지 않음 |
| Denoising | 손상된 입력을 원래 text로 복원 | text-to-text 구조와 잘 맞음 | corruption 방식 선택이 중요 |
| Span Corruption | 연속된 span을 sentinel token으로 대체하고 복원 | 효율적이고 encoder-decoder에 적합 | sentinel token 처리 방식이 필요 |
결론적으로 T5는 span corruption을 선택한다. 이는 BERT의 MLM과 비슷한 직관을 가지면서도, encoder-decoder text generation 구조에 더 잘 맞는다. 입력은 손상된 text, 출력은 손상된 부분을 복원한 text다. 이 단순한 구조가 이후 T5 계열 모델의 핵심 pre-training 방식이 된다.
12. Fine-tuning 방식: 모든 task를 같은 방식으로 학습
T5의 fine-tuning은 text-to-text 형식 덕분에 단순해진다. 각 downstream task를 입력 text와 출력 text pair로 만들고, teacher forcing 방식으로 target sequence likelihood를 최대화한다. 분류 task도 예외가 아니다. label을 class index로 예측하는 대신 label string을 생성한다.
예를 들어 CoLA에서는 문장이 문법적으로 acceptable한지 판단해야 한다. T5에서는 입력에 task prefix와 문장을 넣고, 출력으로 “acceptable” 또는 “not acceptable” 같은 label text를 생성하게 한다. STS-B 같은 regression task도 score를 문자열로 출력하게 만들 수 있다. 이 방식은 단순하지만 모든 task를 동일한 training loop로 처리할 수 있게 만든다.
이 구조는 현재의 instruction tuning과도 연결된다. 물론 T5 원논문은 오늘날의 instruction-following LLM과는 다르지만, task를 자연어 prefix로 지시하고 text output을 생성하게 만든다는 점에서 이후 FLAN-T5, instruction tuning, prompt-based transfer learning의 중요한 기반이 된다.
13. Multi-task Learning과 Task Mixing
T5는 여러 task를 하나의 text-to-text format으로 변환할 수 있기 때문에 multi-task learning도 자연스럽게 수행할 수 있다. 하지만 multi-task learning에서는 어떤 task를 얼마나 자주 샘플링할지가 중요하다. 데이터가 많은 task만 지나치게 많이 학습하면 작은 task가 묻히고, 반대로 모든 task를 동일 비율로 섞으면 큰 데이터셋의 장점을 충분히 활용하지 못할 수 있다.
논문은 examples-proportional mixing, temperature-scaled mixing, equal mixing 등 여러 task mixing 방식을 비교한다. 이는 단순한 구현 세부사항처럼 보이지만, multi-task transfer learning에서는 매우 중요한 문제다. 모델이 어떤 task를 자주 보느냐에 따라 representation과 downstream 성능이 달라지기 때문이다.
이 부분을 읽으면서 “모든 task를 text-to-text로 바꾸면 multi-task가 자동으로 해결되는가?”라는 의문이 생긴다. 답은 아니다. 형식은 통일되지만, task distribution 문제는 여전히 남는다. T5는 이 문제를 실험적으로 비교하며, text-to-text framework가 multi-task learning을 쉽게 만들지만, task balancing은 여전히 중요한 설계 요소임을 보여준다.
14. 최종 T5 recipe
여러 비교 실험을 종합해 저자들은 최종 T5 recipe를 구성한다. 핵심 요소는 다음과 같다. 모델 구조는 encoder-decoder Transformer, pre-training objective는 span corruption denoising, corruption rate는 15%, mean span length는 3, pre-training corpus는 C4, transfer 방식은 pre-training 후 task-specific fine-tuning이다. 이후 모델 크기와 학습량을 키워 최종 T5 성능을 얻는다.
| 구성 요소 | T5 최종 선택 | 이유 |
|---|---|---|
| Framework | Text-to-text | 모든 NLP task를 동일한 입출력 형식으로 통일 |
| Architecture | Encoder-decoder Transformer | 입력 이해와 출력 생성을 모두 처리하기 적합 |
| Objective | Span corruption denoising | encoder-decoder generation과 잘 맞음 |
| Corruption rate | 15% | 충분한 복원 난이도와 입력 정보 보존의 균형 |
| Mean span length | 3 | token 단위보다 구문 단위 복원에 가까움 |
| Pre-training data | C4 | 대규모이면서 정제된 web corpus |
| Scaling | 최대 11B 모델 | scale-up을 통해 benchmark 성능 향상 |
이 최종 recipe는 이후 T5 계열 모델의 기본 설정이 된다. 특히 span corruption과 sentinel token 방식은 T5를 이해할 때 반드시 기억해야 할 핵심 요소다.
15. 실험 결과: 어떤 task에서 강했는가
T5는 GLUE, SuperGLUE, SQuAD, CNN/Daily Mail summarization, WMT translation 등 다양한 benchmark에서 평가된다. 중요한 점은 T5가 특정 task 하나에 특화된 모델이 아니라는 것이다. text classification, natural language inference, question answering, summarization, translation 등 서로 다른 task를 같은 text-to-text framework로 처리한다.
최종 대형 T5 모델은 당시 여러 benchmark에서 강력한 성능을 보였다. 특히 SuperGLUE처럼 기존 GLUE보다 어려운 자연어 이해 benchmark에서도 높은 성능을 기록했다. 또한 CNN/Daily Mail summarization이나 SQuAD question answering에서도 강력한 결과를 보였다.
여기서 핵심은 “T5가 모든 task에서 task-specific architecture를 이겼다”는 단순한 이야기가 아니다. 더 중요한 것은 하나의 통일된 방법론으로 매우 다양한 task를 강력하게 처리할 수 있다는 점이다. 이는 이후 범용 언어모델과 instruction-following 모델이 발전하는 데 중요한 개념적 기반이 된다.
16. Scaling의 의미: 모델 크기와 학습량은 중요하다
T5 논문은 scale의 중요성도 명확히 보여준다. 모델 크기가 커지고 학습량이 늘어날수록 대부분의 benchmark에서 성능이 향상된다. 이는 이후 GPT-3, PaLM, Chinchilla, LLaMA 계열에서 본격적으로 논의되는 scaling law 흐름과도 연결된다.
다만 T5 논문에서의 scale은 단순히 파라미터 수만 의미하지 않는다. 데이터셋 규모, pre-training step 수, batch size, downstream fine-tuning 방식도 함께 중요하다. 즉, 큰 모델만 만든다고 성능이 자동으로 오르는 것이 아니라, 적절한 objective와 충분한 데이터가 함께 있어야 한다.
이 부분에서 중요한 교훈은 “transfer learning의 성능은 알고리즘 하나만으로 결정되지 않는다”는 것이다. T5는 좋은 text-to-text formulation, 좋은 denoising objective, 좋은 데이터셋, 그리고 scale이 함께 결합될 때 강력한 결과가 나온다는 점을 보여준다.
17. 논문을 읽으면서 생겼던 의문과 해소 과정
이 논문을 읽으면서 가장 먼저 생기는 의문은 “모든 NLP task를 text-to-text로 바꾸면 오히려 비효율적이지 않을까?”이다. 분류 문제는 label 하나만 고르면 되는데, T5는 label을 문자열로 생성한다. 하지만 이 방식은 하나의 모델, 하나의 loss, 하나의 training pipeline으로 거의 모든 task를 다룰 수 있게 한다. task별 head를 줄이고, multi-task learning과 transfer learning을 쉽게 만든다는 점에서 장점이 크다.
두 번째 의문은 “BERT처럼 encoder-only가 더 효율적인데 왜 encoder-decoder를 쓰는가?”이다. BERT는 분류와 span extraction에는 매우 강하지만, 번역이나 요약처럼 자연스러운 sequence generation이 필요한 task에는 구조적으로 직접 맞지 않는다. T5는 입력을 encoder가 양방향으로 이해하고, decoder가 target text를 생성하기 때문에 다양한 NLU/NLG task를 한 구조로 처리할 수 있다.
세 번째 의문은 “span corruption이 단순 MLM보다 왜 좋은가?”이다. MLM은 token 단위 복원에 가깝고, BERT식 encoder-only 구조에 잘 맞는다. T5는 encoder-decoder 모델이므로, 손상된 입력을 보고 missing span을 target text로 생성하는 방식이 더 자연스럽다. 또한 span 단위 corruption은 연속된 구문을 복원하게 하므로, 단일 token 예측보다 더 구조적인 복원 학습을 유도할 수 있다.
네 번째 의문은 “T5는 단순히 규모가 커서 잘 된 것 아닌가?”이다. 규모가 중요한 것은 맞다. 하지만 논문은 규모만 키우지 않는다. architecture, objective, data, fine-tuning 방식에 대한 비교를 먼저 수행하고, 그 결과 얻은 recipe를 scale-up한다. 따라서 T5의 성능은 scale만의 결과가 아니라, 체계적인 설계 선택과 scale이 결합된 결과로 보는 것이 적절하다.
18. T5의 강점
- 모든 NLP task를 text-to-text로 통일했다. 분류, 번역, 요약, 질의응답, 회귀 task까지 하나의 입출력 형식으로 처리한다.
- encoder-decoder 구조를 범용 transfer learning에 적극적으로 활용했다. 입력 이해와 출력 생성을 모두 안정적으로 처리할 수 있다.
- span corruption objective가 효과적이다. sentinel token을 활용해 손상된 span을 복원하는 방식이 text-to-text pre-training에 잘 맞는다.
- C4 데이터셋을 구축하고 공개했다. 대규모 정제 web corpus를 기반으로 실험을 수행해 후속 연구의 표준 자원이 되었다.
- 실험 범위가 매우 넓다. architecture, objective, data, multi-task learning, scale 등 transfer learning의 주요 요소를 체계적으로 비교한다.
- 후속 instruction tuning 연구의 기반이 되었다. task prefix와 text output 방식은 FLAN-T5 같은 instruction-tuned 모델로 이어진다.
19. 한계
첫 번째 한계는 inference cost다. T5는 encoder-decoder 구조이므로, decoder-only 모델보다 serving 구조가 복잡할 수 있다. 입력을 encoder로 처리하고 decoder에서 autoregressive generation을 수행해야 하므로, 단순 분류 문제에서는 BERT-style encoder-only 모델보다 무거울 수 있다.
두 번째 한계는 label generation의 불안정성이다. 분류 task에서 label을 text로 생성하면, label string을 정확히 생성해야 한다. 예를 들어 “positive” 대신 비슷하지만 예상하지 못한 표현을 생성할 수도 있다. 실제 구현에서는 label verbalizer와 decoding constraint를 잘 설계해야 한다.
세 번째 한계는 영어 중심성이다. 원래 T5는 C4 영어 corpus를 중심으로 학습되었다. 이후 mT5가 다국어 확장을 제안하지만, 원논문 T5 자체는 multilingual model이 아니다. 따라서 한국어, 일본어, 중국어 등 비영어권 task에 그대로 적용하려면 별도 pre-training이나 multilingual adaptation이 필요하다.
네 번째 한계는 오늘날 decoder-only LLM과의 위치 차이다. GPT-3 이후 대형 decoder-only 모델은 in-context learning, instruction following, tool use, long-form generation에서 매우 강력해졌다. T5는 여전히 seq2seq task와 supervised fine-tuning에서는 강력하지만, 현대 LLM의 대화형 사용 방식과는 차이가 있다.
다섯 번째로, T5 논문은 방대한 empirical comparison을 수행하지만, 각 요소가 왜 그런 결과를 내는지에 대한 이론적 설명은 제한적이다. 예를 들어 span corruption이 왜 특정 task에서 더 좋은지, encoder-decoder가 scale에 따라 어떻게 달라지는지에 대한 근본적 분석은 후속 연구가 더 필요하다.
20. 후속 연구 관점에서의 의미
T5는 이후 여러 중요한 연구로 이어졌다. 대표적으로 mT5는 T5의 text-to-text framework를 다국어 환경으로 확장했다. FLAN-T5는 instruction tuning을 통해 T5를 다양한 자연어 instruction에 더 잘 따르도록 만들었다. UL2는 denoising objective를 더 일반화해 다양한 corruption과 generation pattern을 통합하려 했다.
특히 FLAN-T5는 T5의 실용적 가치를 크게 끌어올렸다. 원래 T5는 task prefix를 통해 supervised task를 수행하는 모델에 가까웠지만, instruction tuning을 거치면 자연어 지시문을 따르는 general-purpose seq2seq model로 확장될 수 있다. 이 흐름은 오늘날 instruction-following LLM과도 연결된다.
또한 T5의 text-to-text formulation은 practical NLP pipeline에서도 유용하다. 여러 task를 하나의 모델로 처리하고 싶을 때, task별 classifier를 따로 만들기보다 prefix 기반 text generation으로 통일할 수 있다. 예를 들어 요약, 분류, 질의응답, 정보추출을 모두 하나의 T5 계열 모델로 처리하는 방식이 가능하다.
21. GPT, BERT, T5를 함께 보면 보이는 흐름
GPT, BERT, T5는 모두 Transformer 기반 transfer learning의 중요한 분기점이다. GPT는 decoder-only autoregressive pre-training을 통해 생성형 언어모델의 가능성을 보여주었다. BERT는 encoder-only masked language modeling을 통해 양방향 문맥 표현의 강점을 보여주었다. T5는 encoder-decoder text-to-text framework를 통해 NLP task interface 자체를 통일했다.
| 모델 | 핵심 질문 | 답변 | 후속 영향 |
|---|---|---|---|
| GPT | 다음 token 예측만으로 범용 언어능력이 생기는가? | decoder-only generative pre-training | GPT-2, GPT-3, ChatGPT 계열 |
| BERT | 양방향 문맥 표현을 사전학습할 수 있는가? | MLM 기반 encoder pre-training | RoBERTa, ALBERT, ELECTRA, DeBERTa |
| T5 | 모든 NLP task를 하나의 형식으로 통일할 수 있는가? | encoder-decoder text-to-text transfer learning | mT5, FLAN-T5, UL2, instruction-tuned seq2seq models |
이 세 모델을 함께 보면 NLP transfer learning의 발전 방향이 보인다. GPT는 generation, BERT는 understanding, T5는 unified task formulation에 강점이 있다. 오늘날의 LLM 생태계는 이 세 흐름이 서로 영향을 주고받으며 발전한 결과라고 볼 수 있다.
22. 정리
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer는 T5 모델을 제안한 논문이자, NLP transfer learning의 핵심 요소를 체계적으로 비교한 대규모 실험 논문이다. 이 논문의 가장 큰 기여는 모든 NLP task를 text-to-text format으로 통일했다는 점이다. 입력도 text, 출력도 text로 만들면 분류, 번역, 요약, 질의응답, 회귀 task를 모두 같은 모델과 같은 학습 방식으로 다룰 수 있다.
논문을 읽기 전에는 “분류 문제까지 텍스트 생성으로 바꾸는 것이 합리적인가?”, “BERT나 GPT와 무엇이 다른가?”, “span corruption이 왜 필요한가?”, “T5 성능은 단순히 모델 크기 때문인가?” 같은 의문이 생긴다. 논문은 광범위한 실험을 통해 이에 답한다. T5는 encoder-decoder 구조, span corruption objective, C4 데이터셋, task prefix, scale-up을 결합해 강력한 transfer learning 성능을 보여준다.
T5의 장점은 단순히 성능이 좋다는 데만 있지 않다. 더 중요한 것은 NLP 문제를 바라보는 interface를 바꿨다는 점이다. 이전에는 task마다 입력 형식과 출력 head가 달랐다면, T5는 모든 것을 text-to-text로 바꾸었다. 이 통일성은 multi-task learning, instruction tuning, prompt-based transfer learning의 기반이 된다.
물론 T5에도 한계는 있다. encoder-decoder 구조는 추론 비용이 크고, 분류 task에서는 label text generation이 번거로울 수 있다. 또한 원래 T5는 영어 중심 모델이며, 오늘날의 decoder-only instruction-following LLM과는 사용 방식이 다르다. 그럼에도 T5는 NLP transfer learning 연구에서 매우 중요한 전환점이다. 특히 “문제를 text-to-text로 재정의하면 모델 하나로 거의 모든 NLP task를 다룰 수 있다”는 발상은 이후 수많은 연구와 실무 시스템에 큰 영향을 주었다.
T5는 모든 NLP 문제를 text-to-text 형식으로 통일하고, C4 데이터셋과 span corruption pre-training을 통해 encoder-decoder Transformer의 transfer learning 성능을 체계적으로 끌어올린 대표적인 논문이다.
원문 링크: https://arxiv.org/abs/1910.10683