AI2, 대규모 MoE 학습용 오픈 인프라 'Olmo-core 3' 공개

한 줄 요약: Allen Institute for AI(AI2)가 대규모 MoE 모델을 학습하기 위한 오픈·확장형 인프라 'Olmo-core 3'를 내놨다.

핵심

• Olmo-core 3는 대규모 MoE(Mixture-of-Experts) 모델 학습에 초점을 맞춘 오픈 학습 인프라로 소개됐다.
• '확장성(scalable)'을 전면에 내세워, 대형 모델 분산 학습 파이프라인을 겨냥한 것으로 보인다.
• AI2의 Olmo 오픈 모델 계열을 뒷받침하는 학습 스택의 후속 버전에 해당한다.

왜 중요한가

MoE는 프런티어 모델에서 연산 효율을 끌어올리는 핵심 구조지만, 대규모 학습 코드는 대부분 비공개다. 공개된 학습 인프라가 나오면 소규모 연구팀·기업도 MoE 모델을 직접 재현·학습해볼 여지가 넓어진다.

더 보기

• Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs — Hugging Face Blog