```html
IBM은 오픈 소스 AI 생태계에서 강력한 입지를 구축하며 주목받고 있습니다. 최근 IBM은 고성능 검색 및 RAG(검색 보강 생성) 시스템을 위해 특별히 설계된 두 가지 새로운 임베딩 모델인 granite-embedding-english-r2 및 granite-embedding-small-english-r2를 발표했습니다. 이 모델들은 효율적이고 상용화에 적합한 Apache 2.0 라이 센스하에 제공됩니다.
IBM Granite Embedding 모델의 출시 현황
IBM의 최신 임베딩 모델은 서로 다른 컴퓨팅 예산을 겨냥하고 있습니다. 더 큰 모델인 granite-embedding-english-r2는 149백만 개의 파라미터와 768의 임베딩 크기를 자랑하며, 22개의 ModernBERT 인코더를 기반으로 구성되어 있습니다. 반면 작은 모델인 granite-embedding-small-english-r2는 47백만 개의 파라미터와 384의 임베딩 크기를 갖고 있으며, 12개의 ModernBERT 인코더를 사용합니다.
이 두 모델은 최대 8192 토큰의 컨텍스트 길이를 지원하여 긴 문서와 복잡한 검색 작업을 포함하는 기업 워크로드에 특히 적합합니다. 이전 세대 Granite 임베딩과 비교할 때, 이들은 긴 컨텍스트를 처리하는데 있어 중요한 발전을 보여주고 있으며, 이로 인해 대량의 데이터를 효과적으로 검색하고 활용할 수 있는 환경을 제공합니다.
IBM은 이 모델들을 여러 단계의 파이프라인을 통해 훈련시켰습니다. 그 과정에는 마스킹된 언어 사전 훈련, 길이 조정, 대조 학습 및 특정 도메인을 위한 튜닝이 포함됩니다. 이러한 다단계 프로세스는 모델들이 다양한 실제 예제를 통해 매우 효과적으로 작동할 수 있도록 합니다.
IBM Granite Embedding 모델의 성능 분석
Granite R2 모델은 널리 사용되는 검색 벤치마크에서 뛰어난 성능을 보여주고 있습니다. MTEB-v2 및 BEIR 데이터셋에서 granite-embedding-english-r2는 BGE Base, E5, Arctic Embed와 같은 비슷한 크기의 모델들을 초월하며 더욱 높은 정확도를 기록했습니다. 작은 모델인 granite-embedding-small-english-r2는 두세 배 더 큰 모델들과 유사한 정확도를 얻어내어, 지연 시간에 민감한 작업에 특히 매력적인 옵션으로 떠오르고 있습니다.
이 두 모델은 특정 도메인에서의 성능도 두드러집니다. 긴 문서 검색(MLDR, LongEmbed)에서 8k 컨텍스트 지원이 중요한 역할을 하며, 테이블 검색 작업(OTT-QA, FinQA, OpenWikiTables)에서는 구조적 추론이 필요합니다. 또한, 코드 검색(CoIR)에서는 텍스트-코드 및 코드-텍스트 쿼리를 모두 처리할 수 있는 능력을 보여줍니다.
이렇듯 IBM의 Granite Embedding R2 모델은 단순히 대규모 파라미터 수에 의존하지 않으면서도 효과적인 임베딩 시스템을 구현하는 방법을 보여줍니다. 긴 컨텍스트 지원과 높은 정확도를 유지하면서, 컴팩트한 아키텍처로도 성공적으로 시장에서 경쟁하고 있습니다.
IBM Granite Embedding 모델의 상용화 가능성
효율성은 이 모델들이 가진 가장 뛰어난 특징 중 하나입니다. Nvidia H100 GPU에서 granite-embedding-small-english-r2는 초당 200개 문서를 인코딩할 수 있으며, 이는 BGE Small 및 E5 Small보다 빠릅니다. 더 큰 granite-embedding-english-r2도 초당 144개의 문서를 처리해 많은 ModernBERT 기반 대안들을 초월합니다.
특히, 이 모델들은 CPU에서도 실용적이어서 기업들이 낮은 GPU 요구 사항 환경에서도 이를 운영할 수 있는 유연성을 제공합니다. 이러한 속도, 컴팩트한 크기, 높은 검색 정확도 균형은 실제 배포에 매우 적합한 솔루션으로 탈바꿈하게 만듭니다. 기업들은 Granite R2 모델을 통해 RAG, 검색, 대규모 지식 시스템을 구축하는 데 있어 더욱 효과적인 옵션을 갖게 됩니다.
결론적으로, IBM의 Granite Embedding R2 모델은 컴팩트한 디자인과 긴 컨텍스트 능력, 뛰어난 검색 성능 간의 효과적인 균형을 이룹니다. GPU와 CPU 환경 모두에 최적화된 처리량을 가지고 있으며, 상용의 제한 없이 사용 가능한 Apache 2.0 라이센스를 제공하여 기존의 대용량 오픈 소스 임베딩에 대한 실용적 대안을 제시합니다. RAG, 검색, 또는 대규모 지식 시스템을 배포하는 기업에게 Granite R2는 효율적이고 생산 준비가 완료된 선택지로 주목받을 것입니다.
```
댓글
댓글 쓰기