MoE(Mixture of Experts)는 여러 개의 전문가 모델을 결합하여 예측 정확도를 향상시키는 머신러닝 모델이다. 각 전문가 모델은 특정 부분에 대한 전문성을 가지고 있으며, MoE는 입력 데이터에 따라 적절한 전문가 모델을 선택하여 예측을 수행한다. MoE는 기존 모델보다 높은 정확도를 제공하면서도 모델의 복잡성을 줄일 수 있다는 장점이 있어 자연어 처리, 컴퓨터 비전, 음성 인식, 추천 시스템 등 다양한 분야에서 활용되고 있다.

생성 AI 전문기업 세그마인드(Segmind)가 다양한 생성 이미지 모델을 결합하여 더 크고 더 많은 것을 생성하는 프레임워크 SegMoE를 출시했다. 이는 지식이 풍부하고 효율적인 시스템으로 딥 러닝 분야에서 사실적 이미지를 생성하는 AI 모델 스테이블 디퓨전(Stable Diffusion)을 위한 세계 최초의 오픈 소스 MoE(Mixture of Experts) 프레임워크이다.

SegMoE는 각자 자신의 전문 분야를 가진 AI 전문가 팀과 같다. 당면한 작업에 따라 SegMoE는 이를 처리할 최고의 전문가를 동적으로 선택할 수 있다. 이를 통해 즉석에서 더 큰 모델을 생성할 수 있어 더 많은 지식, 더 나은 신속한 준수 및 향상된 이미지 품질을 제공할 수 있다.

기술에 정통한 사람들을 위해 SegMoE는 스테이블 디퓨전과 동일한 아키텍처를 따르며, Mixtral 8x7b와 유사하게 여러 모델이 하나로 결합되어 있다. 정보가 단방향으로 흐르는 일부 피드포워드 레이어를 희소 MoE 레이어로 대체하여 SegMoE의 기능이 향상되었다. MoE 계층에는 어떤 전문가가 어떤 토큰을 가장 효율적으로 처리할 수 있는지 선택하기 위한 라우터 네트워크가 포함되어 있다.

SegMoE는 오픈 소스로 사용자는 자신의 특정 요구 사항과 선호도에 맞춰 전문가 조합을 맞춤 설정할 수 있다. SegMoE는 허깅페이스(HuggingFace) 생태계에 통합되어 있으며 디퓨저에서 지원된다. 속도와 메모리 사용을 최적화하기 위한 추가 작업이 진행되어 더욱 효율적인 접근이 가능해졌다.

향후 세그마인드는 더 많은 모델을 포함하고 SegMoE 모델에 대한 교육을 통해 지원을 확장하는 것이다. 이를 통해 잠재적으로 모델의 품질을 향상시키고 텍스트-이미지 생성을 위한 새로운 최첨단 모델을 구축할 수 있다.

하리쉬 프라브할라(Harish Prabhala) 세그마인드 공동 창립자이자 CTO는 “SegMoE를 통해 우리는 스테이블 디퓨전 모델의 경계를 넓히고 있다. 여러 전문가 모델의 장점을 동적으로 결합해 더 높은 품질의 콘텐츠를 생성하고, 리소스를 절약하고, 이미지 생성 작업을 위한 확장 가능한 솔루션을 제공할 수 있다. 우리의 지속적인 노력은 추가 모델에 대한 지원을 확대하고 SegMoE 모델 교육을 활성화하여 생성된 이미지의 품질과 다양성을 더욱 향상시키는 데 중점을 둘 것이다.”고 말했다.