Arm이 자사의 온디바이스 AI 가속 소프트웨어 ‘클레디(Kleidi)’를 파이썬 학습 라이브러리 '파이토치(PyTorch)'를 통합했으며, 파이토치의 온디바이스 추론 런타임 '이그제큐토치(ExecuTorch)'와 통합해 자사의 CPU에서 LLM을 실행할 수 있도록 만들 예정이라고 30일 발표했다.

Arm 컴퓨팅 라이브러리(ACL)를 통해 파이토치를 개선한 클레디는 기존 AI 워크플로를 최적화한다.

또한 개발자가 불필요한 엔지니어링 작업을 직접 수행하지 않고 ML 워크로드를 실행할 수 있도록 텐서플로(Tensorflow)와 파트너십을 맺고 주요 프레임워크에 필수 Arm 커널(kernels)로 구성된 클레디 라이브러리를 통합했다.

또한, 클레디를 효율적으로 활용하기 위해 torch.compile에 최적화를 적용한 결과, 다양한 허깅페이스(Hugging Face) 모델 추론 워크로드에서 AWS Graviton3 성능이 1.35배에서 최대 2배까지 향상됐다.

한편, Arm은 클레디를 오는 10월 이그제큐토치와 통합할 계획이다. 클레디가 파이토치 및 이그제큐토치와 통합됨에 따라 개발자는 클라우드 데이터 센터에서 에지 디바이스에 이르는 다양한 디바이스에서 Arm의 AI 워크로드를 즉시 실행할 수 있다.

또한 Arm은 파이토치 커뮤니티에 개선 사항을 적극적으로 도입할 예정이며, 향후 다양한 정수 형식에 대한 양자화 최적화를 제공하여 성능을 향상할 계획이다.

Arm의 개발자 기술 부문 부사장인 알렉스 스피넬리(Alex Spinelli)는 “Arm은 소프트웨어 개발자가 Arm 기반 하드웨어에서 가속화된 AI와 ML 워크로드를 쉽게 구현할 수 있는 환경을 조성하기 위해, 선도적인 클라우드 서비스 제공업체 및 프레임워크와 긴밀히 협력하고 있다.”라고 말했다.