인공지능은 우리가 알고 있는 세상을 변화시키고 있다. 2016년 바둑 세계 챔피언 이세돌을 상대로 한 딥마인드(DeepMind)의 성공부터 오픈AI의 챗GPT의 강력한 예측 능력에 이르기까지 AI 훈련 알고리듬의 복잡성은 놀랄 만큼 빠른 속도로 증가하고 있으며, 새로 개발된 훈련 알고리듬을 실행하는 데 필요한 컴퓨팅 양이 나타나고 있다. 대략 4개월마다 두 배로 증가한다.

이러한 성장에 발맞추기 위해서는 확장 가능(운영 오버헤드를 낮게 유지하면서 새로운 알고리듬이 도입됨에 따라 수명을 연장할 수 있음)할 뿐만 아니라, 점점 더 복잡해지는 모델을 가까운 지점에서 처리할 수 있는 AI 애플리케이션용 하드웨어가 필요하다.

정보기술 및 시장 조사기관 아이디테크엑스(IDTechEx)가 "AI 칩: 2023~2033년" 및 "에지 애플리케이션용 AI 칩 2024~2034: 에지의 인공지능" 보고서를 발표했다. 이 보고서는 클라우드 내 학습 및 추론과 클라우드에서의 추론 모두에서 AI의 성장을 예측한다. 에지는 우리 세계와 그 안에 존재하는 장치가 점점 더 자동화되고 상호 연결됨에 따라 향후 10년 동안 계속해서 줄어들지 않을 것으로 예측했다.

AI칩의 이유와 목적

특정 기능을 수행하기 위해 하드웨어를 설계한다는 개념은, 특히 해당 기능이 메인(호스트) 프로세서에서 제어권을 빼앗아 특정 유형의 계산을 가속화하는 것인 경우 새로운 개념이 아니다. 컴퓨팅 초기에는 CPU(중앙 처리 장치)가 부동 소수점 장치(FPU)로 알려진 수학적 보조 프로세서와 결합되었다. 그 목적은 복잡한 부동 소수점 수학 연산을 CPU에서 이 특수 목적 칩으로 오프로드하는 것이었다. 후자는 계산을 보다 효율적으로 처리할 수 있으므로 CPU가 다른 작업에 집중할 수 있도록 해준다.

시장과 기술이 발전함에 따라 워크로드도 증가했으며 이러한 워크로드를 처리하려면 새로운 하드웨어가 필요했다. 이러한 전문적인 작업 부하 중 특히 주목할 만한 예는 컴퓨터 그래픽 생산이다. 여기서 문제의 가속기는 GPU(그래픽 처리 장치)라는 이름으로 유명해졌다.

컴퓨터 그래픽이 다른 유형의 칩 아키텍처를 필요로 했던 것처럼, 머신러닝의 출현으로 인해 머신러닝 워크로드를 효율적으로 처리할 수 있는 또 다른 유형의 가속기에 대한 수요가 발생했다. 머신러닝은 컴퓨터 프로그램이 데이터를 활용하여 모델을 기반으로 예측을 한 다음, 사용된 가중치를 조정하여 제공된 데이터에 더 잘 맞도록 모델을 최적화하는 프로세스이다. 따라서 계산에는 훈련과 추론이라는 두 단계가 포함된다.

AI 알고리듬 구현의 첫 번째 단계는 훈련 단계로, 데이터가 모델에 입력되고 모델은 제공된 데이터에 적절하게 맞을 때까지 가중치를 조정한다. 두 번째 단계는 추론 단계로, 학습된 AI 알고리듬이 실행되고, 학습 단계에서 제공되지 않은 새로운 데이터가 획득된 데이터와 일치하는 방식으로 분류된다.

두 단계 중에서 훈련 단계는 동일한 계산을 수백만 번 수행한다는 점에서 계산 집약도가 더 높다(일부 주요 AI 알고리듬에 대한 훈련은 완료하는 데 며칠이 걸릴 수 있음). 따라서 교육은 효율적인 알고리듬 교육에 필요한 병렬 처리 유형을 수행할 수 있는 다수의 칩이 사용되는 클라우드 컴퓨팅 환경(예: 데이터 센터) 내에서 이루어진다. 이전 실행 스레드가 완료되면 시작된다.

대기 시간을 최소화하기 위해 크고 많은 메모리 캐시를 활용하여 실행 스레드의 실행 시간 대부분을 처리에 전념한다. 이에 비해 병렬 처리는 여러 계산이 동시에 발생하므로 경량 실행이 수행된다. 대기 시간이 효과적으로 마스크되도록 스레드가 중첩된다. 여러 계산을 동시에 분류하고 수행할 수 있다는 것은 AI 알고리듬 교육과 많은 추론 사례에서 주요 이점이다.

이와 대조적으로 추론 단계는 클라우드와 에지 컴퓨팅 환경 모두에서 발생할 수 있다. 클라우드 컴퓨팅 환경 내에서는 GPU가 현재 지배적이며 AI 훈련 공간에서 엔비디아의 지배력을 고려할 때 향후 10년 동안 계속해서 그렇게 할 것으로 예상된다. 에지 AI의 경우 칩이 특정 문제(예: 보안 카메라 시스템 내의 물체 감지)를 염두에 두고 설계되는 것이 더 일반적이라는 점을 고려하면 ASIC이 선호된다.

디지털 신호 프로세서(DSP)는 에지 AI 공동 처리의 상당 부분을 차지한다. 하지만 이 큰 수치는 주로 퀄컴(Qualcomm)의 헥사곤 텐서(Hexagon Tensor) 프로세서(최신 Snapdragon에서 발견됨)로 인한 것이다.  퀄컴이 HTP를 DSP에서 벗어나도록 재설계한다면 예측은 ASIC 쪽으로 크게 기울게 될 것이다.

반도체 제조의 원동력 AI

AI 훈련용 칩은 일반적으로 AI 알고리듬을 구현하는 훈련 단계의 계산 집약도를 고려할 때 가장 최첨단 노드(노드는 반도체 칩 제조에 사용되는 트랜지스터 기술을 나타냄)에서 제조된다. 5nm 노드 칩을 생산할 수 있는 회사는 인텔, 삼성, TSMC뿐이다.

이 중 TSMC가 3나노 칩 수주와 함께 가장 앞서 있다. TSMC는 현재 반도체 생산 부문에서 전 세계 시장 점유율이 약 60%를 맴돌고 있다. 고급 노드의 경우 이는 90%에 가깝다. TSMC의 12인치 팹 6개와 8인치 팹 6개 중 단 2개만 중국에 있고 1개는 미국에 있다. 나머지는 대만에 있다. 따라서 글로벌 공급망의 반도체 제조 부분은 APAC 지역, 주로 대만에 집중되어 있다.

이러한 집중은 공급망의 이 부분이 어떤 식으로든 위협을 받을 경우 상당한 위험을 수반한다. 이는 바로 2020년에 여러 보완 요인으로 인해 전 세계적으로 칩 부족이 발생했을 때 발생한 일이다. 그 이후로 반도체 가치 사슬(미국, EU, 한국, 일본, 중국)의 최대 이해당사자(대만 제외)는 또 다른 상황이 발생할 경우 제조 적자에 대한 노출을 줄이기 위해 노력해 왔다. 이는 아래에 표시된 글로벌 칩 부족으로 인해 주요 이해관계자들이 발표한 정부 자금을 통해 알 수 있다.

이러한 정부 계획은 세금 감면과 보조금 및 대출 방식의 부분 자금 지원을 통해 추가적인 민간 투자를 촉진하는 것을 목표로 한다. 그림에 표시된 많은 민간 투자는 이러한 정부 계획이 발표되기 전에 이루어졌지만, 이러한 계획을 통해 제공되는 인센티브에 의해 다른 추가 및/또는 신규 민간 투자가 발표되었다.

이러한 정부 이니셔티브와 추가 민간 지출의 주요 이유는 AI를 고려할 수 있는 첨단 기술 실현의 잠재력이다. 첨단 반도체 칩의 제조는 국가/지역 AI 역량을 촉진한다. 여기서 사물, 이미지 및 음성의 자율 감지 및 분석 가능성은 특정 제품(예: 자율 차량 및 산업용 로봇)과 모델의 효율성에 매우 중요하다. 국가 거버넌스 및 보안, AI 하드웨어 및 소프트웨어 개발은 ​​이제 기술 혁신 및 배포의 최전선에 서기를 원하는 정부 기관의 주요 관심사가 되었다.

향후 10년 동안 AI 칩의 성장

AI 칩 판매(물리적 칩 판매 및 클라우드 서비스를 통한 칩 임대 포함)로 발생하는 수익은 2024년부터 연평균 성장률 22%로 2034년에는 3000억 달러 조금 못 미치는 수준으로 증가할 것으로 예상된다. 이 매출 수치에는 네트워크 에지, 통신 에지 및 클라우드의 데이터 센터 내에서 기계 학습 워크로드를 가속화하기 위한 칩 사용이 포함된다.

2024년 현재 추론 목적의 칩(에지 및 클라우드 모두)은 생성된 수익의 63%를 차지하며, 이 점유율은 2034년까지 총 수익의 2/3 이상으로 증가한다.

이는 AI 기능이 최종 사용자에게 더 가까이 활용됨에 따라 에지 및 통신 에지에서 상당한 성장이 이루어졌기 때문이다. 업종별로는 IT 및 통신이 향후 10년 동안 AI 칩 사용 방식을 주도할 것으로 예상되며, 은행, 금융 서비스 및 보험(BFSI)이 그 뒤를 따르고 소비자 가전이 뒤를 잇다. 이 중 가전제품 산업 분야는 AI가 가정용 소비자 제품에 추가로 출시됨에 따라 에지에서 가장 많은 수익을 창출할 것이다.