PIM 알아보기 (1) - 개념과 등장 배경

PIM 아키텍처는 컴퓨팅 처리 단위와 메모리를 하나로 통합하여 외부로의 데이터 이동 횟수를 감소시키는 방법입니다. 이를 통해 데이터 이동으로 인한 에너지 소비를 줄이고, 에너지 효율을 대폭 높일 수 있습니다.

목차

*본 컨텐츠는 웹 상의 공개된 자료를 분석 및 참고하여 작성하였습니다.

*모든 정보 및 사진의 출처는 컨텐츠 하단의 '출처'에 기재 되어있습니다.

 

요약과 나의 주관적인 생각 

---

PIM은 Processing in memory의 약자로, 데이터 전송 시간을 줄여 연산속도를 빠르게 하는 메모리를 일컫는다. 최근 학계 및 산업계에서 활발히 연구가 진행되고, 좋은 성과가 나오고 있다. 현재 주목 받고 있는 HBM에 이어, 곧 반도체 산업계를 주름 잡을 기술이 아닐까 싶다.

 

 

1) PIM(Process in Memory)이란? 

---

최근 컴퓨터 기술이 눈부신 속도로 발전하고 있음에도, 성능과 에너지 효율의 제약에 맞닥뜨리는 경우가 잦습니다. 이를 극복하려는 노력의 일환으로 PIM(Processing-In-Memory) 기술이 주목받고 있습니다. 이 기술은 컴퓨팅 방법에 혁신을 가져올 가능성을 내포하고 있으며, 이 글을 통해 그 중요성을 살펴보겠습니다. 

 

기존 컴퓨팅 시스템은 모든 연산 처리를 CPU가 맡아 하고, 필요한 데이터는 메모리에서 가져오는 구조입니다. 데이터를 CPU까지 옮기고, 처리 결과를 다시 메모리에 저장하는 이 과정은 상당한 시간과 에너지를 요구합니다. 이와 같은 비효율을 개선하기 위해 메모리 내에서 직접 데이터를 처리할 수 있는 PIM 기술이 개발되었습니다. 이 기술은 연산과 저장을 하나로 합쳐 성능과 에너지 효율성을 높이는 것을 목표로 합니다.

 

 PIM 기술은 메모리 내에서 직접 데이터 연산을 가능하게 함으로써, CPU와 메모리 사이의 데이터 이동을 줄입니다. 이는 데이터 처리 속도를 높이고, 에너지 소비를 감소시키는 결과를 가져옵니다. PIM이 없는 환경에서는, CPU가 데이터를 메모리에서 가져와 연산 후 결과를 다시 저장해야 합니다. 이 데이터 이동은 시스템 성능 저하와 에너지 소비 증가의 큰 원인입니다. 하지만, PIM 기술을 사용하면, 메모리에서 바로 연산 처리가 가능해져 데이터 이동이 현저히 감소합니다. 이는 데이터 중심 애플리케이션, 예를 들어 AI 가속기에서 큰 장점을 제공합니다.

 

PIM 기술은 컴퓨팅 분야에 혁명적 변화를 가져올 가능성이 큽니다. 데이터 이동을 최소화해 성능을 개선하고 에너지 소비를 줄이는 이 기술은 데이터 중심 애플리케이션에서 큰 가치를 보여줄 것입니다. PIM 기술의 지속적인 발전으로, 우리는 앞으로 더욱 빠르고 효율적인 컴퓨팅 환경을 기대할 수 있습니다.

---

2) 기존 컴퓨팅 구조의 병목 현상 

---

 오늘날 사회는 자율 주행 자동차, 드론, 하늘을 나는 택시, 그리고 가정용 증강 현실/가상 현실 기기와 같이 인공 지능 기술이 집약된 첨단 기술들이 일상에 빠르게 스며들고 있습니다. 이런 기술들은 방대한 양의 데이터를 신속히 처리할 수 있는 고성능이면서도 저전력을 요구하는 컴퓨팅 기술을 필요로 합니다. 하지만, 현재 널리 채택되고 있는 폰노이만 방식의 컴퓨팅 구조는 다양한 제약사항에 부딪히고 있습니다. 이 글을 통해, 우리는 그러한 컴퓨팅 구조의 병목 현상에 대해 깊이 탐구해보고자 합니다.

 

 폰노이만 구조는 처리와 저장이 분리된 구조를 가지고 있어, 이는 컴퓨팅 성능과 전력 효율성을 증진시키는 데 큰 장애가 되고 있습니다. 기존 컴퓨팅 시스템에서는 처리 장치와 메모리가 서로 분리되어 있어, 데이터를 처리하기 위해선 끊임없이 이 둘 사이에서 데이터를 옮겨야 합니다. 이와 같은 데이터의 대량 이동은 병목 현상을 유발하며, 결국 시스템의 전반적인 성능 저하로 이어집니다. 게다가, 현재의 컴퓨팅 시스템은 집적도를 더 이상 향상시키는 데에 한계에 도달해 있습니다. 집적도가 증가하면 더 많은 데이터를 신속하게 처리할 수 있지만, 현재 기술로는 더 이상의 개선이 어렵습니다. 이에 따라, 새로운 컴퓨팅 아키텍처에 대한 수요가 점점 증가하고 있습니다.

 

 인공 지능 및 기계 학습과 같은 최신 응용 프로그램들은 고성능 및 저전력을 요구하는 하드웨어 가속기의 개발을 필요로 하고 있습니다. 특히, 신경망에서는 다중 및 누적(MAC) 연산이 핵심 산술 함수로 활용되는데, 폰노이만 구조에서는 이런 연산을 효율적으로 수행하기 어렵습니다. 처리부와 메모리가 분리되어 있기 때문에, 다중 및 누적 연산을 수행하려면 대량의 데이터를 연결 채널을 통해 송신해야만 합니다. 이 과정에서 발생하는 빈번한 데이터 전송은 매우 높은 전력 소비를 야기하는데, 이는 특히 배터리를 사용하는 기기에서 심각한 문제를 일으킵니다. 

 

데이터 병목 현상과 이로 인한 발열

---

3)  PIM에 기반한 연산 

---

   PIM 아키텍처는 컴퓨팅 처리 단위와 메모리를 하나로 통합하여 외부로의 데이터 이동 횟수를 감소시키는 방법입니다. 이를 통해 데이터 이동으로 인한 에너지 소비를 줄이고, 에너지 효율을 대폭 높일 수 있습니다. 삼성의 PIM 기술은 특별히 PCU(프로그래밍 가능한 컴퓨팅 유닛)를 사용하여 메모리에서 바로 처리 작업을 수행할 수 있게 하여, 기존의 메모리 방식보다 최대 4배 높은 성능을 달성할 수 있다고 알려져 있습니다.

 

 CPU가 멀티코어 프로세싱으로 여러 작업을 동시에 처리해 성능을 최대화하는 것과 유사하게, PIM 아키텍처 또한 PCU를 이용해 메모리 내에서 병렬 처리를 가능하게 합니다. 이는 AI 애플리케이션에서 효과적이며, 음성 인식과 같은 AI 작업은 방대한 데이터 처리가 필요한데, 이때 발생하는 데이터 이동이 에너지 소비의 큰 부분을 차지합니다. 그러나 PIM 기술을 적용한 HBM-PIM은 기존 HBM에 비해 2배 이상의 성능 향상을 보이며, 70% 적은 에너지로 동일한 양의 데이터를 처리할 수 있습니다.

 

 PIM 기술의 발전은 특히 에너지를 많이 소모하는 AI 애플리케이션에 혁신적인 해결책을 제공합니다. 메모리에서 바로 계산 처리를 할 수 있게 되어 CPU와 메모리 사이의 데이터 이동이 크게 줄어들며, 이는 에너지 효율을 크게 개선합니다. PIM을 기반으로 한 연산의 장점은 성능 향상과 에너지 효율 증가에만 국한되지 않습니다. 데이터 이동 시간 감소는 처리 속도를 빠르게 하며, 이는 사용자 경험을 개선합니다. 또한, 기존 복잡한 시스템 설계를 간소화하여, 더 효율적이고 경제적인 컴퓨팅 시스템의 구축을 가능하게 합니다.

 

 결론적으로, 메모리와 처리 기능의 통합을 기반으로 하는 PIM 연산은 컴퓨팅 세계에 새로운 장을 열고 있습니다. 이는 기존의 한계를 넘어서는 성능과 효율성을 실현하며, 특히 데이터 중심의 애플리케이션에서 그 가치를 발휘할 것으로 예상됩니다. 이 기술이 어떻게 진화하고 우리의 생활 및 산업에 어떤 영향을 미칠지 관찰하는 것은 매우 흥미로운 일일 것입니다.

 

 

---

4) SRAM, DRAM, ReRAM 기반 PIM 

---

  PIM의 핵심 구성 요소로서 SRAM, DRAM, ReRAM 기반의 PIM에 대해서 소개하고자 합니다.

 

1) SRAM 기반의 PIM

SRAM(Static Random Access Memory)은 간단한 운영 방식과 검증된 기술로 인해 PIM 연구 분야에서 광범위하게 연구되고 있습니다. SRAM 기반 PIM은 빠른 데이터 접근 속도와 저전력 소모라는 이점을 제공하여, 고성능 컴퓨팅 환경에 매우 적합합니다. 그러나 SRAM 셀의 큰 면적은 메모리 밀도 측면에서 DRAM이나 ReRAM보다 떨어지는 단점이 있어, 대규모 데이터를 다뤄야 하는 시스템에서는 제약이 될 수 있습니다.

 

2) DRAM 기반의 PIM

 DRAM(Dynamic Random Access Memory)은 큰 용량의 메모리가 요구되는 대규모 기계 학습 모델 가속화에 적합한 선택입니다. DRAM 셀의 높은 밀도는 방대한 양의 데이터를 저장할 수 있는 능력을 부여하지만, PIM으로 구현할 때는 일련의 도전 과제를 제시합니다. 그럼에도 불구하고, 최근에는 3D 적층 DRAM을 이용한 PIM 칩이 개발되어, DRAM 기반 PIM의 가능성을 보여주었습니다. 이는 향후 데이터 집약적 애플리케이션, 특히 기계 학습 분야에서의 중요한 기여를 예고합니다

 

3) ReRAM 기반의 PIM

ReRAM(Resistive Random Access Memory)은 memristor라 불리는 요소를 사용합니다. 이 memristor는 전기적 저항을 활용하여 데이터를 기록하고, 기본적인 논리 연산인 AND, OR, NOT을 직접 실행할 수 있는 능력을 가집니다. 이러한 특성은 ReRAM을 PIM 구현에 매우 적합한 선택으로 만듭니다. 그러나 ReRAM 기술은 아직 상용화에 도달하지 못했으며, 실제 적용까지는 시간이 소요될 것으로 예상됩니다.

 

현대의 데이터 중심 컴퓨팅 환경에서 PIM 기법은 중요한 역할을 할 것으로 기대됩니다. SRAM, DRAM, ReRAM 각각은 고유의 이점과 한계를 보유하고 있으며, 이들을 이해하고 활용하는 것이 중요합니다. 이 기술들이 어떻게 발전하고 PIM 기법이 어떻게 진화할지 관찰하는 것은 매우 흥미로운 과제입니다. PIM 기술의 진보는 보다 빠르고 효율적인 컴퓨팅의 미래를 약속합니다.

 

 

 

---

 

 

 

출처

• 1. https://semiconductor.samsung.com/kr/news-events/tech-blog/samsung-electronics-semiconductor-unveils-cutting-edge-memory-technology-to-accelerate-next-generation-ai/
• 2. https://semiconductor.samsung.com/kr/solutions/technology/pim/
• 3. Memory wall 을 극복하기 위한 PIM 가속 기술에 대한 조망(정헌희, 백윤흥)
• 4. PIM 기술 동향(한국전자통신연구원)