[운영체제] 캐시(Cache)

캐시는 데이터를 미리 복사해놓은 임시저장소이자, 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리를 말한다. 

캐시를 통해서 데이터를 접근하는 시간이 오래 걸리는 문제를 해결하고, 무언가를 다시 계산하는 시간을 절약할 수 있다. 

 

실제로, 메모리와 CPU 사이의 속도 차이가 너무 크기 때문에 중간에 레지스터 계층을 두고 속도 차이를 해결한다. 

이와 같이 속도 차이를 해결하기 위해 계층과 계층 사이에 있는 계층을 '캐싱 계층'이라 한다. 

예를 들어, 위 메모리 계층 구조와 같이 보조기억장치와 캐시 사이의 주기억장치를 보조기억장치의 캐싱 계층이라 할 수 있다. 

 

지역성의 원리

캐시를 직접 설정할 때는 자주 사용하는 데이터를 기반으로 설정해야 한다.

지역성은 자주 사용하는 데이터에 대한 근거가 된다.

시간 지역성(temporal locality)과 공간 지역성(spatial locality)이 있다. 

 

시간 지역성(temporal locality)

최근 사용한 데이터에 다시 접근하려는 특성을 말한다. 

반복문을 예로 들 수 있다. 아래 예시와 같이 반복문으로 이루어진 코드 안에서 변수 i에 계속해서 접근이 이루어진다. 

이렇게 방금 전에 접근했던 메모리를 다시 참고하게 될 확률이 높아지는 것이 시간적 지역성이다. 

let arr=Array.from({length:10}, ()=>0);

for (let i=0; i<10; i+=1){
	arr[i]=i;
}

 

공간 지역성(spatial locality)

공간 지역성은 최근 접근한 데이터를 이루고 있는 공간이나 그 가까운 공간에 접근하는 특성을 말한다.

위의 for 반복문 코드를 예시로 들면, 배열 arr의 각 요소들에 i가 할당되면서 해당 배열에 연속적으로 접근하는 것을 예로 들 수 있다.

 

이러한 시간 지역성과 공간 지역성을 프로세스 실행 중 접근한 데이터의 접근 시점과 메모리 주소를 표시한 아래 그림이 잘 설명해준다.

출처 : https://parksb.github.io/article/29.html

 

캐시히트와 캐시미스

캐시에서 원하는 데이터를 찾은 것을 캐시히트,

해당 데이터가 캐시에 없어서 메모리로 가서 데이터를 찾아오는 것을 캐시미스라 한다.

캐시히트와 캐시미스

위 그림처럼 캐시히트를 하게 되면 제어 장치를 거쳐 캐시에 이미 존재하는 해당 데이터를 바로 가져오게 된다.

캐시히트의 경우 위치도 가깝고 CPU 내부 버스를 기반으로 작동하기 때문에 빠르다.

 

반면에, 캐시미스를 하게 되면 원본 데이터가 있는 메모리에서 가져오게 되는데, 이는 시스템 버스를 기반으로 작동하기 때문에 느리다. 

또, 캐시미스가 발생해서 원본 데이터를 메모리에서 가져오면 캐시에 해당 데이터를 복사하거나 갱신한다.

 

캐시 매핑

캐시 매핑은 캐시가 히트되기 위해 매핑하는 방법을 말한다. 이 설명에선 CPU의 레지스터와 주메모리 RAM간에 데이터를 주고 받을 때를 기반으로 설명한다. 

레지스터는 RAM에 비해 굉장히 작기 때문에, 작은 레지스터가 캐싱 계층으로써 역할을 잘 해주려면 이 매핑을 어떻게 하느냐가 중요하다.

이름	설명
직접 매핑 (directed mapping)	메모리가 1~100이 있고, 캐시가 1~10이 있다면, 캐시의 위치 1에 메모리 1~10을 매핑하고, 위치 2에 메모리 11~20을 매핑하고, 위치 3에 메모리 21~30을 매핑하는 것을 말함. 구현이 쉽고 처리가 빠르지만 적중률(Hit rate)이 낮음.
연관 매핑 (associative mapping)	순서를 일치시키지 않고 관련 있는 캐시와 메모리를 매핑함. 적중률이 높지만 모든 블록을 탐색해야 하기 때문에 속도가 느림.
집합 연관 매핑 (set associative mapping)	직접 매핑과 연관 매핑을 합쳐 놓은 것. 순서는 일치시키지만 집합을 둬서 저장하며 블록화되어 있기 때문에 검색은 더 효율적임. 예를 들어, 메모리가 1~100이 있고 캐시가 1~10이 있다면 캐시 1~5에 메모리 1~50의 데이터를 무작위로 저장시키는 것을 말함.

캐시 매핑 방식은 각 방법에 따라 디테일한 설명이 필요해서, 추후 캐시 매핑 게시글을 추가로 작성할 예정이다!