캐시 메모리 개념 정리

메모리 계층 구조 

메모리는 다음과 같이 계층 구조로 구성되어있다. 일반적으로 상위 계층으로 갈수록 속도는 빨라지는 대신 가격은 비싸진다.

속도가 빠른 캐시나 레지스터에 모든 프로세스를 저장해놓으면 좋겠지만 그러지 못하는 이유가 경제성 때문이다.

 

따라서 느린 저장장치에 데이터를 저장해놓고 빠른 장치는 필요할 때마다 데이터를 불러와서 처리하는데, 메모리와 CPU 사이의 속도 차이가 너무 크기 때문에 중간에 레지스터 계층과 캐시 계층을 두어서 관리한다.

 

캐시

 

위에서 말했던 것처럼 캐시는 필요한 데이터를 보관하는 임시 저장소이자 병목 현상을 줄이기 위한 메모리이다.

캐시를 통해 CPU의 연산 속도와 메모리 접근 속도의 차이를 완화할 수 있다.

 

계층적 캐시 메모리

메모리 구조가 그랬던 것 처럼 캐시 메모리 또한 캐시를 계층적으로 관리한다.

일반적으로 L1, L2 캐시는 CPU 코어 내부에 위치하며 L3는 CPU가 아닌 메인보드에 위치한다.

 

참조 지역성의 원리

 

필요한 데이터가 캐시에 있는 경우를 캐시 히트라고 하고 없는 경우를 캐시 미스라고 한다. 당연히 캐시 히트가 많이 일어나는 것이 좋은 건데, 적중률을 높이기 위해 지역성의 원리가 사용된다.

 

*캐시 히트는 CPU 내부 버스를 사용하고 캐시 미스는 시스템 버스를 사용한다. (당연히 CPU 내부 버스가 더 빠르다!)

 

지역성은 두가지로 구분된다. 예시 코드와 함께 보면 이해가 쉽다.

List<Integer> list = new ArrayList<>();

for(int i=0;i<10;i++) {
	list.add(i);
}

 

 

시간 지역성

- CPU는 최근에 사용했던 메모리 공간에 다시 접근하는 경향이 있다.

- 예시 코드에서 변수 i에 대해서 계속해서 접근이 이루어지고 있다.

 

참조 지역성

- CPU는 최근에 사용했던 메모리 공간 근처를 접근하는 경향이 있다.

- 예시 코드에서 list 공간에 계속해서 접근하고 있다.

 

캐시 매핑

캐시 메모리는 매우 작고 주 메모리를 크기 때문에 캐시를 어떻게 매핑하느냐가 매우 중요하다. 또한 CPU에서 캐시를 탐색할 때 효율적으로 탐색을 할 수 있어야한다.

 

직접 매핑

- 메모리가 1~100이 있고 캐시가 1~10이 있다면 1:1~10 , 2: 11:~20 .. 같은 방식으로 저장한다.

- 구현이 간단하고 처리가 빠르지만 충돌(스와핑)이 잦다.

 

연관 매핑

- 순서와 블록 상관없이 자유롭게 매핑을 할 수 있다.

- 충돌은 덜 일어나지만 모든 블록을 탐색해야하므로 속도가 상대적으로 느리다.

 

집합 연관 매핑

- 직접 매핑과 연관 매핑의 절충안이다.

- 정해진 장소(직접 매핑) 내에 어느 장소에나(연관 매핑) 매핑이 가능하다.

- 직접 매핑에 비해 저장이 빠르고 연관 매핑보다 검색이 빠르다. 

 

캐시와 레지스터의 차이

 

레지스터는 CPU 내에서 연산을 처리하기 위해 데이터를 저장하는 메모리이며, 캐시는 메인 메모리와 CPU 간의 속도 차이를 극복하기 위한 메모리이다.

레지스터는 CPU 내부에 위치해 있으며 캐시는 CPU와는 별도로 존재한다.