컴파일러는 함수의 호출 규약에 맞게 스택 프레임을 작성하고 관리한다. __cdecl을 쓰면 이 규약에 맞게 호출원이 스택을 정리하도록 컴파일할 것이며 __stdcall을 쓰면 함수가 스택을 정리하도록 컴파일할 것이다. 호출 규약에 따라 내부 코드가 약간 달라지고 무시해도 좋을 정도의 미세한 속도, 크기 차이가 발생하지만 실행 결과는 동일하다.
그래서 함수의 호출 규약을 어떤 것으로 쓸 것인가는 고민할만한 문제가 아니다. 컴파일러가 지정한 호출 규약대로 함수를 컴파일하고 이 함수를 호출하는 적합한 코드도 같이 만들기 때문이다. 그러나 아주 특수한 경우 호출원과 함수의 호출 규약이 달라질 수도 있다. 어떤 때 이런 불일치가 발생할 수 있는가 하면 함수를 작성한 언어와 호출하는 언어가 다를때, 분리된 DLL에 있는 함수를 호출할 때, 원형이 이미 정해져 있는 콜백함수를 호출할 때 등이다.
함수를 C/C++로 작성했고 부르는 쪽도 C/C++이며 같은 모듈 내에서 호출한다면 이런 불일치가 발생할 리가 없다. 함수의 호출 규약과 다르게 함수를 호출하면 어떻게 되는지 실험을 해 보자. 정상적인 문법으로 한 예제에서 이런 상황을 만들기는 무척 어려운데 왜냐하면 함수의 호출 규약을 바꾸면 호출하는 쪽의 코드도 같이 바뀌기 때문이다. 이런 상황을 억지로라도 만들어 보려면 함수 포인터로 호출 규약을 다르게 만들어 놓고 강제 호출하면 된다.
|
예 제 : WrongCall |
#include <Turboc.h>
int __cdecl Add(int a, int b)
{
int c,d,e;
c=a+b;
return c;
}
void main()
{
int result;
int (__stdcall *pf)(int,int);
pf=(int (__stdcall *)(int,int))Add;
result=pf(1,2);
printf("result = %d\n",result);
}
Add 함수는 __cdecl로 선언되었으며 이 호출 규약은 호출원이 스택을 정리하도록 되어 있으므로 자신이 스택을 정리하지 않을 것이다. main에서는 Add를 바로 호출하지 않고 __stdcall 호출 규약을 사용하는 함수 포인터 pf로 강제 대입한 후 호출했다. 함수 포인터는 함수를 호출하기 위한 모든 정보를 가지고 있어야 하므로 호출 규약에 대한 지정도 가질 수 있다. 단순히 pf=Add라고 대입하면 함수와 함수 포인터의 호출 규약이 맞지 않아, 즉 타입이 달라 대입되지 않으므로 에러로 처리된다. 강제로 캐스팅해서 대입하면 일단 컴파일된다.
pf는 __stdcall 호출 규약을 쓰는 함수에 대한 함수 포인터이므로 이 포인터로 함수를 호출하면 main은 스택을 정리하지 않는다. 컴파일러는 pf(1,2)호출에 대해 스택 정리 코드를 작성하지 않는데 왜냐하면 pf가 가리키는 함수는 스스로 스택을 정리한다고 생각하기 때문이다. 이렇게 되면 인수가 전달되기는 하지만 아무도 스택을 정리하지 않기 때문에 Add가 리턴된 직후 스택은 원래 상태로 복구되지 않는다.
스택에 저장되는 정보들은 보통 아주 중요한 정보들이며 이 정보가 손상되면 프로그램의 동작은 예측할 수 없다. 스택 포인터를 잃어버린 프로그램은 엉뚱한 값을 레지스터에 대입하거나 복귀 번지를 잘못 찾아 임의의 메모리 번지로 점프하여 폭주해 버린다. 결국 이 프로그램은 Add가 리턴되는 즉시 다운될 확률이 99.9629%나 된다.
이번에는 반대의 경우를 생각해 보자. Add 함수를 __stdcall 호출 규약으로 작성하고 main에서 pf를 __cdecl 호출 규약을 쓰는 함수 포인터로 선언한 후 pf로 Add를 호출하면 어떻게 될까? 이 경우 스택은 이중으로 정리될 것이고 마찬가지로 스택이 깨지기 때문에 이 프로그램도 역시 다운된다. 스택은 항상성을 유지해야 한다는 대원칙을 어겼기 때문이다.
이 예제가 다운되는 이유는 타입이 맞지 않은 함수 포인터를 사용했기 때문인데 그래서 컴파일러는 pf=Add 호출문에 대해 에러 메시지를 출력하고 컴파일을 거부하는 것이다. 이 거부를 무시하고 캐스트 연산자로 강제 캐스팅을 했으므로 개발자에게 책임이 있으며 컴파일러는 아무 죄가 없다. 컴파일러는 이 예제가 다운되는 상황을 보고 "거 봐! 내가 대입하지 말라고 했잖아"라고 비웃고 있을 지도 모르겠다. 그러고 보면 컴파일러가 출력하는 에러 메시지들은 다 합리적인 이유가 있다.
앞 장의 qsorttest예제에도 이런 상황을 테스트할 수 있는데 compare 함수의 원형을 __stdcall로 바꾸면 당장 다운되어 버릴 것이다. qsort가 비교 함수를 호출하는 코드는 이미 라이브러리에 컴파일된 기계어 코드로 들어 있으며 qsort는 비교 함수가 __cdecl이라고 알고 있다. 그런데 다른 호출 규약으로 함수를 제공했으므로 다운되는 것이 당연하다.