함수 $f(x)$가 $x=a$를 포함하는 어떤 열린구간에서 정의되어 있다고 하자.
극댓값과 극솟값을 통틀어 극값이라 한다. $f$가 $x=a$에서 미분가능하고 극값을 가지면 $f'(x)$($f$ 프라임 엑스라 읽는다)에 대해 $f'(a)=0$이 성립한다. 실제로 극값인지 판정하려면 $f'(a)=0$인 점 근처에서 $f'(x)$의 부호가 바뀌는지 확인해야 한다.
그래프로 생각하면 극대는 언덕의 꼭대기, 극소는 골짜기의 바닥이다. 언덕 꼭대기에서는 그래프가 오르막에서 내리막으로 바뀌고, 그 순간 접선의 기울기($f'(a)$)는 잠깐 $0$이 된다. 골짜기 바닥도 마찬가지로 내리막에서 오르막으로 바뀌는 순간 기울기가 $0$이다. 즉 $f'(a)=0$은 "그래프가 평평해지는 순간"을 찾아주는 단서일 뿐이고, 실제로 언덕인지 골짜기인지 아니면 그냥 잠깐 평평했다가 계속 같은 방향으로 가는지는 좌우의 기울기 부호 변화를 봐야 알 수 있다.
$f$가 $x=a$에서 극댓값을 가지고 그 점에서 미분가능하다고 하자. "$x=a$의 좌우에서 $f'(x)$의 부호가 바뀐다"는 판정 조건을 쓰기 전에, 애초에 극값을 가지는 점에서 $f'(a)=0$이어야 하는 이유부터 확인해 보자.
$a$가 극대점이므로, $a$에 충분히 가까운 모든 $x$에 대해 $f(x) \le f(a)$가 성립한다. 이제 극한을 이용한 미분계수의 정의
$$f'(a)=\lim_{h\to0}\frac{f(a+h)-f(a)}{h}$$
$h>0$일 때 (오른쪽에서 접근): $a+h$도 $a$ 근처의 점이므로 $f(a+h)\le f(a)$, 즉 $f(a+h)-f(a)\le0$이다. $h>0$으로 나누어도 부등호 방향은 바뀌지 않으므로
$$\frac{f(a+h)-f(a)}{h}\le0$$
이고, $h\to0^+$로 극한을 보내면 $f'(a)\le0$을 얻는다.
$h<0$일 때 (왼쪽에서 접근): 마찬가지로 $f(a+h)-f(a)\le0$이지만, 이번엔 $h<0$으로 나누므로 부등호 방향이 뒤집혀
$$\frac{f(a+h)-f(a)}{h}\ge0$$
이 되고, $h\to0^-$로 극한을 보내면 $f'(a)\ge0$을 얻는다.
$f$가 $x=a$에서 미분가능하다는 것은 좌극한과 우극한이 모두 $f'(a)$로 같다는 뜻이므로, 위 두 결과를 동시에 만족해야 한다. $f'(a)\le0$이면서 동시에 $f'(a)\ge0$인 실수는 $f'(a)=0$ 하나뿐이다.
극소점에서도 부등호 방향만 반대로 하면 똑같은 논리로 $f'(a)=0$을 얻는다. 다만 이 과정에서 나온 것은 어디까지나 $f(x)\le f(a)$(또는 $\ge$)라는 부등식 조건에서 뽑아낸 필요조건일 뿐, 그 역은 성립하지 않는다 — $f'(a)=0$이라고 해서 $a$ 근처에서 $f(x)\le f(a)$가 성립한다는 보장은 없다. 그래서 $f'(a)=0$을 찾은 뒤에도 좌우에서 $f'(x)$의 부호가 실제로 바뀌는지 다시 확인해야 극값인지 판정할 수 있는 것이다.
$f$가 $x=a$에서 이계도함수 $f''(x)$($f$ 이중 프라임 엑스라 읽는다)를 가질 때, 다음 판정법도 쓸 수 있다.
$f(x)=x^3-3x+1$의 극값을 구해 보자.
$$f'(x)=3x^2-3=3(x-1)(x+1)$$
$f'(x)=0$을 풀면 $x=-1$ 또는 $x=1$이다. 증감표를 만들면
$x=-1$에서 증가에서 감소로 바뀌므로 극대이고, $f(-1)=-1+3+1=3$이 극댓값이다. $x=1$에서 감소에서 증가로 바뀌므로 극소이고, $f(1)=1-3+1=-1$이 극솟값이다.
로켓이나 드론의 고도를 시간에 대한 함수로 나타내면, 상승 후 하강하기 직전 가장 높이 올라간 순간이 바로 고도 함수의 극댓값이다. 엔지니어는 고도 함수를 미분해 $f'(t)=0$이 되는 시각(속도가 $0$이 되는 순간)을 찾아 최고 고도 도달 시각을 계산한다.
극값을 찾는 문제는 미적분학이 정식으로 만들어지기 전부터 있었다. 프랑스의 수학자 피에르 드 페르마는 1630년대에 "아데퀄리티(adequality)"라는 방법으로 곡선의 최고점과 최저점을 찾는 절차를 고안했는데, 이는 오늘날 $f'(a)=0$을 이용하는 방법과 본질적으로 같은 아이디어였다. 이후 뉴턴과 라이프니츠가 17세기 후반 미분의 개념을 체계적으로 정립하면서, 페르마의 방법은 "미분계수가 $0$이 되는 점을 찾고 부호 변화를 확인한다"는 지금의 형태로 다듬어졌다. 극대·극소라는 용어와 증감표를 이용한 판정법은 이후 미적분학 교과서가 정착되는 과정에서 표준적인 서술로 자리 잡았다.