삼각형 $ABC$에서 각 $A, B, C$의 대변의 길이를 각각 $a, b, c$라 하면, 다음이 성립한다.
$$a^2 = b^2 + c^2 - 2bc\cos A$$ $$b^2 = a^2 + c^2 - 2ca\cos B$$ $$c^2 = a^2 + b^2 - 2ab\cos C$$
이를 코사인법칙이라 한다. 여기서 $\cos A$($A$의 코사인이라 읽는다)는 각 $A$의 삼각비(삼각함수)값이다. 이 식을 각에 대해 정리하면 세 변의 길이만으로 각의 크기를 구할 수 있다.
$$\cos A = \frac{b^2+c^2-a^2}{2bc}$$
코사인법칙은 피타고라스 정리 $a^2=b^2+c^2$의 일반화로 이해하면 쉽다. 피타고라스 정리는 각 $A$가 직각($90°$)일 때만 성립하는데, 코사인법칙은 직각이 아닌 경우까지 확장한 것이다. 실제로 $A=90°$이면 $\cos A = 0$이 되어 $-2bc\cos A$ 항이 사라지고 $a^2=b^2+c^2$으로 되돌아간다.
즉 $-2bc\cos A$는 "직각에서 벗어난 만큼의 보정항"이다. $A$가 예각이면 $\cos A>0$이라 $a$가 피타고라스 정리보다 짧아지고, $A$가 둔각이면 $\cos A<0$이라 $-2bc\cos A$ 부분이 오히려 더해져 $a$가 길어진다. 두 변과 그 사이 끼인각을 벌리면 벌릴수록 마주보는 변이 길어진다는 직관과 정확히 일치한다.
두 변과 끼인각으로 나머지 변 구하기: $b=5$, $c=7$, $A=60°$일 때, $$a^2 = 5^2+7^2-2\cdot5\cdot7\cos 60° = 25+49-70\times\frac12 = 74-35=39$$ 따라서 $a=\sqrt{39}$이다.
세 변으로 각 구하기: $a=7$, $b=8$, $c=9$일 때, $$\cos A = \frac{8^2+9^2-7^2}{2\cdot8\cdot9}=\frac{64+81-49}{144}=\frac{96}{144}=\frac23$$ 따라서 $A=\cos^{-1}\dfrac23$이다($\cos^{-1}$은 코사인 역함수, 즉 아크코사인이라 읽는다).
측량 기사가 강 건너편에 있어 직접 잴 수 없는 거리를 구할 때 코사인법칙을 쓴다. 이쪽 강가에서 두 지점 사이의 거리(한 변)와 각각의 지점에서 건너편 목표물을 바라보는 각도를 측정하면, 삼각형의 두 변과 끼인각을 알 수 있는 상황이 되어 코사인법칙으로 나머지 변(강 건너 지점까지의 거리)을 계산할 수 있다. GPS 삼각측량이나 항해에서 두 지점 사이 거리를 구하는 데도 같은 원리가 쓰인다.
잘못된 생각: 아무 각이나 알고 있으면 코사인법칙을 바로 쓸 수 있다. 왜 틀렸는지: $a^2=b^2+c^2-2bc\cos A$에서 $\cos A$ 앞의 두 변 $b, c$는 반드시 각 $A$를 "끼고 있는" 두 변이어야 한다. 끼인각이 아닌 다른 각을 대입하면 식 자체가 성립하지 않는다.
잘못된 생각: 삼각형이면 항상 $a^2=b^2+c^2$을 써도 된다. 왜 틀렸는지: 이는 $A=90°$인 직각삼각형에서만 성립하는 특수한 경우다. 일반 삼각형에서는 $-2bc\cos A$ 보정항을 빼먹으면 안 된다.
잘못된 생각: 세 변으로 각을 구할 때 공식의 $a, b, c$ 자리를 아무렇게나 바꿔 넣어도 상관없다. 왜 틀렸는지: $\cos A=\dfrac{b^2+c^2-a^2}{2bc}$에서 분자의 $a^2$는 반드시 구하려는 각 $A$의 대변이어야 한다. 대변 대응을 바꾸면 전혀 다른 각을 구하게 된다.