이 개념은 시행을 늘리면 상대도수가 확률에 가까워진다는 정리이며, 통계적 추정과 몬테카를로 방법이 성립하는 근거가 된다.
어떤 시행에서 사건 $A$가 일어날 확률이 $p$라고 하자. 이 시행을 독립적으로 $n$번 반복했을 때 사건 $A$가 일어난 횟수를 $X_n$, 그 상대도수를 $\dfrac{X_n}{n}$이라 하면, $n$이 한없이 커짐에 따라 상대도수 $\dfrac{X_n}{n}$은 확률 $p$에 한없이 가까워진다. 즉 임의의 양수 $\varepsilon$(엡실론)에 대하여
$$\lim_{n\to\infty} P\!\left(\left|\frac{X_n}{n}-p\right|<\varepsilon\right)=1$$
이 성립한다. 이를 큰 수의 법칙(law of large numbers)이라 한다.
동전을 10번 던지면 앞면이 6번, 뒷면이 4번 나오는 등 비율이 크게 흔들릴 수 있다. 하지만 10000번을 던지면 앞면의 비율은 거의 항상 0.5에 매우 가깝게 나온다. 시행 횟수가 늘어날수록 우연에 의한 '흔들림'이 상대적으로 잦아들면서, 상대도수가 이론적 확률로 착 가라앉는 것이다.
우리는 이미 '시행을 많이 반복할수록 상대도수가 일정한 값에 가까워진다'는 사실을 경험적으로 알고 있다(도수분포와 상대도수에서 확률을 상대도수의 극한으로 소개한 것도 이 때문이다). 그런데 "가까워진다"는 말은 아직 막연하다. 이를 숫자로 보여야 한다.
사건 $A$가 일어날 확률이 $p$인 시행을 독립적으로 $n$회 반복하자. $X_n$을 사건 $A$가 일어난 횟수라 하면, 독립시행이므로 $X_n$은 이항분포 $B(n,p)$를 따른다. 이항분포의 평균과 분산 공식에 의해
$$E(X_n)=np,\qquad V(X_n)=np(1-p)$$
이제 상대도수 $Y_n=\dfrac{X_n}{n}$의 평균과 분산을 구해 보자.
$$E(Y_n)=\frac{E(X_n)}{n}=\frac{np}{n}=p$$
$$V(Y_n)=\frac{V(X_n)}{n^2}=\frac{np(1-p)}{n^2}=\frac{p(1-p)}{n}$$
$n$을 크게 하면 $V(Y_n)=\dfrac{p(1-p)}{n}\to 0$이다. 분산은 값들이 평균에서 흩어진 정도이므로, 분산이 0에 가까워진다는 것은 $Y_n$의 값이 거의 항상 평균 $p$ 근처에 몰려 있다는 뜻이다. 이 관찰을 확률의 부등식으로 정확히 옮기면(체비쇼프 부등식),
$$P\!\left(|Y_n-p|\ge \varepsilon\right)\le \frac{V(Y_n)}{\varepsilon^2}=\frac{p(1-p)}{n\varepsilon^2}$$
이고, $n\to\infty$이면 우변이 0으로 수렴하므로 $P(|Y_n-p|\ge\varepsilon)\to 0$, 즉 $P(|Y_n-p|<\varepsilon)\to 1$이 된다. 분산이 $\dfrac{1}{n}$에 비례해서 줄어들기 때문에 상대도수가 확률로 수렴한다는 것, 이것이 정의의 극한식이 바로 그 모양인 이유다.
동전을 던지는 시행에서 $p=0.5$일 때, 상대도수의 분산 $V(Y_n)=\dfrac{0.25}{n}$이 $n$에 따라 어떻게 줄어드는지 그래프로 보면 다음과 같다.
$n=100$이면 $V(Y_100)=0.25/100=0.0025$, $n=10000$이면 $V(Y_{10000})=0.25/10000=0.000025$로 100배 줄어든다. 분산이 줄어드는 만큼 상대도수는 0.5 근처에 더 촘촘히 모인다.
몬테카를로 방법은 큰 수의 법칙에 정확히 기대어 있다. 예를 들어 원주율을 추정할 때, 한 변의 길이가 1인 정사각형 안에 무작위로 점을 $n$개 찍고 그중 중심각 사분원 안에 들어간 점의 개수를 $X_n$이라 하면, 점 하나가 사분원 안에 들어갈 확률은 $\dfrac{\pi}{4}$이다. 큰 수의 법칙에 의해 $n$이 커질수록 $\dfrac{X_n}{n}$이 $\dfrac{\pi}{4}$에 가까워지므로, $4\cdot\dfrac{X_n}{n}$으로 원주율을 근사할 수 있다. 보험사가 대수의 가입자를 기반으로 사고율을 예측하는 것도 같은 원리다.
큰 수의 법칙을 처음 수학적으로 증명한 사람은 스위스 수학자 야코프 베르누이(Jacob Bernoulli)로, 그의 저서 『추측술』(Ars Conjectandi)에 실렸으며 이 책은 그가 세상을 떠난 뒤인 1713년에 출판되었다. 당시 사람들은 경험적으로 '시행을 많이 반복하면 비율이 안정된다'는 것을 알고 있었지만, 이를 확률의 언어로 엄밀하게 증명한 것은 베르누이가 처음이었다. 이후 프랑스 수학자 시메옹 드니 푸아송(Siméon Denis Poisson)이 이 정리에 '큰 수의 법칙'이라는 이름을 붙이면서 지금의 명칭으로 굳어졌다.