이 개념은 제3차 교육과정부터 2009 개정 교육과정까지 고등학교 수학에서 다루어졌으나, 2015 개정 교육과정에서 삭제되었다.
좌표공간에서 점 $\mathrm{A}(x_1, y_1, z_1)$에서 점 $\mathrm{B}(x_2, y_2, z_2)$로 향하는 유향선분을 공간벡터 $\vec{a} = \overrightarrow{\mathrm{AB}}$라 한다. 시점을 원점 $\mathrm{O}$로 옮기면
$$\vec{a} = (x_2 - x_1,\ y_2 - y_1,\ z_2 - z_1)$$
와 같이 세 실수의 순서쌍(성분)으로 나타낼 수 있다. 두 공간벡터 $\vec{a} = (a_1, a_2, a_3)$, $\vec{b} = (b_1, b_2, b_3)$에 대하여
로 정의한다. 평면벡터가 좌표평면(2차원)에서의 벡터였다면, 공간벡터는 이를 3차원 좌표공간으로 확장한 것이다.
평면벡터가 종이 위(가로·세로)의 화살표였다면, 공간벡터는 여기에 "높이" 방향 하나가 추가된 화살표라고 생각하면 된다. 성분이 $(x, y)$ 두 개에서 $(x, y, z)$ 세 개로 늘어났을 뿐, 덧셈·실수배·내적 같은 연산의 규칙은 평면벡터와 완전히 같은 방식으로 동작한다. 즉 "성분끼리 계산한다"는 원리가 차원이 하나 늘어나도 그대로 유지된다는 점이 핵심이다. 이 성질 덕분에 직육면체, 사면체 같은 공간도형 문제를 좌표와 벡터 계산으로 정확하게 풀어낼 수 있다.
두 점 $\mathrm{A}(x_1,y_1,z_1)$, $\mathrm{B}(x_2,y_2,z_2)$ 사이의 거리, 즉 $|\overrightarrow{\mathrm{AB}}|$부터 구해 보자. 평면에서는 피타고라스 정리를 한 번만 쓰면 됐지만($\sqrt{(x_2-x_1)^2+(y_2-y_1)^2}$), 공간에서는 축이 하나 늘었으므로 피타고라스 정리를 두 번 적용한다.
먼저 $\mathrm{B}$에서 $z=z_1$인 평면으로 수선을 내려 발을 $\mathrm{B}'(x_2, y_2, z_1)$이라 하자. $\mathrm{A}$와 $\mathrm{B}'$는 같은 평면 $z=z_1$ 위에 있으므로, 그 평면 안에서 피타고라스 정리를 쓰면
$$|\mathrm{AB}'|^2 = (x_2-x_1)^2 + (y_2-y_1)^2$$
이다. 그리고 $\mathrm{BB}'$는 $z$축과 나란하고 $\mathrm{AB}'$는 그 평면 안에 있으므로 두 선분은 서로 수직이다. 즉 삼각형 $\mathrm{ABB}'$는 $\mathrm{B}'$에서 직각인 직각삼각형이므로, 여기에 다시 피타고라스 정리를 적용하면
$$|\mathrm{AB}|^2 = |\mathrm{AB}'|^2 + |\mathrm{BB}'|^2 = (x_2-x_1)^2+(y_2-y_1)^2 + (z_2-z_1)^2$$
$$|\overrightarrow{\mathrm{AB}}| = \sqrt{(x_2-x_1)^2+(y_2-y_1)^2+(z_2-z_1)^2}$$
이 나온다. 이것이 공간벡터의 크기 $|\vec{a}|=\sqrt{a_1^2+a_2^2+a_3^2}$가 성분 세 개를 모두 제곱해 더하는 이유다 — 피타고라스 정리를 좌표축 방향으로 한 번씩, 총 두 번 겹쳐 쓴 결과일 뿐이다.
2) 내적 공식은 어디서 오는가
이제 $\vec{a}=(a_1,a_2,a_3)$, $\vec{b}=(b_1,b_2,b_3)$이 이루는 각을 $\theta$라 하자. 세 벡터 $\vec{a}$, $\vec{b}$, $\vec{b}-\vec{a}$가 만드는 삼각형에 코사인법칙을 적용하면
$$|\vec{b}-\vec{a}|^2 = |\vec{a}|^2+|\vec{b}|^2-2|\vec{a}||\vec{b}|\cos\theta$$
이다. 좌변을 성분으로 직접 전개하면
$$ \begin{aligned} |\vec{b}-\vec{a}|^2 &= (b_1-a_1)^2+(b_2-a_2)^2+(b_3-a_3)^2 \\ &= (a_1^2+a_2^2+a_3^2)+(b_1^2+b_2^2+b_3^2) - 2(a_1b_1+a_2b_2+a_3b_3) \\ &= |\vec{a}|^2+|\vec{b}|^2 - 2(a_1b_1+a_2b_2+a_3b_3) \end{aligned} $$
가 된다. 두 식의 좌변이 같으므로 우변끼리 비교하면
$$|\vec{a}|^2+|\vec{b}|^2-2|\vec{a}||\vec{b}|\cos\theta = |\vec{a}|^2+|\vec{b}|^2-2(a_1b_1+a_2b_2+a_3b_3)$$
에서 $|\vec{a}||\vec{b}|\cos\theta = a_1b_1+a_2b_2+a_3b_3$을 얻는다. 좌변은 성질에 나온 내적의 정의 $\vec{a}\cdot\vec{b}=|\vec{a}||\vec{b}|\cos\theta$이므로, 결국
$$\vec{a}\cdot\vec{b} = a_1b_1+a_2b_2+a_3b_3$$
이 성립한다. 평면벡터에서 항이 두 개였던 자리에 $z$ 성분에 해당하는 항 하나가 그대로 더 붙었을 뿐, 유도 과정 자체는 완전히 동일하다.
세 공간벡터 $\vec{a}, \vec{b}, \vec{c}$와 실수 $k, l$에 대해 다음이 성립한다.
두 점 $\mathrm{A}(1, 2, 3)$, $\mathrm{B}(4, -1, 5)$가 있을 때,
$$\overrightarrow{\mathrm{AB}} = (4-1,\ -1-2,\ 5-3) = (3, -3, 2)$$
이고 크기는
$$|\overrightarrow{\mathrm{AB}}| = \sqrt{3^2 + (-3)^2 + 2^2} = \sqrt{22}$$
이다. 또 $\vec{a} = (1, 0, -2)$, $\vec{b} = (2, 1, 1)$의 내적은
$$\vec{a}\cdot\vec{b} = 1\times2 + 0\times1 + (-2)\times1 = 0$$
이므로 두 벡터는 서로 수직이다.
3차원 컴퓨터 그래픽과 게임 엔진에서는 물체의 위치, 이동 방향, 회전축을 모두 공간벡터로 다룬다. 예를 들어 캐릭터가 이동할 방향을 나타내는 벡터와 바닥면(평면)의 법선벡터의 내적을 계산하면, 캐릭터가 경사면을 얼마나 미끄러지듯 이동할지를 결정할 수 있다. 이는 공간벡터의 내적으로 두 방향이 이루는 각도 관계를 수치로 얻어내는 원리를 그대로 활용한 것이다.
3차원 공간에 좌표를 도입해 입체 도형을 식으로 다루는 입체 해석기하학은 18세기에 오일러 등에 의해 다듬어졌지만, 그 좌표들을 "크기와 방향을 가진 하나의 양"으로 묶어 내적처럼 계산하는 벡터 대수는 한동안 정립되지 않았다. 해밀턴은 1843년 사원수를 고안하는 과정에서 공간에서의 방향과 회전을 수로 다루는 방법을 연구했는데, 이 사원수에는 오늘날 벡터의 내적·외적에 해당하는 계산이 뒤섞여 들어 있었다. 이후 깁스와 헤비사이드는 사원수에서 물리학 계산에 실제로 필요한 부분만 따로 떼어내, 오늘날과 같이 성분별 덧셈과 내적으로 이루어진 3차원 벡터 표기를 19세기 후반에 정리했다. 이렇게 정리된 벡터 대수는 힘, 속도, 전기장처럼 방향이 있는 물리량을 다루는 표준 언어로 자리 잡았고, 이후 학교 수학에도 공간벡터라는 이름으로 들어오게 되었다.