이 개념은 3차~2007 개정 교육과정의 일반계 고교 과정에 있었고, 2009 개정에서 삭제되었다.
같은 크기의 두 행렬에 대해 덧셈과 실수배는 성분별로 정의한다. 곱셈 $AB$는 $A$의 열 개수와 $B$의 행 개수가 같을 때 정의되며, $AB$의 $(i,j)$ 성분은 $A$의 $i$행과 $B$의 $j$열을 짝지어 곱해 더한 값이다:
$$\begin{pmatrix} a & b \\ c & d \end{pmatrix}\begin{pmatrix} p & q \\ r & s \end{pmatrix} = \begin{pmatrix} ap+br & aq+bs \\ cp+dr & cq+ds \end{pmatrix}$$
덧셈·실수배는 "표끼리 성분별로 계산"이라 자연스럽다. 낯선 것은 곱셈인데, 곱셈의 정의는 변환의 합성에서 나온다: 행렬 $B$로 옮긴 뒤 $A$로 옮기는 것을 한 번에 하는 행렬이 정확히 $AB$가 되도록 설계된 것이다 (일차변환 참고). "행 × 열" 규칙은 암기 대상이 아니라 합성의 결과다.
행렬 곱셈에서 첫 번째 의문은 대개 **"덧셈처럼 같은 자리끼리 곱하면 안 되나?"**다. 그렇게 정의할 수도 있지만, 그러면 행렬의 진짜 쓸모 — 변환의 합성이나 연립방정식 표현 — 가 통째로 사라진다. "행 × 열"이라는 번거로운 규칙은 억지로 만든 게 아니라, $B$로 옮긴 뒤 $A$로 옮기는 두 변환을 한 번에 해내는 행렬이 정확히 $AB$가 되도록 맞춘 결과다. 규칙을 외우기 전에 "이건 합성을 위한 정의"라는 배경을 알아 두면 덜 낯설다.
그다음 충격은 수에서 늘 되던 것들이 행렬에선 안 된다는 점이다. $AB$와 $BA$가 대체로 다르고(순서를 바꾸면 결과가 달라진다), 더 이상한 건 $A$도 $B$도 영행렬이 아닌데 $AB$가 영행렬이 될 수 있다는 것이다(영인자). 수에서 "$xy=0$이면 둘 중 하나는 $0$"이라는 익숙한 사실이 행렬에선 깨진다. 그래서 "곱이 영행렬이니 하나는 영행렬"이라는 논리를 함부로 쓰면 안 된다.
이 비가환성 때문에 전개 공식도 조심해야 한다. $(A+B)^2$을 무심코 $A^2 + 2AB + B^2$으로 펴면 틀린다. 올바르게 펴면 $A^2 + AB + BA + B^2$인데, $AB$와 $BA$가 다를 수 있어 가운데 두 항을 $2AB$로 합칠 수 없기 때문이다. $AB=BA$가 확인된 특별한 경우에만 익숙한 공식을 쓸 수 있다.
수의 곱셈과 달리:
$$\begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}$$
결합법칙 $(AB)C = A(BC)$와 분배법칙은 성립한다.
$90^\circ$ 회전을 두 번 합성하면 $180^\circ$ 회전이어야 한다. 실제로:
$$\begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}\begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix} = \begin{pmatrix} -1 & 0 \\ 0 & -1 \end{pmatrix}$$