이 개념은 3차~2007 개정 교육과정의 일반계 고교 과정에 있었고, 2009 개정에서 삭제되었다가 2022 개정에서 일부 부활했다.
행렬(matrix)은 수를 직사각형 모양으로 배열한 것이다. 가로줄을 행(row), 세로줄을 열(column)이라 하고, $m$개의 행과 $n$개의 열로 이루어진 행렬을 $m \times n$ 행렬이라 한다.
$$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} \quad (2 \times 2\ 행렬)$$
$i$행 $j$열의 수를 $(i,j)$ 성분이라 하고 $a_{ij}$로 쓴다.
행렬은 "여러 수를 한 덩어리로 묶어 하나의 대상처럼 계산하는" 도구다. 흩어져 있으면 여러 개의 식이 필요한 정보 — 연립일차방정식의 계수들, 좌표평면 변환의 규칙 — 가 행렬 하나로 묶이고, 덧셈·곱셈이라는 대수 규칙까지 갖춘다. "수 체계를 확장해서 방정식·변환 자체를 계산 대상으로 만든다"는 것이 행렬 단원의 핵심이다.
행렬을 처음 배우면 "결국 숫자를 네모나게 적어 둔 표 아닌가?" 싶다. 맞지만, 핵심은 이 표 전체를 낱개 숫자가 아니라 하나의 새로운 대상으로 다룬다는 데 있다. 수 $5$를 하나로 취급하듯 행렬 $A$도 하나로 취급해서 $A+B$, $AB$처럼 덧셈·곱셈을 하고 방정식 $AX=B$까지 세운다. "여러 숫자 뭉치를 마치 하나의 수처럼 굴린다"는 시선의 전환이 행렬 단원의 문턱이다.
익숙해져야 할 약속도 몇 가지 있다. 행렬의 크기는 늘 "행 먼저, 열 나중"으로 $m \times n$이라 쓰고($2 \times 3$은 가로줄 $2$개·세로줄 $3$개), 성분 $a_{ij}$의 아래첨자도 "$i$행 $j$열" 순서다. 순서를 바꿔 읽으면 위치가 어긋나니, 항상 "행 $\to$ 열"로 읽는다고 못 박아 두면 편하다.
두 행렬이 같다는 것도 "크기가 같고 같은 자리의 성분이 모두 같다"는 꽤 엄격한 조건이다. 성분 하나라도 다르거나 크기가 다르면 다른 행렬이다. 곱셈에서 수 $1$의 역할을 하는 단위행렬 $E$($AE=EA=A$)를 눈여겨 두면, 뒤에 나올 역행렬을 이해할 때 발판이 된다.
행렬은 "수를 네모나게 적어 둔 것"으로 갑자기 등장하는 것이 아니라, 연립일차방정식을 풀 때 우리가 실제로 무엇을 조작하고 있는지 들여다보면 저절로 나온다.
① 무엇이 남는가. 연립방정식
$$\begin{cases} 2x + 3y = 5 \\ x - y = 1 \end{cases}$$
을 풀 때, 우리가 손으로 만지는 것은 $x$와 $y$가 아니라 그 앞의 계수들이다. 두 식을 더하고 상수배 하는 과정에서 $x$, $y$는 자리만 지키고 있을 뿐 아무 역할도 하지 않는다. 즉 미지수 이름은 계산에 쓸모가 없는 장식이다.
② 그렇다면 떼어 낸다. 장식을 떼고 계수만 자리를 지켜 적으면
$$\begin{pmatrix} 2 & 3 \\ 1 & -1 \end{pmatrix}, \qquad \begin{pmatrix} x \\ y \end{pmatrix}, \qquad \begin{pmatrix} 5 \\ 1 \end{pmatrix}$$
세 덩어리가 남고, 연립방정식 전체가 $AX = B$라는 한 줄이 된다. 여러 개의 식이 하나의 대상 사이의 관계로 압축되는 것 — 이것이 행렬을 도입하는 이유다.
③ 그래서 표기가 그 모양이다. 계수를 떼어 놓고도 정보를 잃지 않으려면 자리가 뜻을 가져야 한다. "몇 번째 식의, 몇 번째 미지수 계수인가"가 자리로 표현되어야 하므로 가로줄은 식(행), 세로줄은 미지수(열)로 고정되고, 성분은 $a_{ij}$처럼 "행 먼저, 열 나중"으로 읽는다. 크기를 $m \times n$으로 적는 관례도 같은 약속이다.
④ 같음의 정의도 따라온다. 자리마다 뜻이 다르므로, 두 행렬이 같다는 것은 "크기가 같고 같은 자리의 성분이 모두 같다"일 수밖에 없다. 성분 하나가 달라지면 그것은 다른 방정식(또는 다른 변환)이다.
⑤ 단위행렬이 왜 그 꼴인가. 수의 세계에서 $1$은 곱해도 아무것도 바꾸지 않는 수다. 행렬에도 그런 것이 있다면 $AE = A$가 모든 $A$에 대해 성립해야 한다. $2 \times 2$에서 $E = \begin{pmatrix} p & q \\ r & s \end{pmatrix}$로 두고 $A = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}$을 넣어 보면 첫 행이 $(p, q)$가 되어야 $(1, 0)$과 같아지므로 $p = 1$, $q = 0$이고, $A = \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix}$로는 $r = 0$, $s = 1$을 얻는다. 그래서 대각선에만 $1$이 놓인 아래 모양이 유일한 답이다.
$$E = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}, \qquad AE = EA = A$$
두 가게의 품목별 판매량을 행렬로 두면, 월별 합계는 행렬 덧셈, 단가를 곱한 매출 계산은 행렬 곱셈이 된다 — "표 데이터의 일괄 계산"이 행렬 연산의 원형이다.
계수만 표로 늘어놓고 연립방정식을 푸는 방법은 아주 오래됐다. 중국의 『구장산술』 방정(方程) 장은 산가지를 사각형으로 배열한 뒤 줄끼리 더하고 빼서 미지수를 지워 가는 절차를 담고 있다 — 오늘 우리가 배우는 가감법·소거법과 사실상 같은 계산이다.
유럽에서는 라이프니츠가 계수 배열과 그로부터 얻는 수(행렬식)를 다뤘고, 가우스는 천체 관측 자료를 처리하며 소거 절차를 체계화했다. 다만 이때까지 배열은 어디까지나 방정식을 푸는 도구였고, 배열 자체가 계산의 대상은 아니었다.
전환은 19세기 중반 영국에서 일어났다. 제임스 조지프 실베스터가 1850년 이 배열에 '행렬(matrix)'이라는 이름을 붙였고 — 행렬식을 낳는 모태라는 뜻이었다 — 아서 케일리가 1858년 논문에서 행렬을 하나의 대상으로 놓고 덧셈·곱셈·역행렬을 정의했다. 특히 곱셈을 "변환을 이어서 하기"에 맞도록 정한 것이 결정적이어서, 이때부터 행렬은 표가 아니라 연산이 가능한 새로운 수가 되었다. 20세기에 들어 하이젠베르크의 양자역학과 컴퓨터 그래픽스·통계 계산이 모두 이 대수 위에서 쓰이게 되었다.