집합(set)은 명확한 기준에 의해 대상이 그 안에 속하는지 아닌지를 판별할 수 있는 것들의 모임이다. 집합을 이루는 각 대상을 원소(element)라 하고, $a$가 집합 $A$의 원소일 때 $a \in A$로 나타낸다.
"모임"이면 무엇이든 집합이 되는 게 아니라, 소속 여부가 애매하지 않아야 한다는 점이 핵심이다. "1보다 큰 자연수의 모임"은 집합이지만 "큰 수의 모임"은 집합이 아니다 — 어떤 수가 "크다"의 기준이 없기 때문이다. 수학의 거의 모든 대상(함수, 확률, 도형 등)이 집합의 언어 위에서 정의되므로, 집합은 현대 수학의 공용 문법이라 할 수 있다.
집합에서 정작 학생들이 자주 실수하는 건 정의 자체보다 기호와 관계를 뒤섞는 것이다. 대표적으로 $\in$과 $\subset$의 혼동이 있다. $\in$은 "원소가 집합에 속한다"는 관계이고($3 \in \{1,2,3\}$), $\subset$은 "집합이 다른 집합에 통째로 들어간다"는 관계다($\{3\} \subset \{1,2,3\}$). 하나는 낱개 원소와 집합 사이, 다른 하나는 집합과 집합 사이의 이야기라 다루는 대상이 다르다.
또 하나 낯선 점은 집합이 원소의 중복과 순서를 따지지 않는다는 것이다. $\{1,2,2,3\}$은 그냥 $\{1,2,3\}$과 같은 집합이고, $\{1,2,3\}$과 $\{3,2,1\}$도 같은 집합이다. 집합은 "누가 들어 있느냐"만 볼 뿐 몇 번 적었는지나 적은 차례는 신경 쓰지 않기 때문이다. 이 점은 순서를 따지는 순열이나 순서쌍 $(x,y)$와 헷갈리기 쉬우니 구분해 두자.
공집합도 처음엔 어색하다. 원소가 하나도 없는 집합인데, 이것도 어엿한 집합이고 모든 집합의 부분집합으로 친다. "아무것도 안 담긴 상자도 상자"라고 생각하면 받아들이기 쉽다.
집합의 정의에는 "명확한 기준"이라는 조건이 붙어 있다. 이 조건이 왜 필요하고, 그 조건 하나에서 표기법과 연산이 어떻게 줄줄이 따라 나오는지 짚어 보자.
① 무엇이 막히나. 수학에서 무엇을 말하려면 먼저 "무엇에 대한 이야기인가"를 정해야 한다. 그래서 대상을 모아 두는 그릇이 필요하다. 그런데 아무 모임이나 허용하면 곧 막힌다 — "큰 수의 모임"에 $100$이 들어가는지 물으면 답할 수 없다. 답할 수 없는 그릇으로는 어떤 논증도 시작할 수 없다.
② 그래서 조건을 하나 건다. 모임이 쓸모 있으려면, 임의의 대상 $x$에 대해 "$x$가 이 모임에 속하는가"가 참·거짓 중 하나로 정해져야 한다. 즉 집합은 명제와 짝이다 — 판별 기준이 되는 명제 하나가 집합 하나를 정한다. 이 요구를 그대로 적는 두 가지 방법이 표기법이 된다: 대상을 다 적어 버리거나(원소나열법), 판별하는 조건을 적거나(조건제시법).
③ 연산은 판별의 논리 연산이다. 소속 판별이 전부라면, 두 집합으로 새 집합을 만드는 방법도 판별을 조합하는 것뿐이다. 논리의 '또는·그리고·아니다'를 그대로 옮기면
$$x \in A \cup B \iff (x \in A) \text{ 또는 } (x \in B)$$ $$x \in A \cap B \iff (x \in A) \text{ 그리고 } (x \in B)$$ $$x \in A^c \iff (x \in A)\text{가 아니다}$$
가 된다. 합집합·교집합·여집합의 정의가 왜 그 모양인지, 그리고 집합의 법칙이 논리의 법칙과 똑같이 생긴 이유(예: $(A \cup B)^c = A^c \cap B^c$는 "또는의 부정은 아니고 그리고 아니다")가 여기서 나온다. 부분집합도 마찬가지다 — $A \subset B$는 "$x \in A$이면 $x \in B$"라는 조건문 하나다.
④ 원소 세기. $n(A \cup B)$를 구할 때 $n(A) + n(B)$로 두면, 양쪽에 모두 든 원소를 두 번 센 셈이 된다. 두 번 센 것은 정확히 $A \cap B$의 원소이므로 그만큼 한 번 빼면
$$n(A \cup B) = n(A) + n(B) - n(A \cap B)$$
가 된다. 아래 예시의 식은 이렇게 "겹친 것을 되돌려 빼기"일 뿐이고, 집합이 셋 이상으로 늘어나도 같은 방식으로 이어진다.
$A = \{1, 2, 3\}$, $B = \{2, 3, 4\}$일 때:
$$A \cup B = \{1,2,3,4\}, \quad A \cap B = \{2,3\}, \quad A - B = \{1\}$$
원소의 개수는 다음을 만족한다 (포함–배제의 원리의 가장 단순한 형태):
$$n(A \cup B) = n(A) + n(B) - n(A \cap B)$$
집합은 무한을 다루려는 과정에서 태어났다. 1870년대 게오르크 칸토어는 함수를 삼각함수의 급수로 나타내는 문제를 연구하다가, 무한히 많은 점의 모임을 대상 자체로 다뤄야 하는 상황에 몰렸다. 그는 두 모임의 원소를 일대일로 짝지을 수 있는지로 "크기"를 비교하는 방법을 세우고, 1874년 실수 전체는 자연수와 짝지을 수 없다는 것(무한에도 등급이 있다는 것)을 증명했다. 무한을 완결된 대상으로 취급한다는 발상에 당대의 반발은 거셌고, 특히 레오폴트 크로네커는 이를 강하게 반대했다.
그러나 '명확한 기준이 있는 모임은 모두 집합'이라는 소박한 출발점에는 함정이 있었다. 1901년 버트런드 러셀은 "자기 자신을 원소로 갖지 않는 모든 집합의 집합"을 생각하면 그것이 자기 자신의 원소인지 아닌지 어느 쪽으로도 모순이 된다는 것을 지적했다(러셀의 역설). 판별 기준이 명확하다는 것만으로는 부족했던 셈이다.
해결책은 집합을 정의하는 대신 집합에 대해 할 수 있는 일을 공리로 못박는 것이었다. 에른스트 체르멜로가 1908년 공리계를 제시하고 아브라함 프렝켈이 이를 보완해 오늘날의 공리적 집합론(ZF)이 되었으며, 그 위에서 수·함수·도형이 모두 집합의 언어로 정의된다. 학교 수학이 집합을 첫 단원으로 다루게 된 것은 이런 배경에서 20세기 중반 이후의 일이다.