합성함수란 두 개 이상의 함수를 결합하여 만든 새로운 함수를 의미한다. 함수 $f: X \to Y$와 $g: Y \to Z$가 존재할 때, 집합 $X$의 임의의 원소 $x$에 대하여 $f$에 의한 함숫값 $f(x)$를 대응시키고, 다시 이 값을 $g$의 정의역 원소로 삼아 $g(f(x))$를 대응시키는 과정을 거친다. 이를 기호로는 $(g \circ f)(x)$와 같이 표기하며, 이때 $f$를 내함수, $g$를 외함수라고 부르기도 한다.

합성함수가 수학적으로 정의되기 위해서는 첫 번째 적용되는 함수의 치역이 두 번째 적용되는 함수의 정의역의 부분집합이어야 한다는 전제 조건이 충족되어야 한다. 만약 $f(x)$의 결괏값이 $g$가 정의되지 않은 영역에 속하게 된다면, 전체적인 대응 관계가 성립하지 않아 함수로서 성립할 수 없기 때문이다. 따라서 합성함수를 구성할 때는 각 함수의 정의구역과 공역 사이의 관계를 반드시 확인해야 한다.

합성함수의 연산에서 가장 두드러지는 특징은 교환법칙이 일반적으로 성립하지 않는다는 점이다. 즉, 두 함수 $f$와 $g$에 대하여 $g \circ f$와 $f \circ g$는 서로 다른 함수가 되는 경우가 대부분이다. 이는 함수가 적용되는 순서가 결과에 결정적인 영향을 미친다는 것을 의미하며, 함수의 식이나 대응 구조에 따라 연산의 순서가 바뀌면 최종적인 함숫값 또한 달라지게 된다.

반면에 결합법칙은 합성함수 연산에서 항상 성립한다. 세 함수 $f, g, h$가 합성 가능한 조건을 갖추었을 때, $(h \circ g) \circ f$와 $h \circ (g \circ f)$는 동일한 함수가 된다. 이는 여러 개의 함수를 연쇄적으로 합성할 때, 어느 부분을 먼저 결합하여 계산하더라도 전체적인 합성의 흐름과 최종 대응 결과에는 변화가 없음을 보여준다.

합성함수의 개념은 미적분학에서 연쇄법칙(Chain Rule)을 통해 복잡한 함수의 미분 계산을 수행하는 핵심적인 근거가 된다. 또한 선형대수학에서의 선형 변환이나 컴퓨터 과학의 알고리즘 설계 등 다양한 학문 분야에서 복잡한 시스템을 단순한 단계별 함수의 결합으로 해석하고 분석하는 데 광범위하게 활용된다. 이를 통해 수학적 모델링의 효율성을 높이고 체계적인 논리 전개를 가능하게 한다.