열성(Recessiveness)이란 유전학에서 대립형질을 가진 두 개체가 교배했을 때, 잡종 1대에서 외형적으로 드러나지 않는 형질을 의미한다. 생물의 형질을 결정하는 유전자는 쌍을 이루어 존재하며 이를 대립유전자라고 부른다. 서로 다른 형질의 대립유전자가 만났을 때 그 특성이 겉으로 발현되는 유전자를 우성이라 하고, 우성에 가려져 나타나지 않는 유전자를 열성이라 한다. 이는 단순히 형질이 발현되는 순위상의 관계를 나타내는 용어일 뿐, 유전자의 기능적 우월함이나 열등함을 뜻하는 것은 아니다.

열성 형질이 실제로 개체에 발현되기 위해서는 부모 양쪽으로부터 동일한 열성 유전자를 물려받아야 한다. 즉, 유전자 구성이 열성 동형접합(Homozygous, 예: aa)인 상태에서만 해당 형질이 표현형으로 나타난다. 반면, 우성 유전자와 열성 유전자가 하나씩 결합한 이형접합(Heterozygous, 예: Aa) 상태에서는 우성 유전자의 형질만 표현되며, 열성 유전자는 존재하지만 그 특성이 숨겨진 채로 다음 세대에 전달된다. 이처럼 유전자형에는 존재하지만 겉으로 드러나지 않는 개체를 보인자라고 한다.

그레고어 멘델은 완두콩 실험을 통해 이러한 우열의 원리를 정립하였다. 순종의 황색 완두와 녹색 완두를 교배했을 때 잡종 1대에서는 모두 황색 완두만 나타났는데, 이때 나타나는 황색은 우성이고 나타나지 않는 녹색은 열성이 된다. 그러나 잡종 1대끼리 다시 교배하여 얻은 잡종 2대에서는 우성과 열성의 비율이 약 3:1로 나타나며, 숨겨져 있던 열성 형질이 다시 분리되어 등장한다. 이는 열성 유전자가 사라진 것이 아니라 보존되어 전달된다는 분리의 법칙을 뒷받침한다.

열성 형질에 대한 흔한 오해 중 하나는 열성 유전자가 개체의 생존에 불리하거나 개체군 내에서 희귀할 것이라는 생각이다. 하지만 열성 형질 중에서도 개체군 내에서 더 흔하게 나타나는 경우가 존재하며, 생존에 더 유리하게 작용하는 사례도 많다. 예를 들어 사람의 귓볼 모양, 보조개 유무, 미맹 여부 등은 우열의 원리에 따르지만 이것이 생존 능력과 직결되지는 않는다. 열성 유전자는 유전자 풀 안에서 보존되며 종의 유전적 다양성을 유지하는 중요한 기제로 작용한다.

유전병 연구에서도 열성 유전은 중요한 비중을 차지한다. 특정 유전 질환은 열성으로 유전되는 경우가 많으며, 이는 부모가 질환을 앓고 있지 않더라도 자녀에게 유전될 수 있음을 시사한다. 대표적인 열성 유전 질환으로는 페닐케톤뇨증, 낭성 섬유증, 알비노 현상 등이 있다. 이러한 질환들은 부모가 모두 해당 열성 유전자를 가진 보인자일 때 자녀에게 발현될 확률이 생긴다. 따라서 가계도 분석과 유전자 검사를 통해 열성 유전자의 전달 경로를 파악하는 것은 의학적으로 매우 중요하다.