水准仪通常由三大部分构成：

望远镜：用于瞄准远处的水准尺，由物镜、目镜、十字丝分划板组成，可清晰观测水准尺上的刻度。

水准器：分为管水准器（长水准器）和圆水准器（水准盒），是判断仪器是否水平的关键部件。

圆水准器：精度较低，用于粗略整平仪器；

管水准器：精度较高，用于整平，确保望远镜视线水平。

基座：支撑仪器主体，包含脚螺旋和底板，通过调节脚螺旋实现仪器的整平。