脊髓外表呈扁圆柱形，位于椎管中，上端与脑相连，下端平齐第一腰椎下缘。在脊髓横切面上，中央部灰白色、呈蝶形结构的部分叫做灰质，它是神经细胞体汇集处。位于前面的灰质叫前角，是运动神经，造成小儿麻痹症的原因就是因为此处发生了病变。后面的灰质叫后角，是接受感觉神经传入的部位。脊髓灰质是反射活动的中枢部分。灰质周围颜色较白的部分称为白质，它是神经纤维集中的部位。在主脊髓炎、脊髓肿瘤等病例中，由于脊髓受损而出现脊髓功能的损害。
脊髓两旁自上而下连着31对脊神经，其中颈神经8对，胸神经12对，腰神经5对，骶神经5对和尾神经1对。每对脊神经在脊柱旁边分为前支和后支，分布于躯干和四肢，调节躯干和四肢的活动。脊神经从椎管发出后，除胸神经单独形成肋间神经支配胸腹部皮肤肌肉外，其他的脊神经相互结合起来形成神经丛。从各种神经丛又分出许多周围神经，分别分布到颈部、上肢、上胸、下肢和会阴部的皮肤肌肉等。臂丛神经痛和坐骨神经痛是常见的神经丛受损症状。
脊髓主要具有反射的机能；在神经系统的参与下，人体感受刺激作出反应的活动叫做反射。完成反射活动的结构叫做反射弧，它包括感受器、传入神经、神经中枢、传出神经和效应器5个环节。例如，膝反射，当用小槌扣打膝盖下面的韧带，这个刺激引起肌腱和肌肉内感受器产生兴奋，兴奋沿传入神经传入脊髓（中枢），脊髓将兴奋通过传出神经，传到效应器——大腿的肌肉，引起肌肉收缩，使小腿前伸。这就是通过反射弧进行的反射活动。脊髓能完成的反射活动还有很多，如排尿、排便反射等。检查脊髓各种反射活动是否正常，可以了解神经系统生理活动情况和病变部位。人体脊髓的正常反射活动是在神经的最高级部位——大脑皮质的调节下进行的，当脊髓失去高级中枢的控制时，脊髓反射就会发生异常。