脊索动物都具有脊索、背神经管、鳃裂和内骨骼。