校尉一职开始于秦朝，为中级军官。
西汉汉武帝为了加强对长安城的防护而置中垒、屯骑、步兵、越骑、长水、胡骑、射声、虎贲八校尉，统领者多为皇帝的亲信。
东汉时将中垒校尉省去，又将胡骑并入长水，虎贲并入射声，只剩下五校尉，以戍卫京师为主要职责。
汉末灵帝特设西园八校尉，掌管京师附近的兵权。典军校尉（曹操）、折冲校尉（袁术、孙策、夏侯惇）、鹰扬校尉（曹洪）等，而地位则居于中郎将之下。
三国时代，将军的职位开始乱封，千把人的首领都可以当将军，校尉的地位也随之下降，也就是个连长级别。按照三国的武官设置，属于八品。