汉军最大的作战单位是军。
汉朝军制，基本承袭秦制，根据《后汉书·百官》记载，“大将军营五部”，部由校尉统领，“部下有曲，曲有军候一人”，“曲下有屯，屯长一人”。从中可以知道，西汉军队最大的作战单位是军，下面就营、部、曲、屯。
汉军分为京师兵和地方部队，京师兵分为北军和南军。
北军是汉军的精锐部队，长官是中垒校尉（东汉为北军中候），其下是屯骑校尉、步兵校尉、越骑校尉、长水校尉。北军士兵又称屯兵。南军为守卫皇宫的部队，长官为卫尉，其下主兵的有南宫卫士令北宫卫士令左右都侯等，另有宫掖门司马七人主管宫门守卫。南军士兵又称卫士。
地方部队，各郡由郡司马率领（郡司马一般分为正司马和副司马），边郡的边防军由长史率领，各王国由中尉率领，县和侯国由尉率领，边县另有障塞尉。
战争期间派出由将军率领的临时编组的作战部队。将军下有长史、司马辅助，部队分若干部，部由部校尉和军司马率领，部下设曲，曲由军候率领，五百人一曲，曲下有屯设屯长，五十人一屯。
