宋代“太师”是三师（太师、太傅、太保）之一，正一品，高于三公（太尉、司徒、司空），所以相当于宰相。
太尉是三公之一正二品。隋唐以来决策权转移至中书门下，而行政权在尚书六部手中。三师三公品级虽高，无实际职事，一般只是作为加官，尤以唐后期各种检校官为甚。宋初三师三公只是作为升迁资序所用，并无执掌。太尉旧在太保之下，自五代以来则提升至次于太师而在太傅之上。
太尉始于秦朝时期。秦王嬴政登基后，改设三公九卿。三公即为丞相、御史大夫、及太尉，分别为辅政，监察及治军领兵。但秦朝并没有设置太尉的具体人选，也就是形同虚设。原因在于秦当时为中央集权制，军政经合为始皇帝一体，所以若将兵权拱手送于他人之手，秦王政的统治会受到严重威胁。
到西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。但与秦朝不同的是，在皇帝之下设立了三套平行的官僚体系，分别为丞相率领的外朝官、大将军率领的内朝官、以及处理皇帝与皇族私人事务的宫廷官。
其中外朝官为西汉中央政府的最高行政权力由丞相、太尉、御史大夫三人分掌，其下分设九卿、列卿等。但由于官制名目甚多也有一定的分权目的，所以太尉的实权性时时不定。
