卫青后又被任命为太中大夫，秩比千石，掌议论。从建元三年到元光六年，是卫青成长最快的九年，卫青从皇帝左右，出入禁中，与闻朝政，后又成为太中大夫，足见其才干深得武帝信任，为后来七征匈奴、甚至任大司马大将军为内朝参决政事，秉掌枢机打下良好基础。
元光二年，汉武帝策划了主动对匈奴诱敌歼灭的马邑之围。打破了西汉自立朝以来对匈奴被动退让的和亲政策，也拉开了汉匈全面战争的序幕。元光六年，匈奴奔袭而来，汉武帝果断任命卫青为将军，至此卫青拉开了戎马生涯的序幕，匈奴的强敌出现了。
卫青虽是首次出征，但他果敢冷静，出其不意的深入险境，直捣匈奴祭天圣地龙城，首战取得胜利，汉武帝一高兴封他为关内侯。谦虚的卫青不独揽功劳，把军功归于他的战友们，汉武帝更加欣赏他，并称赞其“真仁义”。
公元前128年秋，卫青为车骑将军出雁门，领三万骑兵，长驱而进斩首虏数千人，这是西汉对匈奴的第一次大战役。公元前124年春，汉武帝命卫青领三万骑兵出高阙，奇袭高阙战捷。
元朔六年，春、夏，卫青为大将军两次领十万骑兵扫荡漠南伊稚斜单于大本营。歼敌过万，二出定襄。元狩四年(公元前119年)春，汉武帝以十四万匹战马及五十万步卒作为后勤补给兵团，授与卫青与霍去病各率领五万骑兵，兵分两路，跨漠长征出击匈奴。
漠北之战被列入‘中国历史十大战役’，也是卫青以弱胜强，正奇兼善的代表之作，共歼敌一万九千余人。彻底打垮了匈奴的主力，使之再无能力南下窥视汉朝。
