霍去病并没有娶妻，而唯一的儿子霍嬗的生母，并史书上也没有记载，所以极有可能是府中地位比较低下的婢女所生的。不过这个霍嬗在10岁的时候就死了，也因为霍嬗之后就霍去病没有直系后代，冠军侯的侯位也被皇帝收回了。但是我们也发现在史书中记载曾记载霍去病有2个孙子，名为霍云、霍山。奇怪的是并没有记载他们的父亲是谁，所以霍去病是否有另外一位妻子生了儿子就不得而知了，也有可能这2个孙子是霍去病的兄弟霍光的子嗣过继过去的。
霍去病英年早逝
在元狩六年（前117年），因匈奴伊稚斜单于拒绝对汉称臣，汉武帝再一次进行战争，决心歼灭单于主力。然而在准备过程中，或许是多次领兵出征的劳累，长时间处于艰苦的环境，霍去病却因病早逝，年仅二十四岁。汉武帝无奈之下，被迫停止了对匈奴的作战。
霍去病死后，武帝允许他陪葬茂陵，赐其谥号为“景桓”（取义“武与广地”，彰显其克敌服远，英勇作战，扩充疆土之意）。武帝对霍去病的死非常悲伤。他特意调遣河西五郡的铁甲军，列成阵沿长安一直排到茂陵东的霍去病墓。他还下令将霍去病的坟墓修成祁连山的模样，彰显他力克匈奴的奇功。
