秦始皇有23个儿子，10个女儿，由此可以判断他的女人应该有很多，他没有皇后，所以说他应该没有正妻。其中有少量记载的就是郑妃——公子扶苏的母亲，胡姬——秦二世胡亥的母亲。
他四十九岁死时，最小的儿子胡亥也有二十岁了。其中扶苏应该是他最疼爱的儿子，历史上对于他们的母亲都没有太多记载，充其量就是身份的记录。由此看来，在高生育率、低成活率的时代，能够有如此之多的成年子女，必然要有数量惊人的后宫佳丽。毕竟在那时候的医疗条件不是太好，能活下来这么多实属不易。传说中秦始皇最爱的女子是阿房，阿房宫就是为其而修。这个女子原名夏玉房，小名叫阿房，据说是赵国神医夏无启的女儿，但没有太多的历史根据。秦始皇的母亲赵姬行为失谨，秽乱后宫，可以说是他没有立皇后的一大原因。秦始皇在心中早就播下了种子，因为母亲的行为而形成心理障碍，对他打击深重，奈何千古一帝身边却没有一个知心的人说说话，这是一个遗憾，也让后人对其议论纷纷。
