汉军先在公元前201年，韩王信在大同地区发动叛乱，并勾结匈奴的冒顿单于攻打太原郡。刘邦接到消息后，以镇压韩王信叛乱为由亲率32万大军出征匈奴。铜鞮大破韩王信军队，后又乘胜追击，将冒顿单于和韩王信的军队追赶到了晋阳。冒顿单于为了引诱汉军北进，留下老弱病残的士兵在晋阳城中，而把主力骑兵撤退到代谷设伏。
为了消灭叛军，刘邦不听下属刘敬的劝阻，亲率骑兵率先到达平城。冒顿单于马上指挥40万匈奴大军，截住汉军步兵，将刘邦的兵马围困在白登山上。在断粮断水、人困马乏的情况下，刘邦一方面派遣使者与冒顿单于谈判，另一方面用重礼行贿冒顿单于的妻妾阏氏( yānzhī)。最后在阏氏的帮助下，刘邦才得以逃脱。
白登之围后刘邦意识到用武力征服匈奴是不现实的，只能采取亲和的政策来巩固边疆的安宁。双方通过联姻的方式换取一定程度的和平，这促进了当时边疆地区的民族交流与融合。
