581年，隋文帝杨坚建立隋朝，不久统一了天下，结束了魏晋南北朝时期长期分裂割据的局面。隋文帝对地方建制进行了改革，将北朝以来实行的州、郡、县三级制改为州、县二级制，将北周时的荥州改名为郑州，下辖荥阳、成皋、密、内牟(即中牟，因避讳隋文帝杨坚父亲杨忠之名，将中牟县改为内牟县)、苑陵(今新郑东北)等县，州治成皋(今郑州荥阳汜水镇)。从此，郑州一名开始用于今郑州地区。 隋开皇十六年(596年)，管城(今郑州市管城区)从中牟县划出独立为县。同年，郑州改称管州，州治从成皋迁至管城，下辖管城、成皋、荥阳、新郑、苑陵、广武、中牟等12县。隋大业二年(606年)，管州又复称郑州。 唐朝时，郑州行政建置时有变化。唐高祖武德四年(621年)，分置郑州、管州。郑州辖密县、汜水、荥阳、荥泽、成皋五县，州治武牢(今郑州荥阳汜水镇)；管州辖管城、圃田、须水、清池(今属新郑)四县，州治管城。唐太宗贞观元年(627年)，废管州和须水、清池县，属县并入郑州；贞观七年(633年)，郑州州治从武牢移至管城(今郑州市管城区)。此后，一直到明朝初年，郑州治所均设于管城。天宝元年(742年)，改郑州为荥阳郡。至758年，又取消荥阳郡名称，仍称郑州。 隋唐时期，是我国封建社会的繁荣时期。郑州地区地处中原，地处交通要道，特别是大运河和通济渠的开通，使地处通济渠中段的郑州受益很大，郑州的经济逐渐繁荣起来。隋朝时，在郑州巩县营建了洛口仓，储存粮食2000多万担，是当时全国最大的粮仓。唐朝时，郑州是从唐都长安通往东南、山东等地的必经之地，设在郑州的管城驿繁华热闹，来往的人员昼夜不绝。郑州的手工业也很发达，所产的绫绢全国闻名。 唐代是中国封建文化最为辉煌灿烂的时期，郑州地处中原，人文荟萃，才子辈出，文化极为繁荣，涌现出了许多文化名人。如诗圣杜甫，是郑州巩县人；大诗人白居易出生在郑州新郑；大诗人李商隐祖籍郑州；精于书、诗、画的名人郑虔是郑州荥阳人，等等。
