晋泰始二年(266)分河南郡复置，下辖荥阳、京、中牟、苑陵、密等8县。
北魏孝文帝太和十七年 (493)郡治迁至大索城(今河南荥阳市老城)，至后辖县屡有变化，至东魏辖荥阳、成皋、京、密、卷5县。
北齐改名为成皋郡，之后到隋大业年间(607—618)和唐天宝元年(742)曾二度改郑州为荥阳郡。治所均在管城(今郑州市管城区)。
隋文帝开皇三年(583年)，隋政府将北周时的荥州改名为郑州，州治成皋(今郑州荥阳汜水镇)，下辖荥阳、成皋、密、内牟(即中牟，因避讳隋文帝杨坚父亲杨忠之名，将中牟县改为内牟县)、苑陵(今新郑东北)等县[1] 。
唐代荥阳郡下辖管城、荥阳、荥泽、原武、阳武、新郑、中牟7县。唐乾元元年(758)，荥阳郡又改为郑州。