裴李岗文化、龙山文化遗址，境内各县(区)都有发现。古史中称誉的唐尧(前2357-前2258年)、虞舜(前2257-前2208年)、大禹(前2207-?)都在这里留下了许多遗迹。历史上建置的演变，可远溯到公元前17世纪。

商朝(前1765-前1122年)。

西周(前1122-前249年)，菏泽分属宋国、卫国、曹国(定陶)、郜国（成武）、须句国、鲁国。

春秋(前770-前249年)后期，菏泽被宋、卫、鲁三国分割。

战国(前475-前221年)，前期为齐、楚、魏所辖；末期，为齐、魏两国分领。

秦朝(前221-前206年)，菏泽中部和北部属东郡(治濮阳)，南部和北部属砀郡(治砀县，今河南永城芒山镇)。

西汉(前202-前59年)，巨野县昌邑集，曾是汉朝昌邑王封国之地，现存有古迹汉废帝昌邑王刘贺废冢。

王莽新朝时期(公元8年-公元23年)，菏泽分属曹州、砀郡和巨野郡(公元9年设置)。

隋朝(581-618年)，文帝即位后，废郡，以州直接辖县。境内中部属曹州(治济阴县)，北部属濮州(治鄄城)，东北部属郓州(治郓城)，东南部属戴州(废永昌郡后置，仍治成武)，以上4州治所皆在境内。南部属宋州。606年，炀帝废州改郡。境内中部属济阴郡(治济阴县)，东部属东平郡(治郓城)。

唐朝(618-907年)，境内属河南道，中部属曹州(治济阴县)，东部属濮州(治鄄城)，东北部属郓州，南部属宋州(治睢阳)。

元朝(1271-1368年)，属中书省。

明朝(1368-1644年)，境内大部属承宣布政司兖州府的曹州、济宁州和东平州，西部和北部各有一小部分属京师大名府的开州和承宣布政司东昌府的濮州。1368年，因水患曹州徙治安陵镇(今菏泽市大黄集镇安陵集)，次年再徙治盘石镇(今曹县城址)。1371年(明洪武四年)，降曹州为曹县。1445年(明正统十年)，复置曹州于古乘氏县址(今菏泽城)。这时的曹州虽领两县，但为府辖州。

清朝(1644-1911年)，改布政使司为省，境内西部和东北部分属直隶省大名府和山东省兖州府外，均属山东省曹州府。1724年(清雍正二年)，曹州升为直隶州，辖区较明代不变。1735年(清雍正十三年)，升曹州为府，辖一州10县，附郭设县，赐名菏泽。此时辖区面积略大于今菏泽市。

中华民国(1912-1949年)，1912年，政区仍沿用清末省、府、县三级制，道为省的监察区。1913年1月8日，北洋政府颁发组织令，规定地方实行省、道、县三级制。今境除东明县属直隶大名道、鄄城县和梁山县(原为寿张县)属山东省济西道(后改为东临道，治聊城)，其他县均属山东省岱南道(后改为济宁道，治济宁)。1925年10月22日，山东省将原四道增为11道制，于今菏泽市区置曹濮道(治菏泽)。1928年废道制，东明县直属河北省，其他县直属山东省。1932年南京政府规定省下设行政督察区，专员公署为省政府的派出机构。至1937年“七·七”事变前夕，山东省共有7个行政督察区(以下简称区)：第一区治济宁；第二区治菏泽，菏泽、定陶、曹县、成武、单县、巨野、郓城属之；第六区治聊城，濮县(1931年濮、鄄分治，1926年鄄城并入濮县)……属之。“七·七”事变后，日本侵略军侵入山东后，山东省政府撒离济南，在省内流亡，并于1938~1942年在全省先后设置了17个区。巨野、郓城、寿张、汶上属第二区，单县、成武、曹县属第十一区，菏泽、定陶、濮县属第十六区。日本投降后，国民党山东省政府虽然调整了行政区划，但境内各县的归属仍未变。

抗日战争时期　由中国共产党领导的抗日政府相继产生，抗日根据地和游击区逐步发展成为各级政区。从1940年到抗战胜利，境域分属以下几个专区：冀鲁豫第八专区。1940年4月初建立运西专区，是年11月改称鲁西二专区，属山东省鲁西行政区。1941年鲁西行政区并入冀鲁豫行政区，从此脱离山东省。冀鲁豫第十一区。1940年7月建立湖西专区（因地处微山湖西），属山东省鲁西行政区，辖区位于今境南部，专署常活动于单县东南蔡溜、张寨一带。冀鲁豫第十专区。1941年5月建立冀鲁豫三专区，7月改为冀鲁豫七专区，9月改称晋冀鲁豫二十二专区和冀鲁豫十专区。辖区位于境内中部和西南部，兼及河南省考城、民权等县部分区域。

解放战争时期　1946年2月，原冀鲁豫第八专区改为冀鲁豫二专区，专署曾移驻郓城潘渡和陈坡，原冀鲁豫十一专区改为三专区，十专区改为五专区。1948年9 月全境解放。1949年3 月，华北人民政府决定将冀鲁豫第二、三、五、七专区分别更名为临河、湖西、鲁西南、运西专区。是年8月，平原省建立，临河、鲁西南及运西的一部分合并为菏泽专区，与湖西专区同属平原省人民政府。

中华人民共和国成立，属平原省，省会新乡。1952年11月，中央人民政府批准撤销平原省建制，菏泽、湖西两专区划归山东省。次年7月20日，中央人民政府批准山东省撤销湖西专区，其所辖县分别归菏泽、济宁两专区。

1958年11月12日，国务院批准撤销菏泽专区建制，所属各县划归济宁专区。次年6月，恢复菏泽专区，辖区如旧。1967年3月，改菏泽专区为菏泽地区。2000年6月10日，经国务院批准，改菏泽地区为菏泽市(地级)，原菏泽市(县级)更名为牡丹区。2008年12月，全市下辖8县1区，158处乡镇，行政村、居委会6106 个，自然村13478个。

2012年，菏泽成为中原经济区国家发展战略的核心城市之一，中国人口、经济最密集的中原城市群之一。