古代徐州是现在的江苏省、山东省、安徽省地区。徐州是中国古代九州之一。徐州作为一个地理区域，范围在淮河以北、泰山以南、黄海以西，涉及江苏北部、安徽北部、山东南部，地为红色粘土。三国时期徐州是省一级的行政区，而当时的治所在彭城，治所就相当于政府所在地，彭城就是今天江苏省徐州市。
徐州历史悠久，6000多年前，徐州先民就在此生息劳作。三国时，曹操迁徐州刺史部于彭城，彭城始称徐州。魏晋南北朝各代曾设彭城国或徐州，都城或治所多在彭城。
民国初，废徐州府，府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。抗战胜利后，国民政府仍置徐州市，属江苏省。著名的三大战役之一的淮海战役就是以徐州为中心展开的。
1949年因江苏省尚未完全解放，徐州市暂由山东省代管。1953年划回江苏省，并同时成立徐州专区。专署驻徐州市。1958年，原由江苏省辖的徐州市划归徐州专区领导。1970年，徐州专区改称徐州地区。
