清朝前期上海全部隶属于江苏，1928年孙中山倡议设立上海特别市，上海地区各县仍属江苏。

1930年又改特别市为市，辖吴淞、引翔、闸北、法华、沪南、塘桥等17个区，全市面积527.5平方公里。城市范围东达浦东，西至静安寺、徐家汇，南趋龙华，北达宝山路底。

1949年5月上海解放后，成立上海市人民政府，设黄浦、老闸、邑庙、蓬莱、嵩山、卢湾、常熟、徐汇、长宁、普陀、闸北、静安、新成、江宁、北站、虹口、北四川路、提篮桥、杨浦、榆林等20个区和新市、江湾、吴淞、大场、新泾、龙华、洋泾、真如、高桥等10个郊区。同时，上海的郊县苏南、苏北行暑，后由江苏省管辖。

1956年经过行政调整，上海市辖区减为18个。1958年，为了适应城市发展的需要，将江苏所属上海地区的郊县划入上海市，至此，上海市辖黄浦、邑庙、蓬莱、卢湾、徐汇、长宁、普陀、闸北、新成、江宁、虹口、提篮桥、杨浦、榆林等14个区，浦东、嘉定、宝山、上海、崇明、松江、奉贤、南汇、青浦、川沙和金山等11个县，总面积达6340.5平方公里，比建国初大十倍以上。

1960年，撤消邑庙、蓬莱设立南市区；撤消新成、江宁设立静安区；撤消提篮桥区、榆林区并分别并入虹口、杨浦两区；析上海县置闵行区，析宝山县置吴淞区，次年又撤消浦东县。1964年，撤消闵行区与吴淞区，此后上海保持了10个区和10个县不变达10余年之久。