学院于1995年5月正式成立，是由原上海大学国际商学院英语系和日语系、原上海科技大学外语系、原上海工业大学外语教研室、原上海大学文学院和美术学院以及工学院的外语教研室、原上海科技高等专科学校外语教研室合并组建而成。
原上海大学国际商学院的前身为上海外国语学院分院，始建于1978年。1983年5月，在原复旦大学分院、原上海机械学院轻工分院、原上海外国语学院分院、原上海法律高等专科学校、原上海美术学院等五所分院的基础上成立了老上海大学，并更名为上海大学外国语学院。1986年在原上海市市长汪道涵的建议下再次更名为上海大学国际商业学院。1993年5月原上海大学国际商业学院与原上海大学商学院合并组成上海大学国际商学院。随着1994年四校合并(上海工业大学、上海科技大学、上海大学、上海科技专科学校) 成立新上海大学，英语系和日语系从原上海大学国际商学院中分离出来并入新成立的上海大学外国语学院，并改为英语一系和日语系。办学点在1999年8月之前一直在上海市徐汇区蒲西路150号。
上海科技大学外语系的前身为上海科技大学外语培训部(专门培训国家科委指派的出国人员)，始建于1964年，1968年关闭。部分教师调离，部分教师归属上海科技大学教务处下属的外语教研室，1986年成立上海科技大学科技外语系，1992年更名为上海科技大学外语系，设有英语（科技英语）专业和日语专业。随着1994年四校合并(上海工业大学、上海科技大学、上海大学、上海科技专科学校) 成立新上海大学，外语系并入新成立的上海大学外国语学院，并且英语（科技英语）专业改为英语二系，日语专业则并入日语系。办学点在1999年8月前一直在上海市嘉定区城中路20号。
其他学院外语教研室的教师在四校合并后基本编入学院的大学外语教学部。
1999年8月随着上海大学新校区的落成，学院全部搬迁至新校区，英语一系和英语二系亦随之合并为英语系。
