19世纪一位法国诗人的书里把象牙塔说成主观幻想世界，从此象牙塔就被用来比喻与世隔绝的梦幻境地，大学生活单纯、与社会隔离，所以也被称作象牙塔。
象牙塔的说法最早出现在圣经中，一首新郎赞美新娘的诗歌中写道“Thy neck is as a tower of ivory”，这里意为新娘美丽白净的脖颈。
到了19世纪，法国诗人、文艺批评家沙尔-奥古斯丁·圣伯夫(Sainte-Beuve, Charles Augustin)的书函《致维尔曼》中，批评了同时代的法国作家维尼作品中的悲观消极情绪。
他认为，作家应当在理想中的美满境地从事文学创作，而这种创作环境就被其称为“象牙塔”。
随后“象牙塔”就用来描述脱离现实生活(out of touch with the real world)的文艺家的小天地，进一步引申到描述单纯(purity)、与社会远离的大学校园。
