南京市山西路小学始建于一九五五年九月，办学之初，学校仅有八个班级，三百七十多名学生，分布在水佐岗等几所学校上课。一九五六年，新校舍建成，全体师生回校。
六十年代初期，学校迅猛发展，教育教学成绩斐然。历届学生考试成绩均在全区名列前茅。学校还经常担任对外接待任务，因此被市委宣传部定为重点小学。教育部成仿吾副部长、省教育厅朱子闻厅长曾来校视察。学校的教学管理经验还多次在市教育工作会议上进行交流。学校的合唱团闻名于市，后逐渐成为南京市小红花艺术团的摇篮。
党的十一届三中全会之后，学校抓住改革开放的契机，加快发展。学校领导带领全体教师轰轰烈烈搞课改，扎扎实实抓教学，一批名特优教师脱颖而出，耿芳珠、冯培英、周家才、韩素珍等一批名师的名字如雷贯耳，声震金陵，他们为山西路小学创造了辉煌。
二十世纪九十年代，学校重新规划校园布局，翻建校舍，由原来的双轨变为四轨，学生逾千名。学校的德育活动富有特色，在全市率先成立了小学生思维电脑教育中心;成立了山西路小学少年消防警校;召开了“共拥一片蓝天，共有幸福童年”现场会，省市区领导均到校祝贺，活动开展得轰轰烈烈，整个校园一时间欢声笑语、异彩纷呈。
