南怀仁1623年10月9日生于布鲁塞尔附近的小镇彼滕(Pittem)，12岁起他进入耶稣会办的学校读书，17岁时开始了他在鲁汶大学艺术学院学习。
鲁汶大学是世界上最古老的天主教教会大学之一。在鲁汶大学期间，南怀仁系统地接触亚里士多德的学说，尤其是逻辑学和哲学体系，并通过宇宙论的学习，掌握了天文学、数学、历法计算、地理等多方面的知识。
南怀仁在1641年9月2日入耶稣会。1658年随同 Martino Martini神父前往中国，1659年抵达澳门。南怀仁本来在山西传教，1660年受召前往北京协助汤若望神父。
汤若望神父蒙主宠召后，康熙八年三月初一日(1669年4月1日)，南怀仁接替汤若望被授以钦天监监副。南怀仁也曾铸造红夷炮助清帝国。康熙八年(1669年)，南怀仁撰写《历法不得已辨》，逐条驳斥杨光先、吴明炫在历法推算方面的错误。针对中国传统的观象占候、堪舆占卜等观念，这一年他还撰著了《妄推吉凶之辨》、《妄占辨》和《妄择辨》。
南怀仁可能是汽车的发明人。
南怀仁在1688年逝世于北京，清圣祖追赠工部右侍郎，谥为勤敏，与利玛窦、汤若望埋在同一个墓园，现在位于阜成门外的滕公栅栏马尾沟教堂。
