当时他说等老人去世以后在挪这个坟，我建房的时候就把的留迟来没在他那坟上建，是否有权让他移走

在我的新宅子上有一坟墓，当时他说等老人去世以后在挪这个坟，我建房的时候就把的留迟来没在他那坟上建，我想咨询一下，在我的宅基上我是否有权让他移走。请您帮助一下，谢谢！