户口在北方是非农户口.但我们家84年建有一幢老房在那,违法吗

请问，我们家的户口一九七七年时全部从农村迁出，户口在北方是非农户口.但我们家84年建有一幢老房在那,爷爷手里建的,分一半给我父,一直是伯父家使用和维修. 今年他家建房时把我父的房子也拆了,现在我们想回老家重新建房，请问我们是否对这块地有使用权？ 村里面会不会干涉甚至收回？ 伯父家使用我父房子的地,违法吗? 注:农村房屋土地使用证有一半是我父亲的.谢谢，盼复! 如果可以建,要办什么样的手续?