房屋土地纠纷

90年老父亲写下一份遗嘱，等老人归天后4间房兄弟两人各得两间。95年房屋重建，经老人和兄弟姐妹们商量决定，由弟弟做3间，并且老人有弟弟承当赡养义务，房屋做好了，土地使用证也办了，弟弟也一直承担了老人的赡养义务。现在弟弟因为调到县城工作，需要把老家的房屋卖掉，老人也要求到县城来和小儿子一同生活，可是哥哥又要要回遗嘱上分给他的那一间房屋的地皮，他说那间地皮是让我做房子给老人住的，卖房的时候就要还给他。请问那间房屋的地皮使用权到底是谁的？