我是铁路局的一名正式职工

您好，我是铁路局的一名正式职工。本来在桃源工作，后来把我调动到张家界工作，我同意了。在此之后我在张家界买房结婚。但是单位又把我掉至桃源，我可以拒绝吗。合同上面约定的工作地点是 乙方同意甲方根据工作岗位的实际需要，安排其从事以人事命令为准工作，工作地点为张家界工务段管辖范围内。甲方因工作需要及乙方的能力和表现，有权变更乙方的工作岗位或者工作地点。因为张家界工务段管很多地方，有的回张家界要几个小时。这样对我的生活造成了巨大的影响，我老婆也是刚辞职过来找的工作，现在又要把我调回去。