我想问律师.我家建楼到底该不该给他家留出距离

我家的后面是邻居去年建的楼房，他们是面向东建的南面紧挨着我家的后墙.南面留了窗户.今年我家也决定建楼房，打算和他家建一样高，可是动工的时候他们就是不让建，要我家给他们让出几米的距离.我们为此发生了争执差点没动手.