请问我们夫妻有一套房子，我有权利不让我老公父亲居住吗

请问我们夫妻有一套房子，婚前首付款两方老人都有出钱，名字我写在我跟老公名下，现在我跟老公父亲有矛盾了。我有权利不让我老公父亲居住吗？还有就是他有居住权吗?现在我不想让老人进我家门，可以老公执意要给钥匙给他。我让老公写一个协议，我们再去买一套房子不给他钥匙，也不让他进家门不合老人居住在一起，把协议去公证，这个有法律效益吗？