两家合住我应该怎样才能让他不再带陌生人来租借

两家合住，对方带人租住谎称借住，但侵犯了我家权利，随便把街门钥匙给他人，给我家带来了安全隐患。我家这是六层楼一个门洞两家住，属于单位宿舍，厕所厨房合用，已经好几次了都被我家找这找那给说走了（租房人）但是今天又带来了人，我才22女孩，老带不知底细的男的来住，他租给别人自己不在这里居住，给我带来了不便，这么多次都没有解决双方的争执，什么时候算个头？我家明确说不同意，他给我们介绍来人，我说我不想认识，你在这里住来谁都无所谓，你不在这里住借住你不在我就是不认识，随便进来陌生人对我的生活造成影响。