有人经常往我家打电话有时响一两声有时接了电话就骂

这是骚扰行为，但要固定证据。必要时通过法律手段保护自己的合法权益。

可以查到对方号码

这是违法骚扰行为，建议向公安部门报警，要求公安局出面处理。