我能否变更孩子抚养权

我06.9.20日离婚，协议孩子由他抚养，我每周探望一次，但他们想让孩子把我忘掉，不想让我探望，而且至今我只探望了两次，第一次也就十几分钟，他们就把孩子抱走了，第二次在他家里我想把孩子抱出来玩会他们都不让，我想要回孩子抚养权，但是我没有房子，现在是租住的房子，有较稳定收入，由于工作较忙我得让父母帮我看孩子，我想要回孩子该怎么做，胜算多大 孩子现在跟他奶奶，他爸常不在家，也谈不上照顾孩子，而且爷爷奶奶常吵架，他奶奶身体还不太好，成天小病不断