他不让我和女儿单独在一起

离婚时2岁的女儿判给了男方，我放弃了所有财产，每月付300元抚养费，我的工资不到1000元，还经常有病假，病假工资只有550元。我从女儿4个月时因为和他发生矛盾离开家，然后他不让我回去也不让我看女儿，直到他提出离婚还要将女而判给我，我不同意，结果女儿判给了他，离婚后他还是不让我看女儿，我起诉法院，法院判决每月1次9点-15点让我接女儿回去，我觉得时间已经很短了，但他还是不同意上诉要求每两个月看1次，还要他在场，不让我带女儿走，理由是说我当初遗弃女儿（这是他胡说的，他为了达到目的什么话都说得出来），还说这样做是为了女儿。我想知道我作为一个母亲连单独和女儿接触的权利都没有了吗？他有这个权利吗？我该怎么办？