孩子可以归女方吗

从去年开始两人感情不和，曾经多次提过离婚，女方因为孩子小（今年4岁）没有办理离婚。今年九月份左右女方发现有一个号码与男方联系，女方询问，男方以“发错”为借口，女方到电信局查号码，发现自5月份至9月份男方与这一号码频繁联系，并查出这一号码是与男方同单位一女同志（暂称第三者）的号码，并且这位第三者是女方好友的老婆，女方忍不住去问第三者与自己老公的关系，第三者不否认，但也不正面回答“说自己爱男方，但男方不爱她……”两人并未发生争执。女方将此事与男方谈开，男方姐姐并在场，男方否认有此事，并说“除非你捉奸在床，否则就是此事不存在”。因此事提出后，男方提出离婚，并对女方说，“如果离婚是你后悔，孩子肯定不会给你的，如果你要孩子我就不给抚养费……” 女方：怀孕起，就不再上班，自去年女方找了一份临时工作，每月1000元左右，有父母，父母有一套房. 男方：有一份固定工作，月薪3000元左右，有父母。 孩子：今年4周岁，女孩，经常会生病（感冒），自孩子出生后就由女方及女方父母照顾。 女方现在没有直接证据可以证明男方有外遇