我是一个离婚的单身女人，现在孩子的抚养归我，我想把孩子抚养权归还他爸，这个问题改到什么部门去办理

我于2006年和我的前夫离婚，孩子抚养权归我。我在2008年2月和现在的丈夫结婚，我们的感情一直很好。现任丈夫听到孩子的爸爸在外说，孩子虽然有他妈抚养，可是再养他毕竟还是我的孩子，永远会叫我爸爸。他听到这些分言分语，觉得心理特别不好受，我也能理解他的心情。就现在这个问题我们闹的都不开心，现在他提出孩子的抚养权应该归还他爸，否则离婚