当时拿着解除取保候审决定书去派出所办理保证金退还

这个你可以通过正常的程序退还保证金。

可以依法沟通协调，要求尽快退回

你可以联系派出所询问具体情况啊

依照《刑事诉讼法》规定，人民法院、人民检察院和公安机关决定对犯罪嫌疑人、被告人取保候审，应当责令犯罪嫌疑人、被告人提出保证人或者交纳保证金。在办理取保候审时，遇到关于保证金的相关问题，可以咨询公安机关。