我想收回我的钱

我和另一个合伙人一起包了个果园。过了一年后。由于我要带小孩。没时间精力去管理。我就向合伙人提出我要退出。当时他是同意了的。于是我叫他给我钱。他说没有。我就叫他给我写了张借条。写借条的同时他也叫我写份内容是我自愿退出果园。事都过了一年多了。我再次叫他还钱时。他态度很不好。出言相骂。并不想还。他说果园亏了。他没有。要不等三年后。但他现在是有能力还的。他老婆天天赌。而我此时正遇离婚。我的确须要这笔钱二万元的钱。他们又不给。现在借条在我这里。请问我该怎么办