我也是签合同，交了一万定金，然后我就拿回来做啊，他说做不了就按合同走，还得赔偿双倍违约金，我应该怎么

我也是签合同，交了一万定金，单价45，他说简单易学，然后我就拿回来做啊，做了好几次都是露线，根本做不了，后来我跟他谈做不了，他说做不了就按合同走，还得赔偿双倍违约金，我应该怎么办