我最近与另一人签订了转让商场柜台的协议，但是我之前与商场的合同中规定不能私自转让，我想问一下我们之间

你好，我最近与另一人签订了转让商场柜台的协议，但是我之前与商场的合同中规定不能私自转让，而且这个情况我也告知过接手我柜台的人，当时他也表示同意。但是现在后悔了，跟我主张我们之前签订的合同是无效的，要求撤销合同，并且现在开始自己就不经营了，让我经营，然后让我把转让费推给他，我想问一下我们之间的合同无效吗？