出租车拒载也是有道理的啊！

我是一个出租车司机，10月31日晚上在人民医院一个客人让我等一下来接他，然后另外一个客人过来让我去一个离医院很近的小区，我当时空车，我不想被她说是拒载我就乘她去了，可是到了目的地，她跟我说要我等她一下，她等等还要回过去，我跟她说如果这样的话要两个起步价，然后她说要等一刻钟，可是我想医院那边的客人肯定会等不及的，如果这样的话那个第一个客人也会说我拒载，我就拒绝了她，接着她给了我一个起步价就走了。过了会，一个男子打电话给我，以恐吓的语气跟我说：“想不想开出租车了！明天带好2000元到客管办！”你说我该怎么办啊？我是为了第一个客人的利益啊！