目的港弃货问题

我是一家货代，受外商委托发了一批货到目的港结果遭外商拒收，我们找到发货人他们说已经收到货款不再管船公司怎么处理，我们已经支付了海运费和滞港费等，并把货运回中国，打算起诉发货人由他们承担一切费用。我们与发货人没有协议，但我们有发货人的弃货通知书表示发货人授权我公司退运或拍卖，但费用表明发货人不承担。另外有发货人传真的该批货物的报关单，核销单，以及与外商之间的代理协议，请问如果我们起诉发货人，是否可以要回所有费用？