关于不锈钢材料降价引发的经济纠纷

各位律师你们好！我公司在今年的8月31号跟一昆明的客户接了一笔订单（304不锈钢法兰），当时材料价格是38000/吨，产品质量也完全达标。可因为他想冒充更好的材料(316L)卖给别的客户，没想到被别人化验出来了！ 现在不锈钢材料降价厉害，8月份的货到现在只值24000/吨，他想退货，说是材质达不到304要求，二话没说就把货退了回来，还要求我们退钱！产品在退回来的途中被损坏的乱七八糟。你说我该退他钱吗，他那算不算污蔑人，该不该追究其法律责任？ 望各位律师快办我解答一下！