求律师给我出个注意，我能起诉他吗

我是一大货车主，当日我给乳山一家经销建材的货主从淄博拉了27吨水泥，卸车后货主只给了部分货款（货款是我垫付的），余4367元他以上次（6月24号给他拉的一车）水泥质量有问题给我打了欠条。原因是他的客户因质量问题扣他的钱，他当时的初衷是想迫使我督促厂方派人来给他解决，而我只是个运输户，还给他垫付货款我要求厂方派人厂方根本不理。这货主说他的客户给他钱他才给我钱。我以前不认识这货主，两次都是我同村的大货车主给介绍的，水泥厂也是我同村人介绍给货主的，所以货主无须去厂家也不用给厂家打款，只是电话和厂家联系价格。现在货主认为是我同村人给介绍的厂家，质量有问题就变相难为我，还说等他的客户起诉他和我再把厂家也带上才能解决。我认为我太冤了，给他拉货还要垫付货款，迫使我为质量问题到处跑。我不想这样拖下去。 先谢谢了！