当时只有老板一个人，吃饭结束我们就一起出去了

我在一家单位应聘，当时只有老板一个人，中午我们在一起吃饭，吃饭结束我们就一起出去了。我也离开了。但是该单位被盗，老板说是我的事情。但是我没有。他经过公安按照我的电话查到了我的地址，我周围的人都知道了这件事情。他也没有任何的直接证明证明是我做的。 我该怎么办。