成人改名不随父母姓可以吗

我1岁父母离异，后来随养父姓，高中母亲和养父离异。 因为养父是个自私的男人根本不懂得什么是爱，现在我已经20岁了不想在叫他的姓，看到自己的名字都恶心，想改名字。但是也不想随生母姓，自己选的一个姓，这样可以吗？去派出所几次都说不可以，几次推回说我不可以随便改姓。但是我认为公民是有自己的姓名权的，再说我的情况也不算无理。 any more，我真是搞不懂公安局为什么百般阻挠我改姓，我又不欠他的！！