首先你个人生活是不是有问题?如果你的确有问题,那他这也不算影射,那你就有则改之,无则加勉。
其次你是来工作的,那在工作上他对你怎么样?是否公允待你。是否正常的工作关系?如果是那你就好好干。有的人生活中嘴碎一点,工作上对你没什么影响就行,你是来这工作的,又不是来这交朋友的。
至于他爱拉拢谁爱打击谁,我想问这关你什么事?他就算拉拢谁打击谁也是有他自己的原因,别什么都以你自己作为原因。人在绝大多数时候把自己看得太重要了,也许别人完全不是这么想的。就算他打击谁拉拢谁,是以你的态度为转移的,那对你的工作有实质性的影响吗?如果他不影响你的工作开展,那他爱去拉拢让他去拉拢呀,跟你有什么关系啊?你还不许别人拉拢个人吗?就这还要把自己整到抑郁了,你工作真够累的。
如果这个人在工作中为难你,比如评价不公允,有意刁难你,那我同意你辞职。但是是在找到你的下家有更好的工作机会以后。否则不是亲者痛仇者快了吗?你干嘛主动辞职,就算公司开掉,你不是还要赔偿吗?你就干着呗。一边干一边找。