34 role de la dde dans une demande de permis de construire

bonjour,
j'ai déposé une demande de permis de construire pour changer l'utilisation d'un garage que j'ai en un restaurant avec jardin
pour le permis j'ai fait appel à un architecte qui a rencontré celui des bâtiments de France (car je suis dans un site classé) afin que la demande soit conforme à leurs attentes, et que tout soit fait dans les règles (ouvertures, évacuation, ventilation, wc handicapé....)
je suis sur une commune où il n'y a pas de POS (moins de 300 habitants)
la mairie vient de voter en réunion de bureau le refus de mon permis de construire (pour quel motif valable , je ne sais pas mais je vrai motif c'est que mon voisin ne veut pas que j'ouvre un restaurant car il a peur des nuisances et certains des conseillers sont ses amis)
je voudrais savoir si sur une commune sans POS la DDE doit demander son avis à la mairie ?
car je sais qu'un conseiller est allé à la DDE pour leur dire qu'ils devaient refuser mon permis , alors que je les avaient rencontré avant de me lancer et pour eux il n'y avait pas de raison de refus.
la dde doit elle suivre celle de la mairie ?
quel est mon recours ?
dois je attaquer la mairie au tribunal administratif ?
merci pour votre aide