construction pres de batiment agricol

J'ai acheté un terrain constructible selon son certificat d'urbanisme mais voila que ma demande de permis de construire est parti à la DDA car mon terrain est situé pres de batiments agricols.Savez vous s'il y a des distances à respecter? J'ai entendu parler de100 m mais est-il possible de se metrre moins loin avec l'accord de l'agriculteur par exemple? Merci de vos réponses