malheureusement, si vous avez obtenu votre offre de prêt et votre permis de construire, je pense que votre compromis de vente est réalisé, et plus de possibilité de vous désengager.
Le vendeur peut accepter votre refus d'acheter le terrain, mais vous perdrez l'acompte que vous avez versé (voir plus en fonction de ce qui a été convenu dans le compromis).
Avez-vous déjà transmis votre offre de prêt au vendeur ou au notaire (ou agence) ? Si non, et que vous êtes encore dans les délais pour rechercher un prêt (à voir dans votre compromis), vous pouvez essayer de contacter une autre banque et essayer d'avoir un refus de prêt.
Mais avant de faire les démarches, renseignez-vous également sur le second terrain. le prix est-il vraiment celui-ci ? Est-il viabilisé ? quelle est la nature du sol ? cela peut entrainer des fondations spécifique et augmenter le cout de construction de votre maison.
Bon courage