S'il vous assigne, répliquez en faisant une action en bornage (ce que vous auriez du faire préalablement à l'édification du mur).
Le tribunal désignera un géomètre à frais partagé, les terrains bornés, et le débat sera clos (même si le terrain ne l'est pas encore).
Dans la même instance, réclamer le partage des frais de cloture entre vous et lui, ça le calmera.