Se ho inquadrato il contesto mi sembra più che altro un problema sistemistico. Banalmente, se la macchina client da cui vuoi spedire la mail non conosce l'indirizzo IP del tuo dominio, è impossibile che la cosa funzioni per motivi che vanno al di là di Alfresco. Per prima cosa devi verificare che il tuo dominio sia almeno "pingabile", se non lo è puoi ad esempio aggiungerlo nel file host della macchina client o in un server DNS locale che sia visibile da tutte le macchine del tuo dominio. Ovviamente se è una macchina che deve invece stare su Interner, non ti resta che registrare il tuo dominio tramite un servizio di registrazione pubblico, ma questo è uno step successivo, dopo che hai testato il servizio localmente tra due macchine nella tua LAN.
Il tool di validazione ti dice tantissime altre cose, tra cui, ad esempio, se hai le porte aperte in maniera corretta: cosa non sempre scontata.