H Μικρασιατική Καταστροφή και η ήττα, ο διωγμός και η προσφυγιά ήταν η μοίρα και της Μονής της Παναγίας Σουμελά, το 1922. Οι Τούρκοι με συστηματική έφοδο κατέστρεψαν, τότε, ολοσχερώς το μοναστήρι. Αφού πρώτα λήστεψαν όλα τα πολύτιμα αντικείμενα της μονής, στη συνέχεια πυρπόλησαν τις εγκαταστάσεις της. Οι μοναχοί αναγκάστηκαν να φύγουν. Το μόνο που πρόλαβαν ήταν να φτιάξουν κρυψώνα μέσα στο παρεκκλήσι της Αγίας Βαρβάρας για να τοποθετήσουν, με όσο το δυνατόν μεγαλύτερη ασφάλεια, την εικόνα της Παναγίας, το ευαγγέλιο του Οσίου Χριστοφόρου και τον σταυρό του αυτοκράτορα της Τραπεζούντας Μανουήλ Κομνηνού- τα μεγαλύτερα σύμβολα εκ των κειμηλίων της μονής.
Χρειάστηκε να περάσουν μερικά χρόνια και, κυρίως, υπό τις ηγεσίες Ελευθερίου Βενιζέλου και Ισμέτ Ινονού, να επιχειρηθεί η ελληνοτουρκική προσέγγιση του 1930. Ο τούρκος πρωθυπουργός, ο οποίος είχε επισκεφθεί την Αθήνα προκειμένου να επιβεβαιωθεί η αλλαγή στις σχέσεις των δύο χωρών, δέχθηκε να μεταβεί στον Πόντο ελληνική αντιπροσωπεία προκειμένου να παραλάβει τα κρυμμένα σύμβολα της μονής. Αποφασίστηκε επικεφαλής της αποστολής να τεθεί ο Αμβρόσιος Σουμελιώτης, προϊστάμενος στην εκκλησία του Αγίου Θεράποντα της Τούμπας στη Θεσσαλονίκη, ο οποίος είχε πληροφορηθεί από μοναχό που είχε καταφύγει στη Θεσσαλονίκη πώς θα προσπελάσει την κρύπτη με τα πολύτιμα κειμήλια. Ο Αμβρόσιος πήγε στον Πόντο, ξέθαψε τα τρία κειμήλια, τα έφερε στην Αθήνα τα παρέδωσε στον Χρύσανθο Φιλιππίδη, τελευταίο Μητροπολίτη Τραπεζούντας και μετέπειτα Αρχιεπίσκοπο Αθηνών.
Το 1951-1952 ύστερα από πρόταση του τότε προέδρου του σωματείου «Παναγία Σουμελά» Θεσσαλονίκης Φίλωνα Κτενίδη και το ενδιαφέρον μερικών προσωπικοτήτων ευλαβών χριστιανών, η εικόνα παραχωρήθηκε στο σωματείο το οποίο και άρχισε την ανιστόρηση της μονής σε ένα επίπεδο του Βερμίου πάνω από το χωριό Καστανιά. Η κοινότητα Καστανιάς είχε παραχωρήσει δωρεάν 500 στρέμματα για την ανέγερση του προσκυνήματος. Η «Αθηνιώτισσα» και η «Σουμελιώτισσα» γίνεται προσφυγομάνα και «Βερμιώτισσα».
