Πάνω από την πόλη του Πυθαγορείου, σε υψόμετρο 125 μέτρων από την επιφάνεια της θάλασσας, στην είσοδο ενός σπηλαίου είναι κτισμένη η Ιερά Μονή Παναγίας Σπηλιανής, όπου φυλάσσεται η θαυματουργός εικόνα της Παναγίας Σπηλιανής ή καληαρμένισσας.
Από τις λίγες μαρτυρίες που διασώζονται και αφορούν την γενικότερη ιστορία του Σπηλαίου, πιστεύεται πως υπήρξε χώρος θρησκευτικής λατρείας από τα αρχαία χρόνια. Μια μερίδα επιστημόνων, βασιζόμενοι σε μαρτυρία του νεοπλατωνικού φιλοσόφου Πορφυρίου, υποστηρίζει πως η Σπηλιανή υπήρξε η σπηλιά του Πυθαγόρα, όπου για αρκετό καιρό διατηρούσε φιλοσοφική σχολή.
Τα βυζαντινά χρόνια, όπως μαρτυρούν τα πολυάριθμα ευρήματα, το σπήλαιο χρησιμοποιήθηκε ως ιερός τόπος του χριστιανισμού και πιθανόν ως τόπος ασκήσεως μοναχών.
Τον 16ο αιώνα στην περίοδο του ανασυνοικισμού της Σάμου, μαρτυρείται ότι οι ναυτικοί από τη θάλασσα και οι πρώτοι κάτοικοι από τα γύρω χωριά έβλεπαν κάθε βράδυ προς το μέρος της Σπηλιανής ένα εντυπωσιακό φως. Ερεύνησαν το σημείο, ανεκάλυψαν την είσοδο του σπηλαίου και προχωρώντας μέσα σ΄ αυτό, έκπληκτοι βρέθηκαν μπροστά σ΄ ένα μικρό ναό, όπου μέσα σ΄ αυτόν υπήρχε ένα πανάρχαιο εικόνισμα της Υπεραγίας Θεοτόκου, λουσμένο σ΄ ένα υπέρκοσμο φως. Από τότε αρχίζει και η νεώτερη ιστορία της Ιεράς Μονής.
Από την περίοδο αυτή διασώζονται δύο μαρτυρίες. Η μία είναι του Ιωσήφ Γεωργειρήνη, αρχιεπισκόπου Σάμου, που σε αγγλόγλωσσο περιγραφικό βιβλίο του για τη Σάμο και τα γύρω νησιά, εκδεδομένο στο Λονδίνο το 1677, πληροφορεί τον αναγνώστη ότι οι Σαμιώτες δείχνουν μεγάλη ευλάβεια απέναντι στο ιερό αυτό σπήλαιο όχι μόνο από σεβασμό προς την Παναγία αλλά και γιατί πιστεύουν ότι εδώ γίνονται πολλά θαύματα.
Η δεύτερη μαρτυρία προέρχεται από δωρητήριο έγγραφο, από το οποίο προκύπτει ότι στις 22 Νοεμβρίου του 1679 ο τότε Αρχιεπίσκοπος Σάμου Φιλάρετος από τη Σίφνο, όντας βαρύτατα ασθενής και πιεσθείς υπό επιτροπής κληρικών, ενίων καταγομένων εκ της Αμοργού, υπέγραψε και εδώρησε την Σπηλιανή στην Ιερά Μονή Παναγίας Χοζοβιωτίσσης της νήσου Αμοργού, της οποίας από τότε αποτελεί μετόχι.
Η Ιερά Μητρόπολις Σάμου και Ικαρίας γνωρίζοντας πολύ καλά το κοινό αίσθημα αγάπης και σεβασμού των Σαμίων προς της Ιερά Μονή Παναγίας Σπηλιανής, την οποία με τις προσφορές και δωρεές τους έχουν οικοδομήσει και συντηρούν, προέβη στην ενοικίαση του ιερού αυτού τόπου της νήσου μας και επιδεικνύει ιδιαίτερη φροντίδα και μέριμνα ώστε οι πιστοί χριστιανοί να μπορούν ανεμπόδιστα να επισκέπτονται την ιερά Μονή, να προσκυνούν της ιερά Εικόνα και να λαμβάνουν διά των πρεσβειών της Υπεραγίας Θεοτόκου την αγιαστική χάριν του Θεανθρώπου Λυτρωτού μας.
Ο προσκυνητής ανεβαίνοντας τα λίγα σκαλοπάτια της εισόδου της Ιεράς Μονής, εισέρχεται σε μια μικρή αυλή, όπου συναντά τα εντυπωσιακά πανύψηλα κυπαρίσσια, και το ταπεινό δίκλιτο ναΐσκο, στον οποίο το αριστερό κλίτος είναι καθιερωμένο προς τιμή των Εισοδίων της Θεοτόκου και το δεξιό κλίτος είναι καθιερωμένο προς τιμή του Αγίου μεγαλομάρτυρος Γεωργίου. ο Ναός αυτός είναι κτισμένος πάνω σε αρχαιότερα κτίσματα ανεξακρίβωτης ταυτότητος
Ο ιερότερος χώρος όμως του Μοναστηριού είναι το παρακείμενο σπήλαιο, το οποίο έχει πλάτος από 8 μέχρι 15 μέτρα και ύψος από 1,5 έως 4 μέτρα. Κατεβαίνοντας τα λίγα σκαλιά δεξιά στα ενδότερα του σπηλαίου, πενήντα μέτρα από την είσοδο, υπάρχει το αγίασμα και ο μικτός αρχαίος Ναός. Στο ταπεινό και πλακοσκεπή αυτόν ναό βρίσκεται εντοιχισμένη η αρχαία εικόνα της Υπεραγίας Θεοτόκου χωρίς όμως χρώματα λόγω της πολλής υγρασίας αλλά και ραγισμένη. Η χρονολογία κατασκευής της ιεράς Εικόνος χάνεται στα βάθη των αιώνων, ενώ για το ράγισμα η λαϊκή παράδοση διασώζει την εξής ιστορία: Πριν από πολλά χρόνια κάποιοι ξένοι από ευλάβεια ήρθαν με καΐκι και πήραν κρυφά στα μέρη τους το ιερό κειμήλιο, αλλά η Παναγία δεν ήθελε να εγκαταλείψει τη Σάμο. Καθώς λοιπόν έβγαζαν την εικόνα από το καΐκι, αυτή έπεσε στη θάλασσα με αποτέλεσμα να σπάσει σε πέντε κομμάτια. Τα τμήματα της εικόνος επιπλέοντας επέστρεψαν και πάλι στο νησί. Την βρήκαν οι πιστοί στην παραλία και με πολύ ευλάβεια την ξανάβαλαν και πάλι στη θέση της. Από τότε ονομάζουν τη εικόνα "Παναγία Καληαρμένισσα", αφού αρμενίζοντας γύρισε στο σπίτι της.
Τέλος, ο προσκυνητής αριστερά του Ναού θα συναντήσει σκαμμένη στο έδαφος τη μικρή δεξαμενή, όπου βρίσκεται και το αγίασμα του ιερού Προσκυνήματος.