Εἶναι ἄγνωστο, πότε ἄθλησε ὁ Ἅγιος Μάρτυς Κελεστίνος.Κηρύττοντας μὲ παρρησία τὸ Εὐαγγέλιο καὶ καλώντας τοὺς εἰδωλολάτρες νὰ πιστέψουν στὸν Χριστὸ γιὰ τὴν σωτηρία τους,καταγγέλθηκε ὡς ὑβριστὴς καὶ ἀνατροπέας τῆς εἰδωλολατρικῆς θρησκείας. Ἀνακρινόμενος,δὲν δίστασε νὰ καταγγείλει καὶ πρὸς αὐτὸν τὸν ἄρχοντα τὸ ψεῦδος τῆς πολυθεΐας.Ἀφοῦ ἀρνήθηκε,τέλος,νὰ θυσιάσει στὰ εἴδωλα,βασανίσθηκε σκληρὰ μὲ πυρακτωμένα σίδερα καὶ τελειώθηκε στὴ Ρώμῃ,ὅπου φυλάσσονται καὶ τὰ ἱερὰ λείψανα αὐτοῦ.