Αφήνουμε αποβραδίς τις σταφίδες να μουλιάσουν στο κονιάκ και την επομένη ανακατεύουμε το μείγμα αυτό με τα φρουί γλασέ, τα δαμάσκηνα και το ξύσμα πορτοκαλιού. Σ’ ένα μπολ βάζουμε την κανέλα, το γαρίφαλο, το μοσχοκάρυδο, το αλεύρι, την πούδρα αμυγδάλου, το αλάτι και το baking powder κι ανακατεύουμε.
Ακολούθως ρίχνουμε στο μίξερ τον βούτυρο και τη ζάχαρη μέχρι να αφρατέψουν ελαφρώς. Προσθέτουμε σταδιακά τα αβγά μας και συνεχίζουμε το κτύπημα ενώ ρίχνουμε σταδιακά στο μείγμα και το γάλα. Στο μίξερ προσθέτουμε και το μείγμα με το αλεύρι και συνεχίζουμε να ανακατεύουμε σε χαμηλή ταχύτητα. Τέλος προσθέτουμε και το μείγμα των αποξηραμένων φρούτων με το κονιάκ. Βουτυρώνουμε και αλευρώνουμε μία φόρμα μπομπέ, βάζουμε μέσα το μείγμα μας και καλύπτουμε καλά με μεμβράνη.
Τοποθετούμε τα ¾ της φόρμας μας σε μπεν μαρί και ψήνουμε σε μεσαία φωτιά για 4 περίπου ώρες.
Ελέγχουμε με το μαχαιράκι μας αν έχει ψηθεί και σερβίρουμε πασπαλίζοντας με λίγη ζάχαρη άχνη.