Χτυπάμε στο μίξερ τους κρόκους με τη ζάχαρη για 6 λεπτά σε μεγάλη ταχύτητα, μέχρι να γίνουν ένα μίγμα άσπρο και αφράτο. Προσθέτουμε το μπράντι και χτυπάμε λίγο ακόμα.
Αναμιγνύουμε το σιμιγδάλι με τη φρυγανιά, το μπέικιν πάουντερ, την κανέλα, το γαρίφαλο και το ξύσμα λεμονιού ή πορτοκαλιού και προσθέτουμε το μίγμα στο μπολ με τους κρόκους ανακατεύοντας καλά. Τέλος, προσθέτουμε και τα καρύδια και ανακατεύουμε για να ενσωματωθούν.
Σε ξεχωριστό μπολ χτυπάμε τα ασπράδια σε σφιχτή μαρέγκα και με μια σπάτουλα την ενσωματώνουμε στο πρώτο μίγμα με μεγάλες κινήσεις για να μη χαθεί ο αέρας της και να γίνει αφράτο.
Βουτυρώνουμε ένα μέτριο μακρόστενο ταψί και το πασπαλίζουμε με τριμμένη φρυγανιά. Στρώνουμε το μίγμα στο ταψί ομοιόμορφα και ψήνουμε την καρυδόπιτα στους 180°C στον αέρα ή στους 200°C σε φούρνο πάνω κάτω για 45-50 λεπτά, μέχρι να πάρει χρώμα και να στεγνώσει καλά. Τη βγάζουμε από το φούρνο και, όταν κρυώσει, την κόβουμε σε ρόμβους.
Όσο ψήνεται η πίτα φτιάχνουμε και το σιρόπι: βάζουμε τη ζάχαρη με το νερό σε κατσαρόλα σε μέτρια φωτιά. Όταν πάρουν βράση, προσθέτουμε το λεμόνι και βράζουμε για 7 λεπτά. Περιχύνουμε την κρύα καρυδόπιτα με καυτό σιρόπι και αφήνουμε να απορροφηθεί καλά.