Το κάστρο έχει ένα απλό ορθογώνιο σχήμα, με έναν πύργο σε κάθε γωνία και τα ερείπια ενός ενετικού οικόσημο πάνω από την κεντρική πύλη. Τα κτίρια μέσα στα τείχη, καθώς και οι επάλξεις, κατασκευάστηκαν κατά τη διάρκεια της Οθωμανικής κατοχής. Η κατασκευή του φρουρίου μάλλον δεν εξυπηρετούσε τελικά ιδιαίτερα τους σκοπούς για τους οποίους χτίστηκε καθώς στην περιοχή των Σφακίων δεν επιβλήθηκε ποτέ  η τάξη, οι σκληροτράχηλοι Σφακιανοί ήταν ανυπότακτοι, μόνιμα επαναστατημένοι κι επιτίθονταν σε κάθε ευκαιρία στους στρατιώτες των κατακτητών. Αυτό είχε ως αποτέλεσμα πολύ μεγάλες απώλειες σε έμψυχο και άψυχο υλικό για τους Ενετούς κι έτσι υπάρχουν περίοδοι όπου το Φραγκοκάστελλο δεν είχε ούτε καν μια μικρή στρατιωτική φρουρά.

Επί τουρκοκρατίας το Φραγκοκάστελο συνέχισε να ερειπώνεται. Στα Ορλωφικά (1770) εκεί στρατοπέδευαν τα τούρκικα στρατεύματα που πολεμούσαν ενάντια στους επαναστατημένους Σφακιανούς.

Το 1828 νέα αναζωπύρωση της επανάστασης στην Κρήτη ενάντια στον τουρκικό ζυγό, φέρνει από την Ελλάδα στην Κρήτη, στα Σφακιά, τον βορειοηπειρώτη Χατζή Μιχάλη Νταλιάνη. Αυτός, με εθελοντικό στρατιωτικό σώμα 600 στρατιωτών, αποφασίζει να αντιμετωπίσει τα τούρκικα στρατεύματα σε ανοιχτή μάχη. Αγνοεί την άποψη των Σφακιανών για ανταρτοπόλεμο και μάλιστα τους βρίζει δειλούς.

Η απόφαση αυτή, να εγκαταλείψουν την πολεμική τακτική του κλεφτοπολέμου και να αντιταχθούν στον πολλαπλάσιο τακτικό τουρκικό στρατό στον επίπεδο κάμπο, στάθηκε ευνοϊκή για τους Τούρκους του Μουσταφά Ναϊλή πασά, διοικητή της Κρήτης. Έτσι από τους 600 Ελληνες του Χατζή Μιχάλη, οι 338 σκοτωθήκαν στη μάχη, μαζί τους κι ο ίδιος ο Χατζή Μιχάλης Νταλιάνης. Οι υπόλοιποι προλάβαν και κλειστήκαν στο Φραγκοκάστελο, όπου για μια εβδομάδα οι Τούρκοι όσο σκληρά κι αν πολεμήσαν, δεν καταφέρανε να το πάρουν. Στο μεταξύ, οι Σφακιανοί αντάρτες μαζευόνταν σαν ακρίδες στα γύρω βουνά. Ο Τούρκος πασάς κατάλαβε τον κίνδυνο για το ασκέρι του και πρότεινε συνθηκολόγηση στους πολιορκημένους. Πράγματι, οι εναπομείναντες Έλληνες του Χατζή Μιχάλη, του παρέδωσαν το κάστρο και έφυγαν. Ο Μουσταφά πασάς, ανατίναξε το ερειπωμένο φρούριο για να μην χρησιμοποιηθεί ξανά ως οχυρό επαναστατών.

Αργότερα, όμως, στη διάρκεια της μεγάλης Κρητικής επανάστασης (1866-1869) αναγκάστηκε να το ανακατασκευάσει για τον καλύτερο έλεγχο του νησιού.

Το Φραγκοκάστελο έπεσε σε αχρηστία μετά την απελευθέρωση της Κρήτης και σήμερα στέκει για να θυμίζει την αιματοβαμμένη  ιστορία του, που αναβιώνει κάθε χρόνο μέσα από το θρύλο των φαντασμάτων που το στοιχειώνουν, τους περίφημους Δροσουλίτες.

Κάθε χρόνο, το Μάη, στο Φραγκοκάστελο συμβαίνει ένα περίεργο φαινόμενο. Εμφανίζονται ιππείς και στρατιώτες, που βαδίζουν από την ερειπωμένη εκκλησία του Αγίου Χαραλάμπους προς το οχυρό. Φθάνουν στη θάλασσα και εξαφανίζονται σε αυτή, με τις πρώτες ακτίνες του ήλιου. Το φαινόμενο συνήθως διαρκεί περίπου 10 λεπτά. Το φαινόμενο αυτό είναι γνωστό ως “οι δροσουλίτες”, ακριβώς γιατί συμβαίνει με τη δροσιά της αυγής. Κάποιοι εξηγούν το φαινόμενο, ως ένα μετεωρολογικό παράδοξο, που φέρνει αντικατοπτρισμούς από την Αφρική. Μια άλλη θεωρία είναι ότι πρόκειται για μια οφθαλμαπάτη που οφείλεται στην διάθλαση των ακτίνων του ήλιου στην πρωινή ομίχλη. Αλλά, τέτοιες εξήγησεις, δε μοιάζουν ιδιαίτερα πειστικές, αφού, όσοι έχουν δει τους “Δροσουλίτες” -και είναι πάρα πολλοί- περιγράφουν πάντα την ίδια ακριβώς εικόνα των στρατιωτών που βαδίζουν προς τη θάλασσα και όχι αοριστίες.

Λέγεται ότι, το 1890, Τούρκοι στρατιώτες στο Φραγκοκάστελο πανικοβλήθηκαν όταν είδαν τους Δροσουλίτες. Πολλά χρόνια αργότερα, όταν οι Γερμανοί κατέλαβαν την Κρήτη, ένα στρατιωτικό απόσπασμα είδε τα φαντάσματα και, μπερδεύοντας τους για μαχητές της αντίστασης, άνοιξαν πυρ εναντίον τους.