Η αρχική δομή της βίλας Filitsa χτίστηκε από τον τουρκικό γενικό διοικητή της Κρήτης, Moustafa Pasa στην αρχή του 18$ου αιώνα. Σε εκείνο τον χρόνο η πρωτευουσα της Κρήτης περιστράφηκε μεταξύ Chania και Iraklion. Έτσι, όταν εμενε ο  Moustafa πασα στα Χανιά χρησιμοποιουσε αυτό το σπίτι  όπου έμεινε με τις συζύγους του και το προσωπικο.

Ο Μαθιος Μυλωνογιαννης ήταν ο ηγέτης των μαχητών ελευθερίας του Αποκορωνα κατά τη διάρκεια των τουρκικών πολέμων απελευθέρωσης. Ο αδελφός του Μαθιου Γιαννης αγόρασε αυτό το σπίτι από την ελληνική κυβέρνηση το 1923 και απο τοτε ανηκει στην οικογενεια. Το 1985 το υπουργείο πολιτισμού δήλωσε το σπίτι ένα εθνικό ιστορικό μνημείο.

Η εργασία αποκατάστασης άρχισε στο σπίτι τον Απρίλιο, του 2001 κάτω από την επίβλεψη του υπουργείου αρχαιολογίας. Πολλές από τις ίδιες τεχνικές οικοδόμησης  χρησιμοποιήθηκαν  κατά τη διάρκεια της αποκατάστασης .