Γεννήθηκε στις 10 Μαΐου του 1905 στο συνοικισμό Σκαλί της Άνω Χώρας της Σύρου από οικογένεια Καθολικών (για τον λόγο αυτό αργότερα απέκτησε και το παρατσούκλι «Φράγκος»). Οι γονείς του ήταν φτωχοί αγρότες και ήταν ο πρωτότοκος από έξι αδέλφια. Ο παππούς του έγραφε τραγούδια και ο πατέρας του έπαιζε ζαμπούνα, ενώ από μικρή ηλικία ο μικρός Μάρκος συνόδευε τον τελευταίο παίζοντας τουμπί (νησιώτικο τύμπανο) σε διάφορα πανηγύρια. Λόγω της κακής οικονομικής κατάστασης της οικογένειάς του, ο Μάρκος αναγκάστηκε να αφήσει το σχολείο και να εργαστεί ως λούστρος, εφημεριδοπώλης, εργάτης σε κλωστήρια, βοηθός σε οπωροπωλεία κ.ά.

Το 1917 σε ηλικία 12 ετών έφυγε από τη Σύρο, αφού έριξε άθελά του ένα βράχο πάνω στη σκεπή ενός σπιτιού και πήγε στον Πειραιά, όπου αργότερα τον ακολούθησε και η οικογένειά του. Εκεί ασχολήθηκε με διάφορα επαγγέλματα, όπως λιμενεργάτης (φορτοεκφορτωτής, εργάτης γαιανθράκων στα λεγόμενα «καρβουνιάρικα») και περίπου από το 1925 μέχρι το 1935 ως εκδορέας στα δημοτικά σφαγεία Πειραιά και Αθηνών.

Στα 21 του έκανε τον πρώτο του γάμο. Παντρεύτηκε την Ελένη Μαυροειδή, τη Ζιγκουάλα όπως την αποκαλούσε.

Εκείνη την εποχή, σύμφωνα με την αυτοβιογραφία του άκουσε κατά τύχη το Νίκο Αϊβαλιώτη να παίζει μπουζούκι, γεγονός που τον συνεπήρε και άλλαξε τη ζωή του και άρχισε να μαθαίνει μπουζούκι και να γράφει τα πρώτα του τραγούδια.

Το 1937 συμβιβάζεται με τη λογοκρισία του καθεστώτος Μεταξά και προσαρμόζει τους στίχους του αφαιρώντας το βαρύ χασικλίδικο ύφος, κάτι που έπειτα από χρόνια αναγνωρίζει ο ίδιος πως ήταν μια δημιουργική μεταστροφή. Ήταν τόσο δημοφιλής που στη μια από τις τρεις φορές που επισκέφτηκε τη Θεσσαλονίκη και έδωσε συναυλία συγκεντρώθηκε για να τον ακούσει 50 000 κόσμος στην πλατεία του Λευκού Πύργου. Στο τραγούδι «Το 1912» υμνεί τη Θεσσαλονίκη, ενώ παραδόξως ως τότε δεν είχε κάνει ούτε μια αναφορά σε κάποιο τραγούδι του για τον Πειραιά, την πόλη όπου ζούσε και δημιουργούσε. Κατά τη διάρκεια του Ελληνοϊταλικού πολέμου ερμηνεύει δικά του τραγούδια, αλλά και του Σπύρου Περιστέρη, με στίχους προσαρμοσμένους στο ελληνοϊταλικό έπος («Γειά σας φανταράκια μας», «Το όνειρο του Μπενίτο» κ.ά.

απεβίωσε στις 8 Φεβρουαρίου του 1972 σε ηλικία 66 ετών, στο διαμέρισμα όπου κατοικούσε στη Νίκαια, συνεπεία νεφρικής ανεπάρκειας που του δημιούργησε ο σακχαρώδης διαβήτης. Την επόμενη μέρα του θανάτου του, κηδεύτηκε στο Γ’ Νεκροταφείο Αθηνών στη Νίκαια, όπου ενταφιάστηκε κανονικά παρουσία καθολικών ιερέων, παρόλο που η Καθολική Εκκλησία τον είχε αφορίσει το 1966, λόγω του δεύτερου γάμου του. Όπως δήλωσε σε γνωστή τηλεοπτική εκπομπή ο γιος του Μάρκου Δομένικος, για την κηδεία του πατέρα του η οικογένειά του αναγκάστηκε να καταφύγει σε δάνειο προκειμένου να καλύψει τα έξοδά της.