Ο Γιώργος Πάντζας γεννήθηκε στο Παγκράτι στις 22 Φεβρουαρίου 1937. Ήταν το μοναδικό παιδί των γονιών του. Ο πατέρας του, Σπύρος, ήταν ποιητής, αλλά πέρασε λόγω των πολιτικών του φρονημάτων 17 χρόνια εξόριστος. Λόγω της απουσίας του πατέρα του μεγάλωσε στην Καισαριανή με το θείο του, γυμνασιάρχη Αναγνωστόπουλο. Βγήκε από νωρίς στη βιοπάλη εργαζόμενος σε ένα κατάστημα υφασμάτων. Πέρασε με άριστα στη Δραματική Σχολή του Εθνικού Θεάτρου και φοίτησε επίσης στην Ανώτερη Σχολή Κινηματογράφου. Με τη σύζυγό του Στέλλα έχει αποκτήσει δύο παιδιά, την Καίτη και τον επίσης ηθοποιό, Σπύρο.
Στη φωτογραφία με τον γιο του: