Ο Πολύγνωτος Βαγής γεννήθηκε στην Ποταμιά της Θάσου και ο πατέρας του Χατζηγεωργίου ήταν ξυλουργός. Μετανάστευσε στη Νέα Υόρκη το 1911 και ασχολήθηκε με τη γλυπτική. Σπούδασε στο Ινστιτούτο Καλών Τεχνών και διατηρούσε εργαστήριο στη Νέα Υόρκη Πόλη για δεκαετίες.
Στα έργα του, χρησιμοποίησε πέτρα και τσιμέντο με έμφαση στίς απλοϊκές γραμμές, ένα παράδειγμα της σύνδεσής του με την πρωτόγονη τέχνη. Επικεντρώθηκε κυρίως σε μορφές ανθρώπων και ζώων και σε συνθέσεις όπως το φεγγάρι και ο κόσμος. Τα έργα του εκτίθενται στο Μουσείο Τέχνης Whitney, το Μουσείο Μοντέρνας Τέχνης Νέα Υόρκη (MOMA), το Εθνική Πινακοθήκη (Αθήνα), η Μουσείο Καλών Τεχνών του Χιούστον, το Δημοτικό Μουσείο Καβάλας, κ.λπ.
Το 1958 του απονεμήθηκε το Χρυσό Μετάλλιο Καλλιτεχνών Audubon και το 1962 με το Χρυσό Σταυρός του Φοίνικα.
Τα τελευταία χρόνια της ζωής του, κληροδότησε μεγάλο μέρος της συλλογής του στο ελληνικό κράτος. Σήμερα στη γενέτειρά του, την Ποταμιά Θάσου, υπάρχει ένα μουσείο που φέρει το όνομά του, και φιλοξενεί 98 γλυπτά και 15 πίνακες.
Πέθανε στις 15 Μαρτίου 1965 στη Νέα Υόρκη και κηδεύτηκε στην Ποταμιά Θάσου.