Ο Παναθηναϊκός δημιούργησε για πρώτη φορά τμήμα πόλο το 1948, με τον σύλλογο να αποτελεί παρελθόν μόλις λίγο καιρό μετά, καθώς η έλλειψη κολυμβητηρίου οδήγησε στη διάλυση της ομάδας.
Το 1948 το Τριφύλλι πήρε μέρος στο Πανελλήνιο πρωτάθλημα, όπου γνώρισε δύο ήττες στον προκριματικό όμιλο από τον Ολυμπιακό (5-2) και το Παλαιό Φάληρο (11-0), με αποτέλεσμα να αποκλειστεί από τη διοργάνωση.
Τα επόμενα χρόνια παρ’ όλο την ενδυνάμωση της ομάδας, οι “πράσινοι” δεν κατέβασαν ομάδα πόλο.
Φυσικά, το 1950 ξεκίνησε η κατασκευή κολυμβητηρίου στο γήπεδο της Λεωφόρου, κάτι που σήμαινε πως αργά ή γρήγορα το Τριφύλλι θα έφτανε στις νίκες… κάτι που έγινε το 1960 με την επανίδρυση του τμήματος και τη συμμετοχή του στο πρωτάθλημα Γ’ κατηγορίας το οποίο και κατέκτησε.
Οι επιτυχίες για τον Παναθηναϊκό συνεχίστηκαν μόλις ένα χρόνο μετά, όπου κατέκτησε το Πανελλήνιο πρωτάθλημα Β΄ κατηγορίας, κάτι που σήμαινε πως το 1962 το Τριφύλλι αγωνιζόταν πλέον στα σαλόνια της υδατοσφαίρισης, δηλαδή στην Α’ κατηγορία, όπου κατέκτησε την 5η θέση. Ένα χρόνο αργότερα (1963), οι “πράσινοι” κατέκτησαν και πάλι την 5η θέση, ενώ τις επόμενες δυο σεζόν κατάφεραν να τερματίσουν στις θέσεις 4η και 5η θέση αντίστοιχα.
Το 1972 η ομάδα Νέων του Τριφυλλιού κατέκτησε το πρωτάθλημα Ελλάδας, με αποτέλεσμα την αναγνωρισιμότητα του συλλόγου ακόμα περισσότερο. Μέλη της ομάδας αυτής της περιόδου ήταν και ο γνωστός ηθοποιός, Γιάννης Μποσταντζόγλου, καθώς και ο αδερφός του Κώστας, ο οποίος πλέον είναι θεατρικός συγγραφέας.
Έως το 1975 ο Παναθηναϊκός με πρωταγωνιστές τους Ιωακείμ Μαρσέλο, Κώστα Κασιδόκωστα και Πέτρο Πομώνη είχε καθιερωθεί στην τρίτη θέση του πρωταθλήματος . Το 1975 όμως έρχεται η απόσυρση από το πρωτάθλημα με αποτέλεσμα τον αυτόματο υποβιβασμό.
Το 1977 και μετά την απόσυρση του 1976, το Τριφύλλι επιστρέφει στην αγωνιστική δράση και μετέχει στη νεοσύστατη Β΄ Εθνική, όπου και κατακτά άμεσα την άνοδο του και πάλι στην Α’ Εθνική, τερματίζοντας 4ο. Το 1979 τερματίζει στην 7η θέση και παραμένει στην Α΄ κατηγορία μετά από αγώνες μπαράζ με αντιπάλους τους ΠΑΟΚ και Καλαμάκι, καθώς ένα χρόνο αργότερα (1980) τερματίζει στην 4η θέση και κερδίζει για 1η φορά τον Ολυμπιακό με σκορ 3-2.
Το 1981 για μια ακόμα φορά καταφέρνει τα τερματίσει στη 4η θέση, το 1982 5ος, το 1983 3ος, το 1984 4ος και το 1985 5ος. Το 1986 ο Παναθηναϊκός δημιουργεί ομάδα με στόχο την κατάκτηση καλύτερης θέσης από την 3η, και αρχίζει πλέον να ψάχνει την ομάδα που θα κάνει αυτό το ένα βήμα παραπάνω για την ολοκλήρωση του ονείρου!
Οι “πράσινοι” διεκδικούν τον τίτλο μέχρι τέλους, αλλά η ήττα από την Γλυφάδα με 6-5 τον βγάζει εκτός και τερματίζει 4ος. Ένα χρόνο μετά (1987) με εντελώς ανανεωμένη ομάδα τερματίζει στην 6η θέση, ενώ το 1988 τερματίζει 7ος και παραμένει στην Α1 μετά από αγώνα μπαράζ με τα Χανιά. Το 1989 καταλαμβάνει για ακόμα μια φορά την 5η θέση και το 1990 την 4η.
Το καλοκαίρι της ίδιας χρονιάς γίνεται μια ιδιότυπη «ανταλλαγή» του αρχηγού τότε του ΠΑΟ αλλά και της εθνικής ομάδας, Δημήτρη Σελετόπουλου, με τον μπασκετμπολίστα Φραγκίσκο Αλβέρτη και η ομάδα υδατοσφαίρισης αποδυναμώνεται. Το 1991 καταλαμβάνει την 8η θέση μεταξύ 10 ομάδων και παραμένει στην Α1, καθώς το 1992 κατέλαβε τη 10η και τελευταία θέση, αλλά λόγω της αύξησης των ομάδων της Α1 σε 12, κερδίζει την παραμονή του μετά από αγώνες μπαράζ. Ένα χρόνο αργότερα, το 1993, έρχεται ο πρώτος αγωνιστικός υποβιβασμός στην ιστορία του τμήματος, καθώς υστερούσε στην ισοβαθμία με τον Ποσειδώνα Ιλισίων που παρέμεινε στην Α1.
Το 1994 και το 1995 ο Παναθηναϊκός αγωνίζεται και πάλι στην Α2, τερματίζοντας 10ος και 12ος αντίστοιχα. Το 1995 μάλιστα τερμάτισε στην τελευταία θέση με 22 ήττες σε ισάριθμους αγώνες, και υποβιβάστηκε στη Β΄ Εθνική. Το 1996 κερδίζει το πρωτάθλημα της Β’ εθνικής με το απόλυτο των νικών (15), ενώ το 1997 είναι 3ος στην Α2 (χάνει την άνοδο στην διαφορά τερμάτων) και το 1998 κερδίζει την άνοδο στην Α1 ως πρώτος. Τη σεζόν 1998-99 με πρωταγωνιστή τον κορυφαίο “πράσινο” σκόρερ του ελληνικού πρωταθλήματος, Ντμίτρι Απανασένκο, αναδεικνύεται 5ος, ενώ την επόμενη χρονιά (1999-00) με πρωταγωνιστές τους Τεο Λοράντο, Τάσο Παπαναστασίου και Κώστα Λούδη κατακτά την 4η θέση, ενώ για πρώτη φορά εξασφαλίζει την έξοδο του στην Ευρώπη.
Το 2001 τερματίζει και πάλι 4ος, όπως και το 2002, όταν παρέμεινε αήττητος εντός έδρας, ενώ κέρδισε τον πρωταθλητή Ολυμπιακό στο πρωτάθλημα και το κύπελλο με πρωταγωνιστή τον Κρις Χάμπερτ, ο οποίος αναδείχθηκε παράλληλα πρώτος σκόρερ του πρωταθλήματος.
Το 2003 η φυγή λόγω οικονομικών προβλημάτων πολλών παικτών, οδηγεί την ομάδα στην Α2, όμως αμέσως επανέρχεται στην Α1 όπου αγωνίζεται το 2005, για να υποβιβαστεί και πάλι. Το 2006 κατέλαβε τη 2η θέση στην Α2 και το 2007 βρίσκεται και πάλι στην Α1. Τις αγωνιστικές περιόδους 2006-2007 και 2007-2008 αγωνίζεται για την παραμονή στην Α1 κατηγορία.
Το 2009 το Τριφύλλι κατακτά τη 5η θέση αλλά και την έξοδο του στο Λεν Τρόφι. Στο κύπελλο αγωνίστηκε φτάνοντας στο φάιναλ φορ, όπου ηττήθηκε από τον Ολυμπιακό με 8-4 στον ημιτελικό.
Το 2010 κατέλαβε την 6η θέση του πρωταθλήματος, ενώ παράλληλα έφτασε για ακόμα μια φορά στο φάιναλ φορ του κυπέλλου, όπου αποκλείστηκε στον ημιτελικό από τον Πανιώνιο, με σκορ 7-6.
Όσον αφορά τα Ευρωπαϊκά του καθήκοντα, ο Παναθηναϊκός προκρίθηκε στη δεύτερη φάση του Λεν Τρόφι, τερματίζοντας 3ος σε όμιλο 7 ομάδων.
Την περίοδο 2010-11 ο Νίκος Πατέρας. όντας πρόεδρος του ποδοσφαιρικού τμήματος, ενισχύει οικονομικά το τμήμα πόλο βγάζοντας τον σύλλογο από το αδιέξοδο. Με την στήριξη αυτή αποκτήθηκαν 2 σπουδαίοι αθλητές, τα αδέρφια Γιώργος και Ζάχος Αφρουδάκης και ο σύλλογος έθεσε υψηλότερους στόχους για τη συνέχεια.
Η σεζόν κρίθηκε επιτυχημένη, καθώς ο Παναθηναϊκός τερμάτισε στην τρίτη θέση , εξασφαλίζοντας για πρώτη φορά το δικαίωμα να αγωνιστεί στο Τσάμπιονς Λιγκ, ενώ στο κύπελλο Ελλάδας αγωνίστηκε στο φάιναλ φορ για τρίτη φορά.
Το διάστημα 8 με 11 Σεπτεμβρίου του 2011, ο Παναθηναϊκός συμμετείχε για πρώτη φορά στην ιστορία του στο Τσάμπιονς Λιγκ. Στους αγώνες για την Α΄ προκριματική φάση σημείωσε την πρώτη του νίκη επί της Χαρκόφ στις 8 Σεπτεμβρίου, ενώ στις 10 Σεπτεμβρίου σημείωσε τη μεγαλύτερη νίκη της ιστορίας του, καθώς επικράτησε της Πρωταθλήτριας Ευρώπης του 2009, Πρίμορατς Κότορ, με 11-8 μέσα στην έδρα της.
Τις επόμενες δύο αγωνιστικές περιόδους ο Παναθηναϊκός (στην Α1) θα καταλάβει την 4η θέση το 2012 και την 5η θέση το 2013 θέση, ενώ το 2014 κατέκτησε την τρίτη θέση.
Το 2015, υπό τις οδηγίες του Κώστα Λούδη, πραγματοποίησε την καλύτερή του σεζόν, καθώς κατάφερε να φτάσει για πρώτη φορά στον τελικό του Πρωταθλήματος και του Κυπέλλου Ελλάδας, κατακτώντας και στους δύο τη δεύτερη θέση.
Το καλοκαίρι του 2017 η ομάδα αποφάσισε να δηλώσει συμμετοχή στο πρωτάθλημα της Α2 εθνικής κατηγορίας, λόγω οικονομικών προβλημάτων, ενώ κατάφερε να κερδίσει την άνοδο της το 2018, όντας αήττητη.
