Η οριστική διαμόρφωση του κάστρου έγινε από τους Φράγκους. Οι πρώτοι που εποίκισαν το Άργος ήταν οι Πελασγοί και οι ονομασίες είναι πελασγικές. «Άργος» σημαίνει κάμπος και «Λάρισα» σημαίνει ακρόπολη.
Η βάση του σε ορισμένα σημεία έχει ογκόλιθους, που μας θυμίζουν τα κυκλώπεια τείχη. Τον 5ο και 6ο αι. π.Χ. οι Αργείοι επισκεύασαν και συμπλήρωσαν το τείχος. Τον 10ο αι. μ.Χ. κτίστηκε το μεσαιωνικό κάστρο και υπήρξε για τους Βυζαντινούς από τις πιο σημαντικές οχυρώσεις στην Πελοπόννησο.
Το 1203 περιήλθε στη δικαιοδοσία του άρχοντα του Ναυπλίου Λέοντα Σγουρού. Το 1212 κυριεύτηκε τους Φράγκους οι οποίοι το ανακατασκεύασαν και του έδωσαν τη σημερινή του μορφή. Το 1394 πουλήθηκε στους Ενετούς . Και το 1463 έπεσε στα χέρια των Οθωμανών μέχρι το 1822. Στα χρόνια της Ελληνικής Επανάστασης οι Έλληνες κράτησαν το κάστρο μέχρι τις 24 Ιουλίου του 1822 οπότε και έπεσε στα χέρια του Δράμαλη. Μέσα στο κάστρο υπάρχει σταυρεπίστεγη εκκλησία του 12ου αιώνα .
Κηρύχθηκε διατηρητέο μνημείο το 1992 (ΦΕΚ 28 Α/1922). Το κάστρο με την πάροδο του χρόνου έχει υποστεί μεγάλες φθορές μιας και στο πόλεμο του 1940 τα γερμανικά στούκας το βομβάρδισαν για τον φόβο των ανταρτών.Στο κάστρο έχει ξεκινήσει πρόγραμμα συντήρησης και ανάδειξής του, μέσω του προγράμματος ΕΣΠΑ με προϋπολογισμό 945.000 ευρώ.
