Nel corso dei secoli l'attuale piazza fu nota con varie denominazioni: inizialmente (XVII sec.) Lindenmarkt ("Mercato dei Tigli"), poi Mittelmarkt ("Mercato di mezzo") o Friedrichstädter Markt ("Mercato di Friedrichstadt") fino al 1786, per poi diventare Neuer Markt ("Mercato Nuovo"). Il nome attuale risale al 1799 e deriva dalla presenza delle stalle del reggimento dei corazzieri della Gens d'armes, che il re Federico Guglielmo I di Prussia aveva fatto erigere qui nel 1736.

 

La piazza fu allestita a partire dal 1688 secondo i piani di Johann Arnold Nering come parte della nuova Friedrichstadt, la "Città Federiciana", con cui il principe elettore Federico III, futuro Federico I re in Prussia, volle espandere la città sulla sponda sinistra del fiume Sprea. In questo quartiere storico si stabilirono molti immigrati francesi (ugonotti), ai quali Federico Guglielmo I, il "Grande Elettore", aveva garantito libertà religiosa e pieni diritti civili con l'editto di Potsdam (1685).

 

Federico I destinò la piazza alla costruzione di una chiesa per ciascuna delle due comunità religiose del luogo (luterana e francese riformata). Le due chiese vennero edificate a partire dal 1701, tuttavia senza le torri, che furono un'aggiunta successiva. La piazza raggiunse il suo aspetto odierno sotto Federico il Grande, con la costruzione delle cupole gemelle (1780-1785) secondo i disegni di Carl von Gontard. Per la realizzazione della nuova piazza Federico II s'ispirò alla piazza del Popolo di Roma, anche se Laurenz Demps ne dubita.

 

Federico II fece radere al suolo le stalle nel 1773 e la piazza venne completamente rifatta secondo i piani di Georg Christian Unger, con l'aggiunta di edifici a tre piani. Tra le due chiese venne costruito un piccolo teatro comico francese, poi sostituito nel 1800-1802 da un Teatro Nazionale da 2000 posti. Quest'ultimo teatro, che era stato disegnato dall'architetto Carl Gotthard Langhans, venne però distrutto da un incendio nel 1817: fu così che Karl Friedrich Schinkel presentò il progetto dell'attuale Konzerthaus, che fu eretto nel 1821 a coronamento dell'architettura del Gendarmenmarkt.

 

La statua di Schiller davanti al Konzerthaus è un'opera di Reinhold Begas e la prima pietra venne posata il 10 novembre 1859 in occasione del centenario della nascita del grande poeta. La statua fu poi completata dodici anni dopo e tra il 1871 ed il 1936 diede il nome di Schillerplatz a questa parte della piazza.

 

Dal 1950 al 1991 l'intera piazza portò il nome di Platz der Akademie.