Harmonikka sai nykyisen muotonsa 1800-luvulla. Sen keksijäksi mainitaan saksalainen Friedrich Buschmann, joka kehitti vuonna 1822 eräänlaisen huuliharpun, jossa oli palkeet.
Buschmann mainitsee soittimen muistiinpanoissaan, mutta hän ei koskaan patentoinut keksintöään.
Ensimmäinen harmonikkapatentti myönnettiin armenialaiselle pianoja ja urkuja valmistaneelle Cyrill Demianille vuonna 1829.
Harmonikalla on säestetty tanssia jo 1800-luvulla.
Demianin patentin jälkeen kehitettiin useita erilaisia harmonikkatyyppejä, ja soittimesta tuli nopeasti hyvin suosittu eri puolilla Eurooppaa.
Eurooppalaiset siirtolaiset veivät soittimen mukanaan Pohjois- ja Etelä-Amerikkaan 1800-luvun puolivälissä.
Sitä pidettiin kansanomaisempana soittimena kuin viulua ja pianoa, ja sillä soitettiin paikallista musiikkia, kuten polkkaa ja tangoa.
Klassisen musiikin harjoittajat suhtautuivat harmonikkaan torjuvasti. Tanskassa kirjoitettiin vuonna 1865 seuraavasti:
”Harmonikka on kauhistuttava soitin, jolla varustautuneet keskenkasvuiset pojankoltiaiset tekevät kaduista turvattomia.”