Geeni- ja kielentutkimuksen perusteella romanit ovat lähtöisin Pohjois-Intiasta, ja he itse kutsuvat Intiaa yhä nimellä Baro Than eli ”suuri kotimaa”.
Romanit alkoivat lähteä joukolla liikkeelle luultavasti 500-luvulla, ja myöhemmin lähtöaaltoja käynnistivät tutkimusten perusteella muslimien valloitukset vuoden 1000 tienoilla. Monet romanit asettuivat asumaan Itä-Rooman alueelle ja Balkanille.
Kun ottomaanit seuraavina vuosisatoina valloittivat suuria osia Itä-Roomasta, romanit hajaantuivat ympäri Eurooppaa ja heitä vainottiin lähes kaikkialla.
Varhaisimmat eurooppalaiset maininnat romaneista ovat peräisin irlantilaismunkki Symon Semeonikselta, joka tapasi vuonna 1322 romaneja Kreetalla ja kuvasi heitä Raamatun Kainin jälkeläisiksi.
Noin vuodesta 1360 vuoteen 1815 romaneilla oli käytännössä itsehallinto Feudum Acinganorumiksi kutsutulla alueella Korfulla Kreikassa.
Muista maista heidät yleensä karkotettiin, ja esimerkiksi Tanskassa ja Englannissa heitä uhkasi rikkeistä kuolemantuomio.
Kun romanit vuoden 1390 kieppeillä saapuivat Romaniaan, työvoiman tarve oli siellä niin suuri, että aateli alkoi pitää heitä orjinaan.
Orjuus kiellettiin Romaniassa vasta vuonna 1864. Maailman kaikkiaan 15–18 miljoonasta romanista noin 2,5 miljoonaa asuu nykyään Euroopassa.