Silloin kun Rooma vielä oli vain yksi monista italialaisista pikkuvaltioista, sen sotilaat taistelivat Välimeren alueen klassisin sotamenetelmin eli pitkillä keihäillä tiiviissä muodostelmissa.
Miekka otettiin käyttöön Rooman armeijassa 200-luvun eaa. lopussa Iberian niemimaalla asuvia ja Rooman arkkivihollisen Karthagon kanssa liittoutuneita kelttiläisiä keltiberejä vastaan käytyjen veristen sotien jälkeen.
Keltiberien lyhyet ja terävät miekat olivat osoittautuneet sodassa erittäin tehokkaiksi, ja niin roomalaiset alkoivat keihään sijaan käyttää samantyyppistä miekkaa.
Ase sai nimen gladius, joka oli latinalaistettu muoto kelttien miekkaa tarkoittavasta sanasta.
Sen terä oli vain 45–70 senttiä pitkä, sillä sitä käytettiin edelleen tiiviissä muodostelmassa, jossa ei ollut tilaa heilutella kovin pitkää miekkaa.
Roomalaisten lyhyt mutta teräväkärkinen miekka gladius sopi tiiviissä muodostelmassa käytäviin taisteluihin.
Samasta syystä sitä käytettiin pääasiallisesti vain pistoaseena. Legioonalaiset pyrkivät pistämään miekalla oman kilpensä sivuitse tai yli vihollista vatsaan, missä haava saattoi olla kohtalokas.
Gladius todisti tehonsa muun muassa Makedoniaa vastaan Kynoskefalain taistelussa vuonna 197 eaa.
Makedonialaiset ajettiin epätasaiseen maastoon, missä heidän oli vaikea käyttää nelimetrisiä keihäitään, ja roomalaiset teurastivat heidät miekoillaan.
100-luvun lopulla jaa. gladius alkoi korvautua pidemmällä spatha-miekalla.