Fetsi yhdistetään yleensä Lähi-itään ja Pohjois-Afrikkaan, mutta sen todellisesta alkuperästä ei ole varmuutta.
Joidenkin lähteiden mukaan fetsin kaltaisia päähineitä käytettiin jo antiikin Kreikassa, kun taas jotkut lähteet väittävät fetsin olevan lähtöisin Balkanin niemimaalta.
Oli miten oli, suosituimpia fetsit olivat Ottomaanien valtakunnassa, joka ulottui laajimmillaan Egyptistä Itävaltaan asti.
Ottomaaneille fetsi symboloi uudenaikaisuutta, ja sitä käytettiin kaikkialla valtakunnassa – usein vanhanaikaiseksi mielletyn turbaanin tilalla.
Ajan mittaan fetsistä kuitenkin tuli konservatiivisuuden ja takapajuisuuden symboli, ja esimerkiksi Turkissa fetsi jopa kiellettiin ja korvattiin länsimaisilla hatuilla Ottomaanien valtakunnan romahduksen jälkeen vuonna 1922.
Fetsin nimi tulee Marokossa sijaitsevasta Fezin kaupungista, jossa tuotettiin fetsien värjäämiseen alun perin käytettyä väriainetta.