Grad je od 1. do 4. veka nove ere značajan administrativni centar rimske provincije Pannonia Secunda (kraj 3. veka), povremena carska rezidencija i moćno vojno uporište za odbranu od varvarskih plemena. U drugoj polovini 1. veka, Sirmium je uzdignut na najviši gradski rang - koloniju, a u njegovu širu teritoriju uključena su mnoga naselja u Sremu. Krajem 4. veka u oblast Sirmiuma prodiru varvari Goti, Huni, Gepidi, a posle avarskog napada stanovništvo je raseljeno, a grad stradao u požaru.

Arheološka istraživanja otkrila su veliki deo starog naselja. Do sada je istraženo 74 lokaliteta. Antički grad je bio prostran, okružen bedemima i rovovima unutar kojih se nalazila carska palata, javno kupatilo, hipodrom, nekropola, horeum, trgovački i zanatski centar čiji ostaci su vidljivi i danas. Mozaici, a posebno freske i skulpture otkrivene na području današnje Sremske Mitrovice, imaju visoke umetničke kvalitete i pokazuju da su u Sirmiumu radili prvorazredni dekorateri i umetnici.