Duet Teen Mortgage pochodzi z Waszyngtonu D.C. i nawiązuje do hardcore'u oraz punkowego dziedzictwa. Lider James Guile kształtował zespół stopniowo pod różnymi nazwami, tworząc muzykę pełną społeczno-politycznych komentarzy, silnie inspirowaną punkiem lat osiemdziesiątych. Kiedy przeprowadził się do stanu Maryland, dołączył do niego perkusista Edward Barakauskas.
Debiutancki album Devil Ultrasonic Dream ukazał się nakładem wytwórni Roadrunner Records. Płyta oferuje zaangażowane teksty i odniesienia do paniki satanistycznej, która była obecna w muzyce rockowej lat osiemdziesiątych. Przed wydaniem albumu duet koncertował z Weezer, OFF! czy Smashing Pumpkins, a także wydał kilka singli i EP. Na albumie znalazły się utwory takie jak Ride, Possessed czy Personal Hell.
