Duet Teen Mortgage pochodzi z Waszyngtonu i identyfikuje się z muzyką hardcore i dziedzictwem punka. Frontman James Guile stopniowo formował grupę pod różnymi nazwami, tworząc muzykę pełną komentarzy społeczno-politycznych, silnie inspirowaną punkiem lat osiemdziesiątych. Po przeprowadzce do Maryland dołączył do niego perkusista Edward Barakauskas.
Debiutancki album Devil Ultrasonic Dream na LP ukazał się nakładem wytwórni Roadrunner Records. Płyta oferuje zaangażowane teksty i odniesienia do paniki satanistycznej, która była obecna w muzyce rockowej w latach osiemdziesiątych. Przed wydaniem albumu grupa koncertowała z Weezer, OFF! i Smashing Pumpkins. Wśród jedenastu utworów wyróżniają się Devil Ultrasonic Dream, Personal Hell i Lose My Mind.