Група була заснована гітаристом Ріхард Круспе, емігранти з ГДР, після його повернення на батьківщину в місто Шверин. Усі члени групи - з колишньої Німецької Демократичної Республіки, зокрема Східного Берліна та Шверин. Круспе, шанувальник Kiss, шукав можливості поєднати улюблений ім хард-рок з електронним звучанням індастріала. Для цього він обьедініл зусилля зі своїми сусідами Олівером Ріделем (бас-гітара) та Крістофа Шнайдером (ударні). Пізніше Ріхард познайомився з починаючим спортсменом Тілем Ліндеманном, що добре співав і вмів писати вірші, і запросив його в групу.

Назва групи було складено з слів - Ramm (тара) і Stein (камінь), і одночасно відсилає до назви міста Рамштайн-Мізенбах, де, на військовій базі НАТО в час авіашоу в 1988 році сталася аварія з великою кількістю жертв. Про цю аварію розповідає однойменна місту (але не групі) пісня «Ramstein».

У 1994 році Rammstein вчотирьох виграли конкурс молодих груп в Берліні, отримавши право запису на професійній студії. Роком пізніше до групи приєднався другий гітарист Пауль Ландерс, а потім і клавішник Крістіан Лоренц, що грали в панк-групі Feeling B. У такому складі і з продюсером Якобом Хельнером був записаний дебютний альбом Herzeleid. Всі тексти на цьому альбомі, як і на більшості наступних, написані Ліндеманном. Після кількох невдалих спроб написати тексти на англійській, як того вимагав лейбл, Тіль наполіг на тому, щоб писати пісні на німецькій. Випущений на лейбле Motor Music, перший диск Rammstein завоював широку популярність, став «золотим».

Rammstein зауважив лідер Nine Inch Nails Трент Резнор, який порадив дві їхні пісні до саундтреку до трилер Девіда Лінча «Шосе в нікуди». Це принесло групі додаткову популярність. У 1995 на підтримку альбому Rammstein здійснили тур по Європі на розігріві у Clawfinger. На концертах Rammstein демонстрували яскраві піротехнічні шоу. Цьому посприяла колишня робота Тіля піротехніків.

У цей час преса в деяких країнах почала поширювати про групу чутки, ніби її учасники є нацистами. Приводом для цього послужила зухвало брутальная естетика шоу Rammstein. Из-за таких чуток кілька концертів у Польщі та Чехії були зірвані. Музиканти були обурені такою наклепами. Однак скандальна популярність лише додала їм популярності. У 1997 році Rammstein вперше виступили на телеканалі MTV.