La banda se formó en 1983 por Manheim, Øystein Aarseth Euronymous y Necrobutcher con la intención de hacer música ultra violenta y caótica. Los miembros del grupo se inspiraron en Venom, que tocaba temas sobre satanismo y sobre el mal y Parabellum en su temática anticristiana y sonido crudo underground. En 1984 Messiah tomaría el sobrenombre de Destructor. Una vez en la banda Øystein se cambiaria su sobrenombre a Euronymous. Entre 1985 y 1986 Mayhem hicieron 2 demos: Voice Of A Tortured Skull y Pure Fucking Armageddon, ambos contaron con la participación como vocalista de Euronymous.
Ese año grabaron un EP llamado Deathcrush. En 1987 el álbum salió a la luz, pero sólo 1000 copias se vendieron, después sus posiciones fueron reemplazadas por Dead (Per Yngve Ohlin) en voces y Hellhammer a la batería. Dead había estado previamente en otra banda: Morbid. Él estaba extremadamente fascinado (como su apodo indica) por la muerte, la decadencia y la oscuridad. Incluso Euronymous lo describió como inestable y posiblemente esquizofrénico. Fue tal la fascinación mórbida de Dead que la atmósfera de la banda se vio afectada pasando de la temática del gore hacia el satanismo, la oscuridad, la depresión y la muerte. En 1989 se une Varg Vikernes, apodado Count Grishnackh a la banda reemplazando a Necrobutcher y comienzan a trabajar en el álbum De Mysteriis Dom Sathanas.
En 1991 Dead se dispara en la cabeza con una escopeta. El cuerpo de Dead fue descubierto con una nota suicida: "Excuse all the blood (disculpad toda la sangre)" y encontrado por Euronymous, que fue, antes de llamar a la policía, a comprar una cámara de usar y tirar y sacó varias fotos al cadáver de su compañero. Afirmó más tarde que también recogió trozos de su cerebro y los cocinó para comérselos (lo cual sería negado después en una entrevista dada por Hellhammer), y recogió trozos del cráneo y los guardó como reliquias. Cuando habló con la prensa de este episodio, el contestó: Oye, no todos los días tengo la suerte de encontrarme un cadáver real resultando de estas fotografías la portada de uno de sus álbumes en vivo: Dawn Of the Black Hearts. En 1993 sale Live in Leipzig, como tributo de la banda a Dead. En ese mismo año comenzaron a trabajar en otro álbum De Mysteriis Dom Sathanas. Con la ausencia de Dead y Necrobutcher, Attila Csihar se encarga de las voces y Count Vikernes toca el bajo. En 1993 Vikerness viajó con Snorre Ruch hacia el apartamento de Euronymous. Al llegar Vikernes discutieron, se pelearon y finalmente Vikernes lo mató clavándole una navaja de 8 centímetros en la frente. Grishnackh fue atrapado con rapidez por la polícia y condenado por asesinato. Todavía continua en prisión cumpliendo su sentencia de 14 años, así saliendo recientemente en el año 2008. Con solo Hellhammer en el grupo, Mayhem dejó de existir.
En 1994 De Mysteriis Dom Sathanas fue sacado oficialmente al mercado dedicado a Euronymous. El álbum demoró en salir porque los padres de Euronymous (nuevos dueños de la discográfica) se negaban a ponerlo en venta con los tracks en los que Varg tocaba el bajo. Finalmente Hellhammer les convenció diciendo que las partes del bajo habían sido regrabadas siendo tocadas por otra persona, aunque más tarde reconoció que esto era mentira. A pesar del título, las canciones no tratan sobre el demonio, sino sobre muerte y existencialismo.
En 1995 Hellhammer decidió renovar la banda con un guitarrista llamado Blasphemer y dos miembros antiguos de Mayhem: Maniac y Necrobutcher. El primer trabajo sacado por esta nueva reagrupación fue Wolf's Lair Abyss en 1997, seguido por algunos shows en vivo los años siguientes. En uno de esos shows crean Mediolanum Capta Est en Milán, Italia.
En el 2000 sacan un segundo CD: Grand Declaration Of War. El concepto del álbum y los temas trataban sobre la guerra y la destrucción del post-apocalipsis. Después de 4 años de silencio sacan otro CD: Chimera. Ese mismo año el cantante Maniac es forzado a dejar la banda y es reemplazado por Attila Csihar.
Mayhem editó su último álbum "Ordo ad Chao" en marzo de 2007.
