Финский коллектив Beastmilk был основан в 2010 году вокалистом Kvohst (участник Hexvessel, бывший участник Dødheimsgard) и гитаристом Goatspeed. Стряхнув радиоактивную пыль с того, что называют apocalyptic post-punk, они записали демо-альбом "White Stains On Black Tape", который музыканты первоначально выпустили собственными силами в 2010 году. После этого коллективом заинтересовался известный лейбл Svart Records, который впоследствии переиздал этот демо-альбом на семидюймовых виниловых пластинках.

В 2012 году Beastmilk выпускают мини-альбом "Use Your Deluge", в который вошло четыре композиции. В конце ноября 2013 года на Svart Records выходит дебютный альбом Beastmilk под названием "Climax". Альбом завоевал сердца множества фанатов, о чем свидетельствуют многочисленные разнообразные издания релиза за два года с момента его выхода. В 2014 году Magic Bullet Records занимаются переизданием "White Stains On Black Tape" и "Use Your Deluge", которые выпускаются в виниловом формате. Скопировано с Dark-World.ru. После выхода альбома "Climax", финские музыканты получили многочисленные лестные отзывы. А чуть ранее Beastmilk были отмечены известным Фенризом из Darkthrone за демо-альбом "White Stains On Black Tape".

Beastmilk в поддержку дебютного альбома отыграли бесчисленное количество концертов, последний из которых состоялся 5 декабря 2014 года в финском клубе Tavastia. После этого наступило небольшое затишье, а весной 2015 года Beastmilk объявили о том, что расстаются с одним из основателей группы — гитаристом Goatspeed. В связи с этим название коллектива было принято изменить на Grave Pleasures.


Осенью 2015 года лейбл Sony Music издает дебютный альбом Grave Pleasures под названием "Dreamcrash", в который вошло 11 новых композиций. После его выхода коллектив отправился в многообещающее турне по Европе.