Koris dibināts 1989. gada 31. martā, kad uz pirmo mēģinājumu sanāca 16 kora dziesmas mīļotāji un diriģente Rita Vēverbrante. Ar 2004. gadu kora vadītāja ir Ineta Maltavniece.
Savos 30 gados koris ir piedalījies visos Vispārējos latviešu Dziesmu svētkos, reģionālajos svētkos un skatēs, kopmēģinājumos, veidojis tematiskus dzimšanas dienas koncertus, Ziemassvētku programmas. 2015. gadā kolektīvs tika nominēti Gulbenes novada “Gada balva kultūrā 2014.” 3 gadu garumā koris piedalās Radio 2 organizētajā akcijā “Garākā Līgo dziesma”. 2017. gadā korim "Kaprīze" bija iespēja Gulbenē piedalīties šovā “Es šonakt būšu laimīgs", ko vadīja Baiba Sipeniece Gavare. 2019. gads korim "Kaprīze" bija dziesmotiem notikumiem bagāts - ar skaistu, emocijām bagātu 30 gadu jubilejas koncertu, dziedātāji priecēja savus skatītājus un atbalstītājus, notika sadziedāšanās svētki kopā ar vīru kori “Gaiziņš” un sieviešu kori “Varavīksne” no Saldus, koncerts Saldū, Ziemassvētku koncerts kopā ar Zvanu ansambli no Cēsīm.