Grupa powstała w 1994 roku, pierwotnie jako projekt działający w przerwach w działalności nagraniowej zespołu The Allman Brothers Band, z inicjatywy jego członków Warrena Haynesa i Allena Woodyego oraz Matta Abtsa. W 1997 roku Haynes i Woody odeszli z Allman Brothers Band, w pełni koncentrując się na Gov`t Mule. Zespół nagrał do tej pory 9 albumów studyjnych, ostatni raz wystąpił w Polsce w 2010 roku.