Veden ke kněžskému povolání, dal však přednost vojenské kariéře a vstoupil do armády prince savojského. Poté co byl kvůli svému nevhodnému chování (smluvil si dostaveníčko s milenkou samotného krále) vyhoštěn z Paříže, uchýlil se do Londýna, kde na dvoře Karla II. našel jemu vyhovující atmosféru plnou intrik a svádění. Oženil se se sestrou svého pozdějšího biografa Hamiltona, autora Gramontem diktovaných Pamětí, které s otevřeností a bez odsudků popisují eskapády jeho života.