Né le 1er mai 1792, à Montigny-lès-Cherlieu (diocèse de Besançon), d'une famille de modestes et pieux paysans. C'est seulement en 1809 qu'il commença les études classiques. Mais il devait brûler les étapes. En 1812, il entra au grand séminaire de Besançon. Cinq ans plus tard, il fut ordonné prêtre. Après un bref vicariat à Lure, il revint comme professeur au séminaire de Besançon. Treize années durant, il enseigna la théologie morale, se signalant déjà par des publications.
De cette époque, datent: ses annotations des Conférences ecclésiastiques d'Angers (Besançon, 1823); Exposition de la doctrine de l'Eglise sur le prêt à intérêt (Paris, 1825); une réédition annotée des Instructions sur le rituel de Toulon (Besançon, 1826); une réédition corrigée et complétée du Dict. Théol. de Bergier, (Besançon 1827); Le code civil commenté dans ses rapports avec la théologie morale (Paris 1828).
Au hasard presque d'une visite dans une librairie, il découvrit en 1829 les livres de St Alphonse de Liguori et désormais, après une étude plus poussée de cette doctrine à Rome, il s'y appuya pour lutter contre les excès du rigorisme janséniste, comme il se fit le champion de l'antigallicanisme.
En 1831, le cardinal de Rohan, archevêque de Besançon, le nomma vicaire général. L'année suivante, l'abbé Gousset fit paraître une Justification de la théologie morale du Bx A.-M. de Ligorio, qui fit grand bruit.
Le 1er février 1836, il était promu au siège épiscopal de Périgueux; d'où il fut transféré, comme archevêque, à Reims, en 1840. Il fut créé cardinal en 1850.
Ces charges épiscopales ne le détournèrent pas des études. En 1844, il publia, en français, une Théologie morale à l'usage des curés et des confesseurs. En 1848, il fit paraître une Théologie dogmatique. Un mémoire clandestin, de tendance schismatique, ayant été lançé dans le public, il le réfuta: Observation sur le mémoire... "sur la situation présente de l'Eglise gallicane, relativement au droit coutumier", 1852. En 1855, il donna La croyance générale et constante touchant l'Immaculée Conception de la Bienheureuse Vierge Marie. Ses deux derniers livres publiés touchent directement au droit canon: Exposition des principes de droit canonique, 1859; il y mettait en lumière, à l'encontre du gallicanisme, les principes de la souveraineté du Saint-Siège; Des droits de l'Eglise touchant à la possession des biens destinés au culte et la souveraineté temporelle du Pape, 1862.
L'influence intellectuelle et morale du cardinal Gousset a été considérable dans l'Eglise de France au XIXème siècle. Elle était en plein rayonnement au moment de sa mort, survenue à Reims, le 22 décembre 1866.
Catholicisme, tome V