Après ses études à Québec, il est ordonné prêtre par Mgr Charles-François Baillargeon en septembre 1858 et devient vicaire à la Basilique de Québec. En 1860, le curé Thivierge est nommé à Saint-Antonin et responsable de l'évangélisation des missions du chemin du Lac Témiscouata. Pendant cette même année, il bâtit une chapelle et un presbytère à Notre-Dame-du-Lac.

Par la suite, il devient le premier curé de Saint-Épiphane et y construit un presbytère en 1867. Deux ans plus tard, il devient curé de Saint-Michel-de-Percé et dessert également les fidèles de Saint-Joseph-de-Cap-d'Espoir et de l'Île Bonaventure.

En 1872, on le retrouve à Bonaventure, où il y termine l'intérieur du presbytère et dirige les travaux d'agrandissement de l'église. En 1875, lors des élections provinciales, il tente d'influence le vote des électeurs en faveur du candidat catholique, Pierre-Clovis Beauchesne, au détriment du protestant, John Robinson Hamilton. L'année suivante, le juge Casault annule l'élection, dans une décision qui sera appelée le "jugement de Bonaventure".

Paul-Napoléon Thivierge est nommé chanoine honoraire en 1888. Il quitte la cure de Bonaventure en 1897 et se retire à Pabos. Le chanoine Paul-Napoléon Thivierge s'éteint le 23 octobre 1909.