L’abbé Jean Raimbault, curé de Nicolet et premier missionnaire, célébra la première messe sur le territoire de l’archidiocèse à Sherbrooke, au Belvédère, le 1er mai 1816. Saint Colomban fut choisi comme titulaire de la mission. On y érigea une chapelle en 1826 et un cimetière en 1827.
Le 11 septembre 1836, Mgr Joseph Signay, archevêque de Québec, faisait à Sherbrooke l’honneur d’une première visite pastorale. Depuis deux ans déjà, l’abbé Jean-Baptiste McMahon y résidait. Des missionnaires s’installèrent aussi à Bonsecours et à Stanstead. Ce n’est qu’en 1841 que Sherbrooke put accueillir son curé dans un presbytère. La première église fut bénite le 14 janvier 1855. Mgr Jean-Charles Prince décida alors que saint Michel archange en serait le nouveau titulaire. La mission devint une paroisse le 7 mars 1872.
Lors de son érection, en 1874, le diocèse de Sherbrooke empruntait quatre cantons à l’archidiocèse de Québec, dix-huit au diocèse de Saint-Hyacinthe et vingt-cinq au diocèse de Trois-Rivières. Le diocèse de Sherbrooke était alors suffragant de Québec. Il comptait 30 000 catholiques, 32 paroisses ou dessertes et 29 prêtres.
Le diocèse a reçu de son très pieux et actif premier pasteur, Mgr Antoine Racine, une impulsion et une orientation qui se sont graduellement affermies et développées par la suite, sous la protection de saint Michel archange. Le 2 janvier 1875, il fonda un séminaire diocésain. Le diocèse devint suffragant de Montréal en 1886.
Sous l’épiscopat de Mgr Paul LaRocque, en 1915, on procéda à la construction de l’évêché actuel et de la chapelle pauline (sous-sol de la cathédrale actuelle). Cette dernière servit de cathédrale pendant plus de quarante ans. La chapelle de l’évêque fut décorée par le peintre Ozias Leduc, travaux qui s’échelonnèrent de 1921 à 1932.
Le chapitre a été constitué par la bulle apostolique Ad Divini Cultus de Sa Sainteté Pie XI, le 26 mars 1926, à la demande de Mgr Paul LaRocque, qui fut chargé d’exécuter l’érection. À cette fin, il publia une ordonnance le 16 juillet 1926, mais son décès survint avant la prestation du serment anti-moderniste et de la profession de foi. Un indult du 22 juillet 1927 permit à Mgr Alphonse-Osias Gagnon, vicaire capitulaire et évêque élu, de recevoir ces serments.
Le Grand Séminaire des Saints-Apôtres fut fondé par Mgr Philippe Desranleau en 1939. Celui-ci convoqua aussi le premier synode diocésain qui s’est tenu en 1941. Durant les années qui suivirent, plusieurs communautés religieuses vinrent s’établir dans le diocèse et on procéda à la création d’un grand nombre de paroisses.
Le 2 mars 1951, le pape Pie XII éleva Sherbrooke au rang d’archidiocèse, les diocèses de Nicolet et Saint-Hyacinthe complétant la composition de la nouvelle province ecclésiastique. Mgr Philippe Desranleau fut intronisé archevêque le 10 mai 1951.
Peu de temps après son arrivée, Mgr Georges Cabana lança des campagnes de financement pour l’agrandissement du Séminaire Saint-Charles et du Grand Séminaire des Saints-Apôtres. En 1954, on assista à la création de l’Université de Sherbrooke. Une mission fut inaugurée au Brésil en 1957. C’est également à cette période que fut construite la cathédrale actuelle. Elle fut bénite le 28 septembre 1957 et elle devint basilique mineure le 31 juillet 1959.
La période suivant le concile Vatican II fut marquée par la mise sur pied de divers organismes diocésains. En 1968, le Pavillon Mgr-Racine, maison dédiée à l’accueil des prêtres retraités, ouvrit ses portes. Le Grand Séminaire des Saints-Apôtres quitta son édifice de la rue Murray qui fut vendu en 1972. En 1980, la Fondation Mgr-Jean-Marie-Fortier fut mise sur pied pour aider au financement des Services diocésains de pastorale. Lors de sa visite au Canada en 1984, le pape Jean-Paul II procéda à la béatification de Mère Marie Léonie Paradis. Elle devint, par la suite, patronne secondaire de l’archidiocèse.
Mgr Jean-Marie Fortier décida de la tenue d’un nouveau synode diocésain. Cette réflexion mobilisa un grand nombre de diocésains de 1993 à 1996. Mgr André Gaumond procéda à la promulgation du Cahier des déclarations synodales le 27 avril 1997. Depuis 1995, l’archidiocèse est en période de restructuration par un processus de fusion et de suppression de paroisses dans le but de mieux exercer sa mission dans la société actuelle.