Основанный 7 сентября 1903 года клуб из Порту-Алегри стал в 1981 году чемпионом Бразилии и с этого момента начинается по-настоящему великая история клуба. Команда стала выигрывать в стране, континенте и, наконец, в мировом масштабе. У команды отчётливо прослеживается 2 великих поколения — начала 1980-х годов и середины 1990-х. Именно в самые пики этих поколений клуб завоёвывал свои Кубки Либертадорес, а также становился чемпионом Бразилии.

В Кубок Либертадорес-1983 команда попала на правах вице-чемпиона Бразилии. И к 80-летнему юбилею команды 28 июля 1983 года «Гремио» стал чемпионом Южной Америки. 11 декабря 1983 в Токио была добыта победа и в Межконтинентальном Кубке.

В 1991 году «Гремио» вылетел в Серию Б, но уже в следующем сезоне получил повышение. Новый президент клуба Фабио Кофф стал подбирать высококлассных футболистов. Из «Васко да Гамы» был куплен Жардел, пришёл защитник Риварола, а также Диньо, Пауло Нуньеш и другие.

В Кубок Либертадорес 1995 года Гремио попал на правах победителя Кубка Бразилии. Наиболее захватывающим противостоянием получился четвертьфинал между «Гремио» и «Палмейрасом» с Ривалдо в составе. Команды обменялись разгромными победами — 5:0 и 1:5. Дальше прошли «Трёхцветные». Полуфиналы с «Эмелеком» и финалы против «Атлетико Насьоналя», несмотря на блестящую игру колумбийского вратаря «Атлетико» Игиты, прошли уже более спокойно. «Гремио» выиграл и стал двукратным победителем Кубка Либертадорес. Межконтинентальный Кубок «Гремио» уступил в серии пенальти «Аяксу» под руководством Ван Гаала.

Затем последовали победы в бразильском первенстве — чемпионство 1996 года, Кубки Бразилии 1997 и 2001 годов. Но в 2004 году случился необъяснимый провал, и «Гремио» вылетел в Серию Б. Однако «Гремио» задержался там ненадолго. В решающем матче Серии Б 2005 «Гремио» в Ресифи обыграл команду «Наутико» 1:0 и вернулся в Серию А. В том матче у «Гремио» было удалено 4 человека, а вратарь Родриго Галатто отбил 2 пенальти. В 2006 году «Гремио» стал чемпионом штата, преградив «Интеру» дорогу к пятому подряд чемпионству, а также занял 3-е место в чемпионате Бразилии и попал в зону Кубка Либертадорес.

В 2007 году клуб дошёл до финала Кубка Либертадорес, где уступил аргентинской «Боке Хуниорс».

Согласно данным двух исследовательских институтов (Ibope и Datafolha), опубликовавших результаты своих исследований в 2004 и 2006 годах соответственно, за «Гремио» болеет 6 миллионов 400 тысяч человек (7-й показатель в Бразилии).