臺北清真寺最初位於台北市麗水街17巷2號，佔地300餘坪之日式房屋，創設於民國37年，是由回教教中長者鄭厚仁、常子春鑒於台北教胞急需清真寺作為禮拜的場所，大力呼籲。全體教胞捐贈日式民宅一戶作為清真寺使用。但至民國40年代，來台穆斯林人數增多，麗水街清真寺空間狹小、明顯不敷使用。

經白崇禧將軍向政府呼籲，並取得當時外交部長葉公超協助奔走，為尊重訪台國賓的伊斯蘭宗教傳統，必須設置具有國際水準的清真寺作為禮拜場所。經多次協調磋商，政府與協會雙方均樂於積極推動清真寺的興建工作。並且以捐款建寺之名義與回教世界的國家作更深入的接觸，以達到從事國民外交的實質目的。

民國46年12月12日「臺北清真寺興建委員會」正式成立。目的為實際瞭解清真寺興建計畫內容與需求，並預定以新台幣六百萬元，興建一座可容納六百人禮拜的清真寺。臺北清真大寺的興建，不但獲得政府大力支持，以外交部的名義向台灣銀行貸款四百萬元作為建設基金；也獲得訪台伊斯蘭國家貴賓 (包括伊朗前國王巴拉維、已故約旦國王胡笙、土耳其前總理孟德勒斯、伊拉克已故親王阿不都拉等) 暨國內外伊斯蘭教胞等的熱心捐助，共同籌募建寺基金；並擇定於台北市新生南路二段62號購地興建。

臺北清真寺落成後數十年間，邀請的伊斯蘭教貴賓、團體及個人絡繹不絕，包括故伊朗國王巴勒維、土耳其總理孟德斯、約旦國王胡笙、沙烏地阿拉伯國王費瑟等。臺北清真寺的建立，不僅延續了麗水街清真寺發展臺灣回教的重要使命，也因身負特殊國際交流任務，世界各伊斯蘭國家國王、總統及各界領袖歷次訪問中華民國，均將蒞臨臺北清真寺列為重要行程。

臺北清真寺採用阿拉伯建築設計，並參照西亞清真寺建築風格。建物含圓頂禮拜大殿、洗淨水房、禮堂辦公室、圓柱拱環長廊等。建物主體結構為鋼筋水泥，拱門門眉與其多處外牆皆有其馬賽克圖案裝飾。除此之外，兩旁圓形石柱則以斬石加工，主要門窗採大型落地彩色玻璃設計。另外，建物左右兩側超過20m的喚拜塔樓也是臺北清真寺的特色。

在建物內部方面，該寺仿照土耳其建築工法，禮拜大殿圓頂離地15m，跨距15m，中間無樑柱支撐。因為伊斯蘭教嚴禁偶像崇拜，大殿內無任何圖像，凹壁領拜師站立處上方鑲有綠底金字的阿文”安拉”書法。整個殿內挑高空曠。

1960年落成以來，該寺一直都是台北穆斯林的傳教禮拜中心，世界各伊斯蘭國家國王、總統及各界領袖如果前往台灣訪問，均把蒞臨台北清真大寺為重要行程之一，其中包含1971年訪問台灣的時任沙烏地阿拉伯國王費瑟。1999年6月29日，台北市政府正式將該寺定為台北市定古蹟。

現今台北清真寺除了提供穆斯林作日常宗教與婚喪喜慶活動外，平日也開放一般民眾與台北都會區各級學校自由參觀與校外教學(可至官方網站申請參觀)。