苏黎世美术馆的历史可追溯至 1787 年，当时众多艺术家和艺术爱好者在瑞士相聚，共同发起成立了苏黎世艺术协会，这一协会是欧洲最古老的艺术协会之一。

1794 年，该协会开始收藏艺术品，最初的收藏品来自会员的捐赠，每位会员捐赠了一幅自己或另一位艺术家的画作。1812 年，协会会员贷款购买了一处房产，最初用作俱乐部会所和酒吧。1818 年，由于获得国际资金的支持，协会收藏了 24 幅描绘田园风光的水粉画和苏黎世本土画家萨洛蒙・格斯纳大量的绘画作品。

1840 年，受瑞士美术协会组织巡回展览的影响，1847 年由古斯塔夫・阿尔伯特・韦格曼设计的一个小型画廊在苏黎世艺术协会的原址上建成。在很长一段时间内，该画廊的主要展品均来自于凯勒・苏姆・莫伦科普夫上校于 1854 年捐赠的瑞士画家汉斯・阿斯佩尔的画作，直至 18 世纪，阿斯佩尔的作品都被视作苏黎世绘画的代表。

苏黎世美术馆于 1910 年正式建成开放，定名为 “kunsthaus zürich”，所在建筑为摩瑟大厦，由瑞士建筑师卡尔・摩瑟和罗伯特・古尔联合设计。由于藏品规模较小，第一任策展人和后来的馆长威廉・沃特曼最初决定该美术馆只专注于瑞士艺术。

1917 年，美术馆举办了一场费迪南德・霍德勒画作的大型展览，使得资金不足的情况更加显现。“苏黎世艺术之友协会” 为其提供了资助，该协会至今仍通过艺术品的收购来帮助苏黎世美术馆扩大收藏规模。1920 年，美术馆收藏了汉斯・舒勒的作品，并首次收藏了雷诺阿、塞尚、梵高和博纳尔等法国印象派和后印象派画家的作品。1922 年沃特曼策划并组织了挪威艺术家爱德华・蒙克的作品展，并开始收集其在斯堪的纳维亚半岛以外的作品。苏黎世美术馆内收藏有除挪威蒙克博物馆外数量最多的蒙克作品。

1925 年，卡尔・摩瑟主持苏黎世美术馆的扩建工作。1929 年，汉斯・马耶菲什博士开始为美术馆购买在世的瑞士艺术家的作品，到 1957 年他去世时，藏品已增至 450 多件。1949 年，诺贝尔化学奖获得者利奥波德・卢齐卡成立了一个基金会，主要收藏荷兰 17 世纪画家的画作。

1944 年，普菲斯特兄弟开始筹建一个大型、适应性强的展厅。在埃米尔・格奥尔格・布尔勒的资助下，该展厅于 1958 年建成使用，并与摩瑟大厦相连，一层为礼堂和餐厅。1950 年，勒内・韦尔利接替威廉・沃特曼担任馆长，将焦点转移到自莫奈以来的法国绘画上。

1965 年，一些与贝克特勒兄弟关系密切的艺术爱好者成立了一个基金会，收藏了阿尔贝托・贾科梅蒂最重要的作品。1966 年，艺术家奈莉・比尔捐赠了维尔纳・比尔画廊以及罗丹和杰曼・里奇的一组雕塑。1973 年，在古斯塔夫・祖姆斯特格和许多赞助人以及马克・夏加尔本人的支持下，马克・夏加尔画廊创建。

20 世纪 70 年代，埃尔纳和柯特・伯高尔将他们收藏的现代艺术作品捐赠给苏黎世美术馆。1976 年，由建筑师埃尔温・米勒设计的美术馆扩建工程完工。

1980 年，苏黎世美术馆收藏了大量记录达达主义的历史文献和艺术作品，数量居世界之最。1984 年，沃尔夫家族将一批包括法国印象派到古典现代主义艺术家作品的藏品捐赠给苏黎世美术馆。1986 年，贝蒂和大卫・科采尔将他们所收藏的荷兰绘画作品、意大利巴洛克时期的作品捐赠给了他们的基金会。1995 年，瑞士商人沃尔特・海夫纳向苏黎世美术馆捐赠了 12 件法国大师的优秀作品，极大地丰富了该美术馆印象派和古典现代主义的收藏。2001-2005 年，苏黎世美术馆对现有建筑进行了修缮。

2002 年 5 月 28 日，苏黎世美术馆新馆扩建计划被提出。2008 年，美术馆新馆的设计方案确定。2012 年，新馆的建设工程开工；同年，沃尔特・海夫纳基金会为苏黎世美术馆的扩建项目捐赠 2000 万瑞士法郎。2021 年 10 月 9 日，由柏林的大卫・奇普菲尔德建筑事务所设计的苏黎世美术馆新馆正式开放，新馆是一座充满光线的矩形砂岩建筑，为苏黎世美术馆的 21 世纪博物馆理念赋予了优雅的美学形式、地标性的地位以及巨大的吸引力。扩建后的苏黎世美术馆成为了瑞士最大的艺术博物馆。