Здание является доминантой застройки набережной и одним из первых в Петербурге памятников архитектуры переходного периода от барокко к классицизму. Строительство его велось в период 1764-1788 годов по проекту французского архитектора Ж. Б. Валлен-Деламота при участии архитектора А. Ф. Кокоринова, ставшего первым директором Академии. Торжественная закладка здания состоялась в присутствии Екатерины II и наследника 7 июля 1765 года. Академия «трёх знатнейших художеств» - живописи, скульптуры и архитектуры - была основана в 1757 году по инициативе М. В. Ломоносова и И. И. Шувалова.
Создания в России академии художеств, по образу и подобию французской, задумал Пётр Великий. За год до смерти он издал указ «Об академии, в которой бы языкам учились, также прочим наукам и знатным художествам». Это петровское начинание было воплощено в жизнь как художественное отделение Академии наук, а к середине 18 века и вовсе превратилось в гравёрно-рисовальную школу.
Развитие русского просвещения подвигло фаворита И. И. Шувалова на представление императрице Елизавете Петровне предложения о необходимости завести «особую трёх знатнейших художеств академию». Иван Иванович предполагал открыть её в Москве, при задуманном им университете, но в результате академия художеств была учреждена в 1757 году в столице - в Санкт-Петербурге, хотя первые 6 лет числилась при Московском университете, который возглавлял всё тот же Шувалов.
В Санкт-Петербурге академия первоначально размещалась в особняке Шувалова на Садовой улице. С 1758 года здесь начались учебные занятия. Учебный курс длился 9 лет и включал изучение искусства гравюры, портрета, скульптуры, архитектуры и т. п. С 1760 года лучшие выпускники на казённые средства отправлялись на стажировку за границу.
В 1759 году распоряжением императрицы Елизаветы Петровны Академии были переданы два дома на углу набережной Невы и 3-ей линии Васильевского острова. Но они не могли удовлетворить нужд столь значимого высшего учебного заведения. Екатерина II придала Академии статус Императорской.
В 1764 году началась закладка фундамента будущей Академии. Строительство здания велось по проекту французского архитектора Ж. Б. Валлен-Деламота при участии архитектора А. Ф. Кокоринова, ставшего первым директором Академии.
Торжественная закладка здания состоялась в присутствии императрицы и наследника 7 июля 1765 года (в годовщину вступления на престол Екатерины II). Екатерина Великая положила в основание академического храма закладной порфировый камень.
Первым начали возводить северный корпус, в 1764-1770 годах возвели корпуса со стороны сада, 3-й и 4-й линий, круглый и дворовый корпус.
В феврале 1771 года академический Совет приостановил строительство из-за недостаточного финансирования. В следующем году скончался А. Ф. Кокоринов, которого обвинили в растрате выделенных на строительство средств.
До отъезда во Францию в 1775 году работами руководил Валлен-Деламот, которого затем сменил профессор архитектурного класса Ю. М. Фельтен и Е.Т. Соколов, старавшиеся по возможности не изменять замысла автора проекта. К 1789 году работы по возведению были завершены, но отделка интерьеров Академии художеств затянулась до 1817 года.
В 1832-1834 годах гранитная набережная перед академией была оснащена спуском к воде, украшенным фигурами египетских сфинксов на гранитных пьедесталах.
В настоящее время в здании Академии художеств расположены Научно-исследовательский музей Российской Академии художеств, а также архив, библиотека лаборатории и мастерские.
Вместе с Меншиковским дворцом, зданием Академии наук, Кунсткамерой и другими памятниками архитектуры 18 - 19 веков здание Академии художеств является важным элементом в общей панораме набережных Невы.
Здание Академии художеств решено в стиле екатерининского классицизма и представляет собой составленный из четырех корпусов прямоугольник со сторонами 140 и 125 метров, внутрь которого вписан кольцеобразный корпус («циркуль»), которым образован внутренний круглый двор диаметром 55 метров. Такая необычная конструкция здания была исполнением воли императрицы.
На вопрос: для чего же это нужно, она отвечала: «Для того чтобы все дети, которые тут учиться будут, имели бы перед собой величину купола собора святого Петра в Риме и в своих будущих архитектурных проектах постоянно с ним соотносились».
Кроме главного, круглого двора есть еще четыре маленьких световых двора по внутренним углам здания. Обращенный к Неве главный фасад здания оформлен тремя ризалитами. Центральный ризалит выделен дорическим портиком с треугольным фронтоном над ним. Прямые линии портика центрального ризалита смягчены плавными линиями его боковых частей, карниза и аттика под высокой изогнутой кровлей. Между колоннами портика установлены скульптурные копии с античных статуй Геркулеса и Флоры. Они созданы по моделям скульптора И. П. Прокофьева. На месте вестибюля первоначально был проезд во двор. В 1817 году он был заложен. Над входом помещена надпись «Свободным художествам. Лета 1765 года».
Центральная часть здания была увенчана статуей Минервы, покровительницы ремесел и искусств, в окружении трех гениев художеств. Статуя была выполнена по проекту архитектора Прокофьева и установлена на куполе главного корпуса в 1786 году. Примерно через сто лет композиция, все более и более разрушавшаяся от времени, была заменена новой из тонкой листовой меди по проекту архитектора фон Бока. В 1910-х годах в здании произошел крупный пожар, после которого сильно поврежденную статую пришлось демонтировать. По сохранившимся чертежам и моделям скульптуры она была воссоздана скульптором Михаилом Аникушиным и его учениками и установлена на прежнем месте к 300-летию Санкт-Петербурга (в 2000 годах).