田安徳川家の家臣で詩人でもあった谷麓谷の子として江戸に生まれる。名を正安、通称文五郎。写山楼、画学斎などと称した。はじめ、狩野派の加藤文麗、南蘋風を得意とした渡辺玄対に学ぶ。田安家に出仕し、老中松平定信付けとなり画才を見いだされる。定信の命で、巡視に随行して描いた〈公余探勝図巻〉の制作や畿内における寺社の古画などを調査した『集古十種』の編纂に参加。その後、中国の北宗画、南宗画を中心にさまざまな表現を折衷し、また統合した作風を展開した。多くの門人を育て、江戸画壇の大御所的な存在となった。門人には、立原杏所、渡辺崋山、高久靄?香iあいがい）などがいる。（「近代日本画への道程　「日本画」の１９世紀」図録　１９９７年）