長崎の帰化人の末裔で、江戸麻布に生まれる。唐姓を馬、諱を孟煕、俗称を権之助といった。父の道良(北山太郎)に絵を学び、漢画をよくした。寒巌は、幕府の与力となるが、蘭学者と交流し洋風画も描く。江戸参府のオランダ人にオランダ語と洋画を学び、樊泥亀(ヴァン・
ダイク)という名を与えられたと伝えられている。平賀源内の門人森島中良の『ヨンストン動物図譜』や『万國新話』のなかに挿図を描いた。
谷文晁は、西洋画の技法を寒巌とともに学び吸収したといわれる。(「近代日本画への道程 「日本画」の19世紀」図録 1997年)