長崎の帰化人の末裔で、江戸麻布に生まれる。唐姓を馬、諱を孟煕、俗称を権之助といった。父の道良（北山太郎）に絵を学び、漢画をよくした。寒巌は、幕府の与力となるが、蘭学者と交流し洋風画も描く。江戸参府のオランダ人にオランダ語と洋画を学び、樊泥亀（ヴァン・ダイク）という名を与えられたと伝えられている。平賀源内の門人森島中良の『ヨンストン動物図譜』や『万國新話』のなかに挿図を描いた。谷文晁は、西洋画の技法を寒巌とともに学び吸収したといわれる。（「近代日本画への道程　「日本画」の１９世紀」図録　１９９７年）