阿波（現徳島県）徳島城下に、蜂須賀藩士で小笠原流礼式指南役をつとめた吉井直吉の次男として生まれる。名は直知あるいは苟、字は君茂、子善。号は海叟、海客、海仙など。晩年に菘翁と称した。貫名は、先祖の姓。広野山で空海などの書を研究し、大阪の懐徳堂に入門。文化８年（１８１１）頃には、京都に須静塾を開き儒者として身を立てた。和漢の書を学び、市河米庵（Ｎｏ．１８）、巻菱湖とともに幕末を代表する書家となった。画は、はじめ母方の祖父で藩の絵師、矢野典博に狩野派を学ぶが、のちに長崎で日高鉄翁に南画を学ぶ。各地を歩いて風景を写生した。田能村竹田は、『師友画録』で、海屋の真景図を野呂介石や頼山陽の作品と並ぶほど高く評価している。（「近代日本画への道程　「日本画」の１９世紀」図録　１９９７年）