下野（現栃木県）芳賀郡益子に生まれる。益子の鹿島神社神主、木村市正の次男。一名を光定、壇山と号し、非分道人、壇森斎、青鸞の別号がある。若い頃は、木村勝と称した。那須郡にある高尾温泉神社の祠官小泉家の養子となり、祠官を継ぐ。５０歳のとき、黒羽藩主、大関増業の命で、黒羽城北部に創建された鎮国社の祠官となった。画は、近江（現滋賀県）の酒造家で、下野と近江の間を行き来した島崎雲圃に師事。雲圃は、鮎などの写生を得意としたが、斐はそれを受け継ぎ、鮎や人物の表現で評価を得た。『壇森斎石譜』『富岳写真』を刊行。頼山陽、皆川淇園などと交流。高久靄●（あいがい）は、はじめ斐に学んでいる。（「近代日本画への道程　「日本画」の１９世紀」図録　１９９７年）