归隐青阳后，林墨和郑氏在“归园”中安顿下来。然而，林墨并非那种能够完全闲下来的人。他习惯了忙碌，习惯了思考，习惯了将自己所学传授给他人。在享受了数月的田园宁静之后，他开始琢磨着，要做一些有意义的事情。
他与郑氏商议后，决定拿出部分积蓄，在青阳县城中购置一处房产，开设一家学堂。这家学堂，不教八股文章，不教科举应试，而是专门教授那些贫苦人家的孩子，以及一些对天文地理感兴趣的年轻人，学习实用的知识和技能。
林墨亲自为学堂题写了匾额——“格物堂”，取自《大学》中“格物致知”之意，旨在引导学生探究事物的原理，获取真正的知识。
消息传出后，在青阳县引起了不小的轰动。帝师要在家乡开堂授课，这可是千载难逢的机