居顷之，诏栗累更事任，清介有闻，复直宝文阁、广南西路转运判官，就改提点刑狱，又改知潭州。除秘阁修撰，进集英殿修撰、知隆兴府。召对便殿，奏乞仿唐制置补阙、拾遗左右各一员，不以纠弹为责。从之。除兵部侍郎。朱熹以江西提刑召为兵部郎官，熹既入国门，未就职。栗与熹相见，论《易》与《西铭》不合。至是，栗遣吏部趣之，熹以脚疾请告。栗遂论：“熹本无学术，徒窃张载、程颐之绪余，为浮诞宗主，谓之道学，妄自推尊。所至辄携门生十数人，习为春秋、战国之态，妄希孔、孟历聘之风，绳以治世之法，则乱人之首也。今采其虚名，俾之入奏，将置朝列，以次收用。而熹闻命之初，迁延道途，邀索高价，门生迭为游说，政府许以风闻，然后入门。既经陛对，得旨除郎，而辄怀不满，傲睨累日，不肯供职，是岂张载、程颐之学教之然也？缘熹既除兵部郎官，在臣合有统摄，若不举劾，厥罪惟均。望将熹停罢，姑令循省，以为事君无礼者之戒。”
上谓其言过当，而大臣畏栗之强，莫敢深论。太常博士叶适独上封事辩之曰：“考栗之辞，始末参验，无一实者。其中‘谓之道学’一语，无实最甚。盖自昔小人残害良善，率有指名，或以为好名，或以为立异，或以为植党。近忽创为‘道学’之目，郑丙唱之，陈贾和之。居要路者密相付授，见士大夫有稍务洁修，粗能操守，辄以道学之名归之，殆如吃菜事魔、影迹犯败之类。往日王淮表里台谏，阴废正人，盖用此术。栗为侍从，无以达陛下之德意志虑，而更袭郑丙、陈贾密相传授之说，以道学为大罪。文致言语，逐去一熹，固未甚害，第恐自此游辞无实，谗言横生，善良受害，无所不有！愿陛下正纪纲之所在，绝欺罔于既形，摧抑暴横以扶善类，奋发刚断以慰公言。”于是侍御史胡晋臣劾栗，罢之，出知泉州，又改明州。奉祠以卒，谥简肃。
栗为人强介有才，而性狷急，欲快其私忿，遂至攻诋名儒，废绝师教，殆与郑丙、陈贾、何澹、刘德秀、刘三杰、胡纮辈党邪害正者同科。虽畴昔论事，雄辩可观，不足以盖晚节之谬也。
高文虎，字炳如，四明人，礼部侍郎闶之从子。登绍兴庚辰进士第，调平江府吴兴县主簿。
曾几守官在吴，文虎从之游，故闻见博洽，多识典故。除国子正，迁太学博士。孝宗幸两学，祭酒林光朝访文虎具仪注，文虎辑国朝以来临幸故事授之。兼国史院编修官，与修《四朝国史》。出知建昌军，擢将作丞兼实录院检讨官，修《高宗实录》；又兼玉牒所检讨官，修《神宗玉牒》。自熙宁以来