解内辖职，而宋臣录黄竟不至院，盖子才复有言也。吴子聪之姑知古为女冠得幸，子聪因之以进，得知阁门事。子才缴之曰：“子聪依凭城社，势焰熏灼，以官爵为市，搢绅之无耻者辐凑其门，公论素所切齿，不可用。”帝曰：“子聪之除，将一月矣，乃始缴驳，何也？可即为书行。”子才曰：“文书不过百刻，此旧制也。今子聪录黄二十余日乃至后省，盖欲俟其供职，使臣不得缴之耳。给、舍纪纲之地，岂容此辈得以行私于其间。”于是子聪改知澧州，待次。子才力辞去，帝遣检正姚希得挽留之，不可。
以集英殿修撰知太平州，前是例兼提领江、淮茶盐，子才以不谙财恳免。至郡，首教民孝弟，以前人《慈竹》、《义木》二诗刻而颁之，间诣学为诸生讲说经义。修采石战舰百余艘，造兵仗以千计。前政负上供纲及总所纲七十万缗，悉为补之。蠲黄、池酒息六十余万贯，三县秋苗畸零万五千余石，夏税畸零绸帛四千五百余匹、丝七百余两、绵一万三千余两、麦二千余石。郡有平籴仓，以米五千石益之，又以缗钱二十六万创抵库，岁收其息以助籴本。召入对，权工部侍郎。
时丁大全与宋臣表里浊乱朝政，子才累疏辞归。初，子才在太平建李白祠，自为记曰：“白之斥，实由高力士激怒妃子，以报脱靴之憾也。力士方贵倨，岂甘以奴隶自处者。白非直以气陵亢而已，盖以为扫除之职固当尔，所以反其极重之势也。彼昏不知，顾为逐其所忌，力士声势益张，宦官之盛，遂自是始。其后分提禁旅，蹀血宫庭，虽天子且不得奴隶之矣。”又写力士脱靴之状，为之赞而刻诸石。属有拓本遗宋臣，宋臣大怒，持二碑泣诉于帝，乃与大全合谋，嗾御史交章诬劾子才在郡公燕及馈遗过客为入己，降两官，犹未已。帝疑之，密以椠问安吉守吴子明，子明奏曰：“臣尝至子才家，四壁萧然，人咸知其清贫，陛下毋信谗言。”帝语经筵宫曰：“牟子才之事，吴子明乃谓无之，何也？”众莫敢对，戴庆炣曰：“臣忆子才尝缴子明之兄子聪。”帝曰：“然。”事遂解。盖公论所在，虽仇雠不可废也。未几，大全败，宋臣斥，诬劾子才者悉窜岭海外，乃复子才官职，提举玉隆万寿宫。
帝即欲召子才。会似道入相，素惮子才，又憾草诏事，仅进宝章阁待制、知温州；又嗾御史造飞语目子才为潜党，将中以危祸。上意不可夺，遂以礼部侍郎召，屡辞，不许。乃赐御笔曰：“朕久思见卿，故有是命，卿其勿疑，为我强起。”故事，近臣自外召者，必先见帝乃供职；子才至北关，请内引奏事，宦者在旁沮之，帝特令见，大说，慰谕