御史中丞赵世安乘间为集请曰：“虞伯生久居京师，甚贫，又病目，幸假一外任，便医。”帝怒曰：“一虞伯生，汝辈不容耶！”帝方向用文学，以集弘才博识，无施不宜，一时大典册咸出其手，故重听其去。集每承诏有所述作，必以帝王之道、治忽之故，从容讽切，冀有感悟，承顾问及古今政治得失，尤委曲尽言，或随事规谏，出不语人。谏或不入，归家悒悒不乐。家人见其然，不敢问其故也。时世家子孙以才名进用者众，患其知遇日隆，每思有以间之。既不效，则相与摘集文辞，指为讥讪，赖天子察知有自，故不能中伤，然集遇其人，未尝少变。一日，命集草制封乳母夫为营都王，使贵近阿荣、飐飐传旨。二人者素忌集，缪言制封营国公，集具稿，俄丞相自榻前来索制甚急，集以稿进，丞相愕然问故，集知为所绐，即请易稿以进，终不自言，二人者愧之。其雅量类如此。
论荐人材，必先器识，心所未善，不为牢笼以沽誉；评议文章，不折之于至当不止，其诡于经者，文虽善，不与也。虽以此二者忤物速谤，终不为动。光人龚伯璲，以才俊为马祖常所喜，祖常为御史中丞，伯遂游其门，祖常亟称之，欲集为荐引，集不可，曰：“是子虽小有才，然非远器，亦恐不得令终。”祖常犹未以为然。一日，邀集过其家，设宴，酒半，出荐牍求集署，集固拒之，祖常不乐而罢。文宗崩，集在告，欲谋南还，弗果。幼君崩，大臣将立妥欢帖穆尔太子，用至大故事，召诸老臣赴上都议政，集在召列。祖常使人告之曰：“御史有言。”乃谢病归临川。
初，文宗在上都，将立其子阿剌忒纳答剌为皇太子，乃以妥欢帖穆尔太子乳母夫言，明宗在日，素谓太子非其子，黜之江南，驿召翰林学士承旨阿邻帖木儿、奎章阁大学士忽都鲁笃弥实书其事于《脱卜赤颜》，又召集使书诏，播告中外。时省台诸臣，皆文宗素所信用、同功一体之人，御史亦不敢斥言其事，意在讽集速去而已。伯璲后以用事败，杀其身，世乃服集知人。
元统二年，遣使赐上尊酒、金织文锦二，召还禁林，疾作不能行，屡有敕，即家撰文，褒锡勋旧、侍臣。有以旧诏为言者，帝不怿曰：“此我家事，岂由彼书生耶！”至正八年五月己未，以病卒，年七十有七。官自将仕郎十二转为通奉大夫。赠江西行中书省参知政事、护军，封仁寿郡公。
集孝友，方二亲以故家令德，中遭乱亡，侨寓下邑，左右承顺无违。弟盘，早卒，教育其孤，无异己子。兄采，以筦库输赋京师，亏数千缗，尽力营贷代偿之，无难色。抚庶弟，嫁孤妹，具有恩意。山林之士知古学者，必折节下之，接后进，虽少且贱，如敌己。当权门赫奕，未尝有所附丽。集议中书，正言谠论，多见容受，屡以片言解疑误，出人于滨死，亦不以为德。张珪、赵世延尤敬礼之，有所疑必咨焉。
家素贫，归老后食指益众，登门之士相望于道，好事争起邸舍以待之。然碑板之文，未尝苟作。南昌富民有伍真父者，赀产甲一方，娶诸王女为妻，充本位下郡总管。既卒，其子属丰城士甘悫求集文铭父墓，奉中统钞五百锭准礼物，集不许，悫愧叹而去。其束修羔雁之入，还以为宾客费，虽空乏弗恤也。
集学虽博洽，而究极本原，研精探微，心解神契，其经纬弥纶之妙，一寓诸文，蔼然庆历乾淳风烈。尝以江左先贤甚众，其人皆未易知，其学皆未易言，后生晚进知者鲜矣，欲取太原元好问《中州集》遗意，别为《南州集》以表章之，以病目而止。平生为文万篇，稿存者十二三。早岁与弟盘同辟书舍为二室，左室书陶渊明诗于壁，题曰陶庵，右室书邵尧夫诗，题曰邵庵，故世称邵庵先生。子四人，安民，以荫历官知吉州路安福州。游其门见称许者，莆田陈旅，旅亦有文行世。国学诸生若苏天爵、王守诚辈，终身不名他师，皆当世称名卿者。其交游尤厚者，曰范梈。
