朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专门命人总督，司州遥远，应归豫州统管。朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，封谢玩为豫宁伯。谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。
但此时朝臣却议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。
病逝会稽
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。
朝廷又下诏让他移镇东阳城。谢玄便奉命上路，以病重恳求解职。朝廷为谢玄派了一名医术高明的医士，并让他好自调养休息，又让他回京口治病。
谢玄奉诏回京口，病却长期不见好转，于是又上疏道：“臣兄弟七人，都先后凋谢殒灭，惟有臣一人，孑然独存。经历的艰难困苦，谁可与臣相比！臣之所以含悲忍痛，希求继续苟活人世，是因为满怀无穷忠心，欲上报朝廷恩德，或许能恢复康健，便可以完成此志。况且臣家中遗孤甚多，想起他们，心中就不胜悲伤，为此求生之心，不能即刻付与尘土。臣一片勤恳之情，实可哀怜。恳求陛下怜悯臣的忠诉，霈然降恩，不使臣含恨九泉。”
所上奏的奏疏被扣住不予答复。谢玄前后上了十余道奏疏，很久之后，朝廷才改任谢玄为散骑常侍、左将军、会稽内史。谢玄抱病登车去会稽郡任职。
太元十三年（388年），谢玄在会稽去世，终年四十六岁。朝廷追赠车骑将军、开府仪同三司，谥号为献武。
永初元年六月十四日（420年7月10日），刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除，谢玄爵位康乐县公被降封为康乐县侯，食邑五百户。
人物评价
总评
谢玄文武兼备，立志挽救危亡，以图恢复。他创建的“北府兵”，能征善战，特别能吃苦耐劳，成为东晋最为精锐的武装力量。在淝水之战中，“北府兵”军阵严整，使秦主望而生畏，可见其强。
历代评价
桓温：谢掾年四十，必拥旄杖节。王掾当作黑头公。皆未易才也。
郗超：① 安违众举亲，明也。玄必不负举，才也。② 吾尝与玄共在桓公府，见其使才，虽履屐间亦得其任，所以知之。
房玄龄：① 建元之后，时政多虞，巨猾陆梁，权臣横恣。其有兼将相于中外，系存亡于社稷，负扆资之以端拱，凿井赖之以晏安者，其惟谢氏乎！...康乐才兼文武，志存匡济，淮肥之役，勍寇望之而土崩；涡颍之师，中州应之而席卷。方欲西平巩洛，北定幽燕，庙算有遗，良图不果，降龄何促，功败垂成，拊其遗文，经纶远矣。② 伟哉献武，功宣授斧。克翦凶渠，几清中宇。
王勃：非谢家之宝树，接孟氏之芳邻。
罗隐：隋邸旧僚推谢掾，汉廷高议得相如。
余知古：温（桓温）在镇三十年，参佐习凿齿、袁宏、谢安、王坦之、孙盛、孟嘉、王珣、罗友、郗超、伏滔、谢奕、顾恺之、王子猷（王徽之）、谢玄、罗含、范汪、郝隆、车胤、韩康等，皆海内奇士，伏其知人。
李儇：谢玄破苻坚于淝水，裴度平元济于淮西，未必儒臣不如武将！
孙元晏：百万兵来逼合肥，谢玄为将统雄师。旌旗首尾千馀里，浑不消他一局棋。
耶律昭：昭闻古之名将，安边立功，在德不在众，故谢玄以八千破苻坚十万，休格以五队败曹彬十万，良由恩结士心，得其死力也。
何去非：古之人有以众而败，有以寡而胜者，王寻、王邑以百万而败于三千之光武，曹公以八十万而败于三万之周瑜，苻坚以百万而败于八千之谢玄是也。
张预：孙子曰：‘择人而任之。’玄之使才，各当其任。又曰：‘夺其所爱则听。’玄向留城而解彭城之围。又曰：‘乱而取之。’玄因符坚阵乱而决战破之是也。
司马光：晋室既衰，中原云扰，刘石慕容之辈，弥漫河洛，蟠据岱华，宫阙芜没，陵庙隳焚。元帝（司马睿）以宗室疎属，遁居江表，天下士民有思晋者，皆裹粮而归之，国于荆扬之间，子孙相承不绝如线。独明帝（司马绍）英武，克清大憝，不幸享国不永，自余孱弱孤危，外陵内叛，寄命于虎狼之口，几遇吞食者数矣，然卒能保其位号宗庙血食百有余年，何者？王导、卞壸、温峤、陶侃、谢安、谢幼度（谢玄）为之臣也，群贤既没，使道子（司马道子）、元显（司马元显）之徒辅之，败亡不亦宜乎？
吕祖谦：晋之始也，敌国云扰，强臣专制，上下惴恐，如处积薪之上而火将燃者，故君无骄泰之失，而臣下自以危亡为忧，是以内虽王敦、苏峻反叛相寻，桓温擅权废立，外则石氏之兵三至江上，苻坚淝水之役，江东几至不保。然当时人主恐惧于上，而王导、温峤、陶侃、谢安、谢玄之徒足以尽其力，故至危而复安，将亡而复存也。
董颖：那复谢玄将淝水，政烦汲黯守淮阳。
徐钧：战败苻坚百万兵，晋家宗社赖而存。当时若使玄犹在，国祚桓玄未可吞。
陈元靓：谢庭之内，玉树森然。宏材秘畧，惟安与玄。 却秦扶晋，擒融遁坚。会稽兖海，令文言遐传。
孙原贞：夫兵贵精不贵多，昔周瑜破曹操于赤壁、谢玄破苻坚于合淝、李靖于定襄破突厥、于阴山破颉利、斯皆以少击众。
王世贞：淝水之胜，虽曰有天幸，而玄之善用兵，亦自有以制之。苻氏灭国十余，拥百万之众，平襄而后，气噉江左。独玄以北府偏师，踯躅当锋，覆师斩将者，至再三，其胆力当何如哉。苻氏之乱，玄乘胜比讨，而乃使刘牢之、应丕而战慕容垂，人皆咎为失策吾以为未为失也。…是故一败而不复振。玄病因之。岂非天哉。
陈子龙：自汉以后，文武渐分，然犹有虞诩、诸葛亮、周瑜、陆逊、司马懿、羊祜、杜预、温峤、谢玄、韦睿、崔浩、李靖、裴行俭、郭元振、裴度、李德裕、韩琦、李纲、虞允文之徒奋策儒素建功阃外，为时宗臣。彼岂必有抟虎之力，射雕之技哉？不过深明古今之事，能决机宜之便耳。
王夫之：弗待有建威销萌、卫社稷、安生民之大臣，如刘弘、陶侃、谢玄、檀道济、沈庆之之流也。
蔡东藩：秦兵横行江淮，连破名城，迭擒晋将，至三阿一役，彭超俱难，屡战屡败，仅以身免，此可见师劳力疲，不堪久用。秦之转盛为衰，已见一斑，非谢玄之果能无敌也。
轶事典故
谢玄文
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。诏令又让他移镇东阳城。谢玄便奉命上路，途中上疏朝廷，申述报国之忠心及壮志未酬的遗恨，并以病重恳求解职。后遂以“谢玄文”谓去职归山。
叔侄情深
谢玄幼年由叔父谢安抚养，两人感情深厚。谢安曾取笑谢玄“前倨后恭” 。谢玄小时候喜欢佩带紫罗香囊，谢安对此很是担心，但为了不让他伤心，于是在某一次游戏时，将紫罗香囊作为和谢玄博戏的筹码，设法把香囊取到手中，把它烧掉，谢玄从此再也不去佩带这一类物什。
姊相瞩此
谢玄长姐谢道韫为谢家杰出人物，时人比之于竹林七贤， 谢玄非常敬重她。谢道韫出嫁之后，对弟弟要求依然非常严苛，曾痛言责问他道：“你怎么还是不长进，是天分有限还是俗事太多？”谢玄曾写信与她道“ 此二日东行，游步园中，已极有任家湖形模也。姊相瞩此，亦有所散。”
酷爱钓鱼
谢玄酷爱钓鱼，每每钓鱼大有收获，则做成腌鱼送给亲友，《全晋文》收入他十篇文字中，竟然有四篇都与钓鱼有关。他也曾因此被王珉取笑为“吴兴溪水中钓鱼的羯奴”。 …
