永淳元年（682年），十姓突厥的车薄叛乱，裴行俭又任金牙道行军大总管，还没有出发就去世了，享年六十四岁，追认为幽州都督，谥号为“献”。高宗诏令皇太子派遣官员管理他的家事，直到子孙能够自立才止。中宗李显登位，又追认他为扬州大都督。唐玄宗登基后，追赠裴行俭为太尉。
个人特征
多才多艺
裴行俭善长草书隶书，是位书法名家。高宗曾经给他白绢命令书写《昭明文选》，观赏之后，
珍爱他的法度，赏赐丰厚。裴行俭常常说“：褚遂良如果不是精美的笔和墨，还不曾叫写就写，不选择笔和墨的好坏而能写得机灵敏捷的，只有我和虞世南而已。”他撰写《选谱》、《草字杂体》好几万字。还就安置军营、阵势摆列、预料胜负、识别人才等问题编写了四十六条经验诀窍，武后命令武承嗣上门拿走了，没有流传。
裴行俭通晓天文、历法，每次打仗，都能预知有利的时日。他善于识别人，在吏部任职时，看到苏味道、王剧，说道：“您二位日后会主管选拔人才的工作。”
李敬玄大力赞扬王勃、杨炯、卢照邻、骆宾王的才学，推荐给裴行俭，裴行俭说：“做官的人要达到远大的志向、职位、前途，就要把度量见识放在首位，把文学技艺放在其次。像王勃等人虽然富有文才，但轻浮急躁，爱卖弄夸耀，哪里是享有爵位俸禄的人呢？杨炯比较稳重谨慎，可以当到县令，其余的人都不会善终。”他推荐的高级将领，例如程务挺、张虔曰助、崔智聅、王方翼、蚕金毗、刘敬同、郭待封、李多祚、黑齿常之，大都是当世名将，由副官升为刺史将军的几十人。
仗义疏财
高宗曾赏赐给他骏马和珍贵的马鞍，令史私自骑马奔驰，马跌跤摔坏了马鞍，吓得逃跑了。裴行俭叫他回来，没有追究他。当初，平定阿史那都支、李遮匐时，缴获的珍宝数量巨大贵重无比，各国的首领将士希望看看，裴行俭乘机设宴，全部拿出来让他们观赏。有一个直径两尺的大玛瑙盘，错杂艳丽的色彩闪烁光亮，军中小吏脚步太快跌了一跤，盘子被摔碎了，惶恐惊怕，跪在地上头叩出了血。裴行俭笑着说：“你不是故意的，怎么吓成这个样子？”没有一丝舍不得的颜色。高宗赏赐给他从阿史那都支那儿缴获的财物金银器皿三千多件，骆驼马牛数字相同，裴行俭分送给亲戚朋友直到部下，几天时间就送光了。
历史评价
苏定方：“吾用兵，世无可教者，今子也贤。”
李治：”行俭提孤军，深入万里，兵不血刃而叛党擒夷，可谓文武兼备矣，其兼授二职。“
张说：”公志坚虑精，神勇识澈，艺必讨本，学皆睹奥。又善测候云物，推步气象，鬼无遯谋，灵不藏用。著文集二十卷，造草字数千文，皆宝传人间。以为代法。又撰《选谱》十卷，又为军营行阵、部众、料敌等四十六诀，大圣天后令秘书监武承嗣就家取进，以为秘术。“
《旧唐书》：“昔晋侯选任将帅，取其说《礼》《乐》而敦《诗》《书》，良有以也。夫权谋方略，兵家之大经，邦国系之以存亡，政令因之而强弱，则冯众怙力，豨勇虎暴者，安可轻言推毂授任哉！故王猛、诸葛亮振起穷巷，驱驾豪杰，左指右顾，廓定霸图，非他道也，盖智力权变，适当其用耳。刘乐城、裴闻喜，文雅方略，无谢昔贤，治戎安边，绰有心术，儒将之雄者也。天后预政之时，刑峻如壑，多以谀佞希恩，而乐城、甑山，昌言规正，若时无君子，安及此言？正平铨藻吏能，文学政事，颇有深识。而前史讥其谬谥，有涉陈寿短武侯应变之论乎！非通论也。”
《新唐书》：“仁轨等以兵开定四夷，其勇无前，至奉上则瞿瞿若不及，行俭临下以恕，师德宽厚，其能以功名始终者，盖近乎勇于敢则杀，勇于不敢则活者邪！”
杜牧：“周有齐太公，秦有王翦，两汉有韩信、赵充国、耿恭、虞诩、段颎，魏有司马懿，吴有周瑜，蜀有诸葛武侯，晋有羊祜、杜公元凯，梁有韦睿，元魏有崔浩，周有韦孝宽，隋有杨素，国朝有李靖、李勣、裴行俭、郭元振。如此人者，当此一时，其所出计画，皆考古校今，奇秘长远，策先定於内，功后成於外。”
陈元靓：“唐有秩宗，清门缵戎。发挥玉略，军谋武功。铨品人物，将材文雄。壮容伟绩，凛然英风。”
陈子龙：”自汉以后，文武渐分，然犹有虞诩、诸葛亮、周瑜、陆逊、司马懿、羊祜、杜预、温峤、谢玄、韦睿、崔浩、李靖、裴行俭、郭元振、裴度、李德裕、韩琦、李纲、虞允文之徒奋策儒素建功阃外，为时宗臣。彼岂必有抟虎之力，射雕之技哉？不过深明古今之事，能决机宜之便耳。“
后世地位
公元782年（建中三年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“礼部尚书闻喜公裴行俭”。 及至公元1123年（宣和五年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括裴行俭。 在北宋年间成书的《十七史百将传》中，裴行俭亦位列其中。
墓址
位于闻喜县郝庄乡永青村西南。墓原有冢，有石人、石马，均于60年代平田整地时破坏，现仅存唐代石碑一通，字迹模糊不清，额篆“唐故礼部尚书”字迹。
