其作品在元代就已很稀少，今所见存从帖中之外，有传世书迹刻石楷书有《孔子庙堂碑》、《破邪论》、行书有《汝南公主墓志铭》、《摹兰亭序》等。《唐人摹兰亭序三种》其中之一传为虞世南的墨迹。
思想
虞世南从儒学为规，修身力行。唐太宗常引进谈论，共观经史，每论及历代为政得失，必有规纲，多有补益。强调学习经史，认为自古圣贤。“劝乎学而立其名”，若不学，则“没世而无闻”。崇尚孔子“节用而爱人”的思想主张薄葬。认为古时帝王所以薄葬，不是不想荣其亲，然而高坟原垅，珍宝奇物，实所为累。圣人深思远虑，安于薄葬，是为长久之计。虞世南为一代儒臣；对扩大儒学影响起一定作用。
整理藏书
虞世南秘书监任职时，充分利用国家藏书，主编《北堂书钞》160卷。北堂是秘书省的后堂，故名。全书分19部，下分852类，19部内容极为广泛，包括帝王、后纪、礼仪、衣冠、仪饰、服饰等部，其中汇集了大量的儒学资料，起着传授知识，临文备查的作用，为唐代四大类书之一。又奉敕参撰《群书治要》50卷，辑录经史谱子有关治国兴衰政迹之文，始上古，终晋代，凡采经书12种，10卷；史书8种，20卷；子书，四书7种，20卷。多本唐初善本，前代名儒桓谭，仲长统等人政论，亦赖此书得其梗概。个人收藏书画作品甚多，亦有图籍存于家。收藏品钤有“世南”等印章 。
著有《兔园集》10卷，另有诗文集10卷行于世。原有诗文集30卷，由褚亮作序， 但已散失不全。《全唐诗》编其诗1卷 ，《全唐文》收录有其诗文及奏疏 。民国张寿镛辑成 《虞秘监集》4卷，收入 《四明丛书》。
历史评价
封德彝：世基（虞世基）被诛，世南匍匐而请代；善心（许善心）之死，敬宗（许敬宗）舞蹈以求生。
李世民：①朕因暇日，与虞世南商略古今，有一言之失，未尝不怅恨，其恳诚若此，朕用嘉焉。群臣皆若世南，天下何忧不理！ ②世南一人，有出世之才，遂兼五绝。一曰忠谠，二曰友悌，三曰博文，四曰词藻，五曰书翰。③虞世南于我，犹一体也。拾遗补阙，无日暂忘，实当代名臣，人伦准的。吾有小失，必犯颜而谏之。今其云亡，石渠、东观之中，无复人矣，痛惜岂可言耶！ ④礼部尚书、永兴文懿公虞世南，德行淳备，文为辞宗，夙夜尽心，志在忠益。 ⑤虞世南学综古今，行笃终始，至孝忠直，事多宏益。 ⑥虞世南死，无与论书者！
褚亮：笃行扬声，雕文绝世。网罗百世，并包六艺。
裴行俭：褚遂良非精笔佳墨，未尝辄书，不择笔墨而妍捷者，余与虞世南耳。
李嗣真：虞世南萧散洒落，真草惟命，如罗绮娇春，鹓鸿戏沼，故当子云之上。
吴兢：太宗皇帝好悦至言，时有魏徵、王珪、虞世南、李大亮、岑文本、刘洎、马周、褚遂良、杜正伦、高季辅，咸以切谏，引居要职。
白居易：国朝以来，有刘德威、张文瓘、唐临为大理卿，有魏徵、虞世南、颜师古为秘书监，设官之重，得贤之盛，人到于今称之。
张怀瓘：伯施隶行草入妙。
贾耽：书之中虞书巧，体法自然归大道。不同怀素只攻颠，岂类张芝惟创草。形势素，筋骨老，父子君臣相揖抱。孤青似竹更飕飔，阔白如波长浩渺。能方正，不隳倒，功夫未至难寻奥。须知孔子庙堂碑，便是青箱中至宝。
裴敬：以学行、文翰俱称者，虞秘监。
刘昫：①虞永兴之从建德，李安平之佐公祏，褚阳翟之依薛举，盖大渴不能择泉而饮，大暑不能择廕而息耳，非不识其饮憩之所。及文皇帝揭三辰而烛天下，群贤雾集，人之所奉，方得跃鳞天池，擅价春山，为一代之至宝，则所托之势异也。隋掌郢握，曷有常哉！二虞昆仲，文章炳蔚于隋、唐之际；褚河南父子，箴规献替，洋溢于贞观、永徽之间。所谓代有人焉，而三家尤盛。 ②猗与文皇，荡涤苍昊。十八文星，连辉炳耀。虞、褚之笔，动若有神。安平之什，老而弥新。
宋祁：文本才猷，世南鲠谔，百药之持论，亮、思廉之邃雅，德棻之辞章，皆治世华采，而淟汩于隋，光明于唐，何哉？盖天下未尝无贤，以不用亡；不必多贤，以见用兴。
岑宗日：世南潜心羲之，盖若颜子之亚圣。
司马光：世南外和柔而内忠直，上尝称世南有五绝：一德行，二忠直，三博学，四文辞，五书翰。
曾巩：当房、杜之时，所与共事则长孙无忌、岑文本，主谏诤则魏郑公、王珪，振纲维则戴胄、刘洎，持宪法则张元素、孙伏伽，用兵征伐则李勣、李靖，长民守土则李大亮。其余为卿大夫，各任其事，则马周、温彦博、杜正伦、张行成、李纲、虞世南、褚遂良之徒，不可胜数。
米芾：虞世南如学休粮道士，神意虽清，而精气疲困。
洪迈：夫太宗之梦世南，盖君臣相与之诚所致。
高棅：虞监师资野王，嗜慕徐、庾。髫卯之年，婉缛已著；琨玙之美，绮藻并丰。虽隋皇忌人之主，贞观睿圣之朝，然而善始之爱，身存乱国，准伦之誉，竟列名臣，骈美二陆，不信知言矣乎？其诗在隋则洗濯浮夸，兴寄巳远；在唐则藻思萦纡，不乏雅道。殆所谓圆融整丽，四德具存，治世之音，先人而兴者也。至如“横空一鸟度，照水百花燃”、“竹开霜后翠，梅动雪前香”，天然秀颖，不烦痕削。又《长春宫应令》云“民瘼谅斯求”，《江都应诏》云“顺动悦来苏”，其视宫体之规，同归雅正。石渠、东观之思，自非圣主，何能扬休下后世哉！
丰坊：昔人传笔诀云：“双钩悬腕，让左侧右，虚掌实指，意前笔后。”论书势云：“如屋漏痕，如壁坼，如锥画沙，如印印泥，如折钗股。”自钟、王以来，知此秘者……唐则欧阳信本、虞伯施、褚登善、薛纯陀、薛嗣通、孙过庭、钟绍京、贾膺福、李泰和、贺季真、李太白、张伯高、杜子美、颜清臣、柳诚悬、钱藏真、张从申……虽所就不一，要之皆有师法，非孟浪者。
许学夷：武德、贞观间，太宗及虞世南、魏徵诸公五言，声尽入律，语多绮靡，即梁、陈旧习也……按《唐书》：“世南文章婉缛，慕徐陵。太宗尝作宫体诗，使赓和。世南门：‘圣作诚工，然体非雅正，臣恐此诗一传，天下风靡，不也奉诏。’帝曰：‘朕试卿耳。’后帝为诗一篇，述古兴亡，既而叹曰：‘钟子期死，伯牙不复鼓琴，朕此诗何所示耶？’敕褚遂良即其灵座焚之。”今观世南诗，犹不免绮靡之习，何也？盖世南虽知宫体妖艳之语为非正，而绮靡之弊则沿陈、隋旧习而弗知耳。且世南所慕徐陵，而谓之雅正，可手？至如《出塞》、《从军》、《饮马》、《结客》及魏徵《出关》等篇，声气稍雄，与王褒、薛道衡诸作相上下，此唐音之始也。
褚人获：学士虞世南文学迈世。
曹树德：右军工书穷神化，嫡派相承虞永兴。内含刚健外婀娜，天然墨妙超人群。把玩再三不忍释，置之座隅忘朝昏。如与有道相接对，顿教方寸澹俗氛。……惟有秘监擅众长，有如君子善藏器。但论行草亦偏工，暮年所得更深邃。兰亭茧纸空复空，即此已可追其踪。晚近俗书体尤弱，妩媚祇成俳优风。临摹虽工神气失，枯枝断梗将无同。书法与世相流转，识者观此忧忡忡。
轶事典故
以身请代
江都之变时，宇文化及反叛杀君，虞世南之兄虞世基任内史侍郎，也将被杀，虞世南抱持着虞世基痛号悲泣，请求让自己替兄受死，宇文化及不同意 ，虞世南因此悲哀得瘦损异常，形销骨立，时人因而都称赞他。 当时，许敬宗的父亲许善心也被宇文化及杀害，封德彝时为内史舍人，完全看到了当时的情况，后来对人说：“虞世基被诛杀，虞世南伏地而行请求替兄受死，许善心被处死，许敬宗手舞足蹈用来求生。”时人以此为话柄。
君臣相梦
虞世南逝世几年后，太宗曾在夜里梦见虞世南，像平生一样。第二天，太宗下令说：“礼部尚书、永兴文懿公虞世南，德行淳朴完备，文章是辞赋的宗师，早晚尽心，志在忠益。忽然去世，转眼过了几年。昨因夜梦，忽见其人，并且进谏直言，有如平生之日。追怀他留下的美德，很增悲叹，应当供给冥钱，申明朕的思旧之情，可在他家设五百僧斋，并为他造天尊像一座。” …
