虞世南的祖父虞检,在梁代曾任始兴王咨议;父亲虞荔,于陈朝太子中庶子,都有很高的名望。虞世南的叔父虞寄,在陈朝官至中书侍郎,因没有子嗣,虞世南便过继给虞寄为子,因此他取字伯施。虞世南生性沉静寡欲,意志坚定,努力学习,年少时与兄长虞世基一起在著名文学家顾野王的门下读书,受学十多年,他勤奋努力精思不懈,有时十几天不洗脸不梳头。他擅长写文章,曾师法著名文学家徐陵,徐陵也认为虞世南得到了自己的真髓。与他同郡的和尚智永是王羲之的七世孙,擅书法,虞世南拜智永为师,深得王羲之书法真传,由此名声更大。
陈文帝天嘉二年(561年),虞世南的父亲虞荔去世,当时虞世南还年幼,因悲哀过度瘦损得几乎承受不住丧服。陈文帝知道虞荔的两个儿子博学,常从宫中派使者到他们家里去扶助卫护他们。到了守丧期满除服,虞世南被召为建安王法曹参军。他的叔父虞寄被晋安太守陈宝应捕获,远在闽、越一带,虞世南虽然已除去丧服,却还是布衣蔬食。到天嘉五年(564年),陈宝应战败,虞寄得以生还,才令虞世南脱去布衣食肉。
陈后主至德元年(583年),除任西阳王友。开皇九年(589年),陈朝灭亡后,虞世南与虞世基一起到隋朝京师长安,兄弟二人都名重一时,当时的人把他们比作西晋的陆机与其弟陆云。当时隋炀帝杨广还是晋王,听到他们的名声,杨广与秦王杨俊征召的文书一起送到,虞世南以母亲年老为借口,坚决推辞,杨广命令使者去追他们。大业元年(605年),虞世南接连被授为秘书郎,升迁为起居舍人。与虞绰、庾自直共撰《长洲玉镜》。同年,因母亲去世而守丧。当时虞世基在当朝非常显贵,妻子穿衣都模仿王者,虞世南虽然同他们住在一起,却清贫节俭,不改变自己的性情。江都之变后,虞世南随宇文化及到聊城。武德二年(619年),宇文化及兵败被斩,虞世南又被窦建德抓获,窦建德任命他为黄门侍郎。