琅玡王司马睿(即晋元帝)与王导素来友善。王导知道天下已经开始动乱,于是全心全意辅佐司马睿,暗中立下了兴复朝纲的意愿。司马睿也非常信任器重他,两人情同挚友。司马睿还在洛阳时,王导总是劝说他要尽快回到藩国。
永兴二年(305年),司马睿出镇下邳,不久迁安东将军,请王导担任安东将军司马,军事谋划,都听从其安排。
永嘉元年(307年),司马睿听从王导的建议,出镇建业(后改建康,今江苏南京)。王导相随南渡。西晋灭吴以后,南方士族被排斥,仕进很困难,当然不满意。王导想要在原孙吴境内建立以北方士族为骨干的东晋,联络南方士族便成为极其重要的事务。王导就劝说司马睿道:“顾荣、贺循,都是此地最具名望的人,应当结交他们来收服人心,他们两人来了,就没有不来的人。”司马睿就派王导亲自去造访贺循、顾荣,二人都应召而至。由此吴地之人望风顺附,百姓归心。从此之后,他们相互依靠,君臣的名分就确立了下来。(相传司马睿初到建业时,吴地之人不愿归附,到建康已一个多月了,士族百姓还没有人来登门拜谒,王导为此事很焦急。正赶上司马睿出去观看禊祭,王导让司马睿乘舆,安排了威严的仪仗。王导和王敦等名士们都骑马侍从,纪瞻、顾荣等人见了后感到惊异,一个跟着一个地在道路左边行拜礼。此事载入《晋书·王导传》,但司马光在《资治通鉴考异》中已有怀疑;今人田余庆在《东晋门阀政治》中则已通过详细考订,认为并非史实)。
永嘉五年(311年),汉国大将刘曜、王弥攻破洛阳,俘晋怀帝,杀王公以下士民三万余人,北方陷入空前的战乱中。中原人士到江南避难的有十分之六、七,王导劝司马睿乘机收揽贤人君子,扩大力量以图大事。
当时荆、扬二州比较安定,人口众多,物产丰饶,王导的治理方针讲求清静,常劝司马睿克己垂范励精图治,辅佐君主安宁邦国。于是越发受司马睿的器重,两人之间的感情日益深厚,朝野之中都为之倾心,称王导为“仲父”。司马睿曾对王导说:“你就是我的萧何呀!”王导回答说:“过去秦朝无道,天下百姓厌弃乱世,而极为狡黠的人又欺凌践踏人民,人们感怀汉王刘邦的恩德,群起响应反秦,所以大功容易告成。自从曹魏立朝以来,直到晋太康时期,公卿士大夫及门阀世族,奢侈挥霍相互攀比,先贤政教逐步衰退,先朝治世法度,无人遵循,大小官吏,沉溺于享乐之中,才使得奸佞之人有机可乘,导致朝政大道亏伤。然而混乱后将会出现安定,这是天地间的规律。大王将要建立盖世之功勋,重新一统山河,管仲、乐毅这样的人才,这时就会出现,不是我们这样普普通通的臣子所能比拟的。希望大王能深谋远虑,广择贤能。顾荣、贺循、纪瞻、周玘,都是南方的名士,希望大王能对他们礼敬优待,则天下可安。”司马睿采纳了王导的建议,从而逐渐赢得了南北士族的共同拥戴。南渡士人桓彝在初到江东时,看到司马睿势力单薄,很为担心,对名士周顗说:“我因为中原多故,想到江南寻个安身立命之地,不料朝廷如此微弱,怎么办才好呢?”当王导和他纵谈形势以后,他的态度有了变化:“我见到了江左‘管仲’,不再忧虑了。”
永嘉(307年—313年)末年,王导迁任丹阳太守,加辅国将军。王导上奏劝谏司马睿不要轻易赐予臣下鼓盖等礼崇之物,让尊卑雅俗有所区别。司马睿下令嘉奖王导,拜他为宁远将军,不久又加振威将军。
建兴元年(313年),晋愍帝司马邺即位,征王导为吏部郎,但他没有入朝就职。
建武元年(317年),司马睿即晋王位后,任命王导为丞相军谘祭酒。不久拜右将军、扬州刺史、监管江南诸军事,又迁骠骑将军,加散骑常侍、都督中外诸军、领中书监、录尚书事,假节、刺史如故。王导因为看到王敦统率六州,坚决辞掉都督中外诸军的职务。后又因他事牵连,被除去符节。
司马睿喜爱琅玡王司马裒,有以他取代长子司马绍的想法,去征求王导的意见。王导说:“立太子都是立长子,而且司马绍也很贤明,不应当随意改变。”司马睿还是犹豫不决。王导常常劝谏,司马绍的名分才得以确立。