宋自开国以来，厉行中央集权制，所以士大夫社会的观念中，一向重京卿而薄外官；京卿得罪者常外放州郡，视为责降，几成通例。苏轼初至杭州，不知底细的陈传道，写信来安慰他的“不遇”，苏轼大为不安，复书言：

尽管苏轼自己，有此不同流俗的胸襟，可是宣仁太皇太后却也并不同此想法，她是在极不得已的情况下，才准了苏轼乞放外郡的请求，心里抱着满腔遗憾，无时不在考虑弥补。

苏轼一离京城，元祐四年六月即除苏辙为吏部侍郎；三天后，改翰林学士；不久，又命权兼吏部尚书。纵然说苏辙自有进用的条件，但是晋升的速度那么快，时间又排得那么凑巧，令人不得不信，这未始不是太后的弥补手腕。

元祐五年（1090）正月，距苏轼莅杭不过半年，范祖禹即疏请召轼还朝，以为在中枢政治的重要献替上，不能没有像他这样一个耿直敢言的大臣。疏言：

然而其时杭州正在灾荒之中，苏轼勠力从事于救灾工作，不便中途换人，只得暂时搁置一下。五月间，遂有再除苏辙为御史中丞的诏命。

这次诏命，系由宫中直接以中旨颁发，出于太皇太后的宸衷独断，事先未与宰执商议，因此引起自宰相以次，满朝的不悦。

不但宣仁太皇太后如此惓惓于苏氏兄弟，而年方十五，尚未亲政的哲宗皇帝，也很惦念这位曾任侍读的老臣。据王巩说，苏轼自杭召归途中，曾亲口告诉他说：在杭时，一日，宫里派中使下来，交代公事既毕，地方监司官集合在望湖楼上公宴饯行。席终，他迟不动身，问苏轼道：

“某未行，监司莫可先归。”

诸官告退，他密语苏轼道：

“某出京师时，往辞官家，官家说：辞了娘娘再来。某往辞太后殿，复到官家处，引某至一柜子旁，出此一角，密谕曰：赐与苏轼，不得令人知。”

取出来的赐物，是茶一斤，封题皆是御笔亲书，苏轼赶忙写了札子称谢，托他代为进呈。

说完这个故事，苏轼慨然言道：

“且教子由伏事娘娘，我小使头出来，自家门打一解。”[〔宋〕王巩：《随手杂录》。]

元祐五年底，太皇太后两次面谕执政，要召苏轼还朝。翌年正月，就有召轼为吏部尚书的消息。

苏轼闻讯，大为惶惑，因为范袓禹上年曾经论荐，所以复函淳父说：

同年二月，朝廷以刘挚为尚书右仆射兼中书侍郎、以苏辙为中大夫守尚书右丞。

太皇太后这次径擢苏辙居辅政之地的诏命，便没有以前几次那样顺利了，命下中书，右司谏杨康国拒不书读，奏曰：

其言与反对派向来所说的无异，指三苏是苏秦、张仪的策士之学，毫无新鲜内容。章上，不报。改诏范祖禹书读行下。

太皇太后的旨意，虽然贯彻了，但苏氏弟兄之为朝臣侧目的情势，也益发深重了。

正月间，原拟召苏轼为吏部尚书，即前函所说的“天官之除”，后来既任命了苏辙为尚书右丞，兄弟同朝执政，总有不便。所以，二月二十八日诏下杭州，就改为以翰林学士承旨召还了。

苏辙对于尚书右丞这一新命，内则不敢超迁于老哥的前面，外则凛惧于同僚的忌嫉，连上四状，辞不接受。状言：

苏辙求与老哥一同退守侍从，使与现实政治权势，保持一个相当的距离，确实是个比较安全的处置。无奈太皇太后之重用苏辙、召还苏轼，用意本在牵制执政，所以仍然诏示不许。

苏轼在杭州奉诏，也立即奏请辞免翰林学士承旨，拜发了第一状。他的立场，亦是亲嫌理应回避，如言：

将来接替知杭州事的，是苏轼的老友，与他同应开封举人试，在仕历上亦步亦趋的林希（子中）。他以天章阁待制知润州，调知杭州。苏轼很高兴林子中来接他的手，有许多地方未完的心愿，希望子中能来完成。

苏轼奉诏还朝，杭州是无法留恋的了。一向乐观的他，以为既有苏辙在朝辅政，而他的处境，太皇太后也很明白，只要表示坚定的心，请求再行外放，应该是没有问题的，所以他心里还很轻松。

不过，杭州的朋友，西湖的山水，即使是堤边的一草一木，行路的男女老幼，处处都似连系着感情的脉动，一时真不容易放开。所以，自有内召消息以来，苏轼湖上漫游的行脚，更加勤快了。

二月，杭州的天气，还是春寒料峭的时候，福建路转运判官曹辅来了，陪他雪中游湖。过些日子，龙山真觉院的瑞香花开了，他们又一同去赏花。

这瑞香花，有黄紫两种，有紫瓣而金边者，初产于庐山，后来广植于各处。据（咸淳）《临安志》：“东西马塍，瑞香最多，大者名锦熏笼，色香清远。”然而，这已是南宋时事，苏轼为守时，却以真觉院的瑞香花为最胜。轼诗篇首言：“幽香结浅紫，来自孤云岑。”可知这是紫色而传自庐山的那一种。

曹辅和其他坐客都说这不是瑞香，是紫丁香。苏轼笑子方不识：“公子眼花乱发，老夫鼻观先通。”连作三阕《西江月》，其第三阕专为瑞香辩证：

作为一个中国旧诗人，必须通识草木虫鱼之名，原非易事。现在插入这段闲话，实欲见出苏轼的性格，认真而又好胜，即使是这种细碎的花名之争，他既不肯含糊混同，而又那么恣肆地调侃他的朋友。

越州太守钱勰（穆夫），几于同时被召，从班再知开封，苏轼作《临江仙》送他先行。对于仕宦生涯的奔走四方，他深有感慨。如言：

即将离去杭州的苏轼，只有尽量抽出时间来，山南山北地跑，身在春日二、三月的西湖风光里，山寺闻钟，湖边策马，消解无可奈何的离情。苏轼胸中久已蕴积一个极大的愿望，追寻白乐天所能得到的悠游林下的那个旧梦，忽又在心廊回荡起来。

当元祐元年（1086）九月，苏辙得除起居郎，兄弟同侍皇帝迩英阁读书时，苏轼就曾有过这个想望，留着“子由服侍娘娘”，自认“定似香山老居士，世缘终浅道根深”。希望就可抽身退出这个现实政治的圈子，其时，距他起复还朝，还不满一年，而且正在扶摇直上青云的时期，他已抱有怀退之想，“世缘终浅”，苏轼自知他终究不合是一个富贵场中的人物。

苏轼在杭州，曾遇善于看相的程杰，作诗为赠，也说：

白乐天做过杭州和苏州两地刺史，后以秘书监召迁刑部侍郎，其后遂以刑部尚书致仕。宦游三十年，退居洛阳，疏沼种树，构石筑楼于香山，凿八节滩，自号“醉吟先生”，与和尚结香火社，文酒自娱者二十年，以七十五高龄逝世。

苏轼非常羡慕白乐天这“水畔竹篱边”的闲居生活。现在他从杭州太守召还，行年五十六岁，倘能及此告退，如与乐天一样能活到七十五岁，则也一样可有二十年的闲居之福。在这美丽的幻想里，苏轼自言不如乐天者，他还有个樊素，名花伴老，然而，苏轼岂不自有一个深爱的朝云？

离杭三日前，往别西湖南北山诸道人，下天竺的惠净和尚赠他一方丑石，作三绝句，诗题也说：“余去杭十六年而复来，留二年而去，平日自觉出处老少，粗似乐天，虽才名相远，而安分寡求，亦庶几焉。”诗之一曰：

善相的程杰似乎也没能看出他以后还有那么大的风波，还有那么一段九死一生的艰危。即以目前而论，好不容易逃出九陌红尘的火坑，到西湖边来透了一口闷气，如今又得硬着头皮回去，能不能够再逃出来，实在也很难说，虽然他自己似乎还很乐观。

杭州的同僚，在西湖上设宴饯行，刘季孙有诗，马瑊有词——赋《木兰花令》送别，苏轼各有和作。兹举中玉词，以见僚友对他的感情：

苏轼自别西湖，不论何时何地，惓惓难忘。不幸的是此别以后，果然再也无缘重到杭州。

苏轼决心不愿留京供职，所以单身一人上京，一面上章力辞，只望途中就能得到朝廷别给一郡的恩诏，他就可避过汴京城中无谓的麻烦。

元祐六年（1091）三月初九，苏轼自杭州西郊下塘乘船离杭，因为这次水灾以苏州和湖州的情况最严重，所以他要从水路绕道灾区，亲自勘察一个明白。于是决定先赴湖州，溯吴淞江，再至苏州。