苏轼幸已逃过谢景温诬告这一关，出为杭州通判。离京在即，回首从政以来，忽已十年，当初一心以为参加了匡时济世的大事业，不料自少至长，努力追求的政治生活，竟如儿戏一般荒谬，幻灭的悲哀，令他惘然若失。
人生真有命运这样东西，挡在前面，引领人懵懂前行吗？尽管有人不肯承认它，以为人自有力主宰一切，不幸有更多的经验事实，使人们不得不承认：人，实在很脆弱，常被命运所捉弄。
苏轼未第制科以前，声名先已上达九重，初次诣阙陛见，英宗皇帝即欲破格擢用为知制诰那样的御前重职，宰相韩琦提到“馆职必先试而后用”的规例，英宗还说：“不知能与不能，才要考试。如轼者，有所不能耶！”君主的信任达到如此深切的地步，不能不说是罕见的异数。然而，谁能想到英宗会那么短命，还来不及用他就已崩殂。
神宗是个对文字很挑剔的君主，他先已喜欢苏轼的文章，初次召见，听了他那明快的议论，认为足以破疑解惑，即欲拔置左右，委为修注官。无奈格于王安石的反对，以后又屡在御前谤毁他不是个纯正的学者，终以谢景温的诬告，逼得苏轼只好自请外放。
士人从仕，能得人主的知遇，该是多不容易的造化，而苏轼是既得其“知”，而无其“遇”。
熙宁四年（1071）七月，苏轼挈带一家大小——继室闰之夫人、发妻所生现已十三岁的长子苏迈、去年新生的次子迨等，乘舟出都。先到陈州去谒候张方平，与在陈州做学官的弟弟苏辙晤聚。
船中无事，做了八首小诗，其中有一首说：
鸟乐忘罝罦，鱼乐忘钩饵。
何必择所安，滔滔天下是。
刚从政治罗网里脱逃出来的苏轼，一出都城，便觉天地辽阔，心想另求一个安身之地，应该不难，实在觉得没有违心背性，非要做官不可的道理。
陈州城北有个柳湖，是当地的一大名胜。湖边古柳万株，树皆合抱，南山老松，蛟龙蟠屈，苏辙曾有《柳湖感物》之作。
苏辙诗鄙薄柳花的浮浪而爱松性的坚实，这见解很合乎他的个性。但是老兄以为不然，和诗说：“子今憔悴众所弃，驱马独出无往还。惟有柳湖万株柳，清荫与子供朝昏。”这样的好友，为何要讥评它？何况宇宙万物，四时各有盛衰，南山孤松如压在雪底，即使“抱冻不死”，人家看不到，它也无法表显于世，还有谁来赞扬它呢？苏轼今日自有这个感慨：物各有遇有不遇，但是千万不能被埋没。
苏轼在陈州弟家，盘桓了七十多天。张方平因反对新法，于熙宁三年正月出判应天府而至陈州，哪知陈州的监司官，现在也都换了一班新进的后生，趋时兴利，道不相谋，方平说：“吾衰矣，雅不能事少年，不如归去，以全吾志。”遂向朝廷再三要请以南京留台名义告了老。苏轼作《送张安道赴南都留台》诗说：“我亦世味薄，因循鬓生丝。出处良细事，从公当有时。”
在陈州初遇张耒。耒字文潜，淮阴人，其时方从苏辙问学，所以起初别人都说他是“少公之客”。他的诗，学白乐天，务为自然平淡，尤精绝句，如《偶题》云：“相逢记得画桥头，花似精神柳似柔。莫谓无情即无语，春风传意水传愁。”苏轼称之曰：“文潜容衍靖深，独若不得已于书者。”至元祐中，苏轼在翰林，荐耒出任馆职，始为东坡门下四学士之一。
九月间，兄弟相偕同往颍州，晋谒致仕后闲居里第的欧阳老师。
欧阳修文章风节，负天下重望，但于英宗治平年间朝廷“濮议”中，被吕诲、彭思永攻击得灰头土脸。平生提携后进，不遗余力，但被门生蒋之奇造作“帷薄不修”[蒋之奇诬欧阳修与自家的甥女通奸。]的蜚语，连遭污蔑，意冷心灰。自治平四年出知亳州后，就接二连三以体弱多病为辞，自请退休。到调知蔡州时，更是决心求去，门人蔡承禧劝他道：“公德望为朝廷所重，未及引年（规定告老的年纪），岂容遽去？”欧阳修叹道：“某平生名节，为后生描摹殆尽。惟有速退以全节，岂能更待驱逐乎！”
北宋士大夫间的风气，败坏到这个地步，也是苏轼所意想不到的现实。欧阳修一生更历忧患，精力早衰，他的头发完全白了，终年牙痛，已经脱落了好几个，两耳重听，本来是深度的近视眼，这时候，几已接近失明了，仅辨黑白而已。最严重的是患有多年的消渴疾，即今之糖尿病，时发时愈，全身肌肉消瘦，自言“弱胫零丁，兀如枯木”，以致步履维艰，更形衰老。
苏轼认为欧阳的年纪还不算太老，身体之所以坏到这个地步，显然是忧劳过度之故，只看自己还只三十六岁，头上已生白发，忧劳伤身，真不值得。《颍州初别子由诗》说：“……我生如飞蓬。多忧发早白，不见六一翁。”
唐诗以抒写感情为主，几已写尽人类情绪上各种隐微曲折的变化，穷极工致，后人很难在这上面更有超越的成就。而宋代的散文非常发达，宋人就以锻炼文章的方法，用之为“知性之诗”，别辟途径，与唐诗争胜。所以，中国诗史中，咏物诗为宋人的特色。
欧阳修的《日本刀歌》，又是宋人咏物诗中的代表之作，自己是此中高手，这次却出个难题给苏轼，要他为所珍藏的石屏风赋一首诗，于是便有《欧阳少师令赋所蓄石屏》诗：
何人遗公石屏风，上有水墨希微踪。
不画长林与巨植，独画峨眉山西雪岭上万岁不老之孤松。
崖崩涧绝可望不可到，孤烟落日相溟濛。
含风偃蹇得真态，刻画始信天有工。
我恐毕宏、韦偃死葬虢山下，骨可朽烂心难穷。
神机巧思无所发，化为烟霏沦石中。
古来画师非俗士，摹写物象略与诗人同。
愿公作诗慰不遇，无使二子含愤泣幽宫。
物，本是“死”的东西，要将它写“活”，实在不大容易。苏轼早年在凤翔时，写过一首《石鼓歌》，将历代文字流变间的人物，一一引进诗中，便将活泼泼的生命赋予了死的石鼓，后世评者认为胜于韩愈的旧作。
石屏风这个题材，更是平凡，不过石上有纹，颇似松影而已。苏轼运用其丰富的想象力，联想出两个画松的古人，因这两个画家生前不遇，想象这块石上的松影，定是这毕、韦二人，含愤地下的精气，沦入石中所形成的画面。经此点染，便在这本是“块然一物”的石屏风里，添入了画师的灵魂，写成一篇非常生动的好诗。难怪欧阳为之大乐。
欧阳修虽然须发尽白，满身疾病，但据苏轼说，气色甚好，谈锋还是很健。苏轼劝老师道：“已将寿夭付天公，彼徒辛苦吾差乐。”那些当权的人，只有辛苦，哪里能如老师这样自由自在的快活，这是安慰老人的话，但也想不到未及一年，欧阳便在颍州谢世。
兄弟俩在颍州欧阳家住了二十天后，于此分手，在苏轼的感觉中，认为相较以前三次分别，此次滋味特别酸冷。
兄弟两人，虽然一样的不得意，但是苏辙走得早，毛羽未伤，所以苏轼称之曰：“至今天下士，去莫如子猛。”
苏轼自嗟临事如病热狂，不能节制进退，现在则像一个喝醉酒的人，摔了一个大跟头，幸而没有受伤，倒也吓醒了迷梦。《颍州初别子由》诗里，写尽只有兄弟二人自己才能体会的人生失意的哀伤。
苏轼自颍入淮，再过泗州时，记得五年前扶丧回蜀，在此遇到逆风，三日不能开航，船上人劝他向僧伽灵塔祷告，果有应验。苏轼认为只是“巧合”，大公无私的神明，何分厚薄，而做祷告的人，都只为了私自的方便。耕田的农夫希望下雨，而割草的人却要天晴，去舟要顺风，来船便将抱怨，假使人人都要祷告得称心如意，这神明岂不太难做了。
这次情形不同当年，万一再遭逆风，苏轼决定不再求神，怅然道：
今我身世两悠悠，去无所逐来无恋。
得行固愿留不恶，每到有求神亦倦。
…………
行至龟山（今江苏盱眙），诗曰：
我生飘荡去何求，再过龟山岁五周。
身行万里半天下，僧卧一庵初白头。
…………
苏轼从中国西南的边城眉山出来，而今将往东南的海滨，已经走尽了半个中国的一条直径，如此奔波劳碌，真还不知所为何来。
在泗州与一旧识的庵僧重逢，别来不过五年，但却发现他的头上也有白发了。时间是造物主之极大的公平，无分贵贱，无分劳逸，到时候都将同样老去，奔走道路的劳人和闲卧庵中的和尚既然一样，则又何苦如此“徒劳”。
苏轼离京时，还是秋暑难当的七月，一路盘桓，直到十一月二十八日，始抵杭州，途程几已半年。
杭州府衙，设于凤凰山之右麓，依山兴建，府廨左右，分设通判南厅北厅各一所，另一通判鲁有开住南厅，苏轼便居北厅。
住入官邸后，依照俗例，要祭灶，要请四邻吃酒，乃作绝句两首，代柬寄陈州苏辙：
眼看时事力难胜，贪恋君恩退未能。
迟钝终须投劾去，使君何日换聋丞。
圣明宽大许全身，衰病摧颓自畏人。
莫上冈头苦相望，吾方祭灶请比邻。
