从段内阁请辞后，林长民在走马灯般更换的政权交接中勉力强撑。1918年10月，徐世昌出任大总统。徐世昌本是科举正途出身，他和林长民的父亲林孝恂是同年钦点的翰林。或许是念着这一段渊源，再加上期望利用研究系力量摆脱段祺瑞控制，徐世昌获权后重新启用林长民。

彼时，南北割据、烽烟四起、民生凋敝，举国上下都对这北洋政府历史上第一位文人总统抱有极大希望，林长民也不例外。然而，徐世昌对林长民的态度颇令人玩味。一方面，他诚邀林长民担任总统府特设的外交委员会委员兼事务长，参与外交机密。另一方面，他又始终不让林长民进入权力中枢。当有人举荐林长民为他的秘书长时，徐世昌以“我的秘书长用不着磐磐大才”为由，断然拒绝。如此前拉而后推，徐世昌的私心清晰可见，林长民在他眼里终究是不能信赖的外人，所谓外交委员会委员的职务，在徐世昌眼中，也不过是无关宏旨的闲差。就此而言，徐世昌和段祺瑞、袁世凯并无分别。对林长民这样一个以政治为毕生诉求，渴望建功立业的人而言，长久被排除在枢机决策之外，其内心的苦闷、不安是可以想见的。位居京官高位，常有福建同乡找来求职，他每每“力劝官不可做”，不如回家种田。为何“官不可做”？在林长民，恐怕不仅仅是漂亮的推脱、虚与委蛇的敷衍，它还是一份甘苦自知的酸辛、明知不可为而为之的深深的无望。

对于书生的人生而言，枪杆子里面出政权的乱世就是一场追求未果的悲剧，目标依旧悬远，生命却已耗竭。

关于林长民晚年的心境，有一件事可以为说明。1922年5月14日，胡适发文提倡好政府主义。这个名为《我们的政治主张》的宣言，在当时联名了蔡元培、李大钊、丁文江、陶行知、梁漱溟、王宠惠、罗文干等读书界代表，达16人之多，却独独漏掉素来和胡适交厚、期望与其携手并进的梁启超与林长民二人。多年的苦心，袁世凯、段祺瑞不解也就罢了，如今视作同道的胡适也并不领情，林长民难以压制心中的不满，诉苦说：“适之（胡适的字）我们不怪他，他是个处女，不愿意同我们做过妓女的人往来。但蔡（元培）先生素来是兼收并蓄的，何以也排斥我们？”

这番话表面上看是发泄对胡适的不满，然而一个一向以清高自诩、才华自负的书生，有朝一日竟会如此自嘲自况，他的胸臆之间未尝没有一份“浊比清难”的不平与激愤。这么多年以来的动心忍性，强压着性情的迎合，周而复始地由期望到失望，到终于一事无成。从政路途当中的种种，于林长民，无一不是耗损，滴水穿石间，曾经睥睨万物的傲气、经天纬地的理想，早已面目全非，遥远得如同前世。而今世，书不成，艺不成，立功不成，欲罢不能，前行无望，林长民进退失据，内心极为煎熬和痛苦。

1919年1月18日，为解决一战战后问题的巴黎和会召开，外交总长陆徵祥奉派出席巴黎和会，研究系领袖梁启超也以巴黎和会中国代表团会外顾问及记者的身份赶赴欧洲。日本在对德战事远未结束之前就先与英法密订，战后德国在山东的一切权益直接由日本继承，同时与段祺瑞安福系国会内阁的交通总长曹汝霖密订有济顺（济南至顺德）、高徐（高密至徐州）两条铁路由日本出资建筑的密约。巴黎和会上，日本拿出这两纸密约讨价还价。4月30日，巴黎和会置中国利益于不顾，公然将原德国在山东之特权全部让给日本。先期得到消息的梁启超立即从巴黎致电汪大燮、林长民，建议发动不签字运动，以抵制卖国条款。得知消息的林长民忧愤不已，国事如斯，个人的遭际如斯，二者重叠交错，至此已是忍无可忍。他连夜为《晨报》赶写了一篇题为《外交警报敬告国民》的社论，长久以来的郁结之气就此宣泄而出。

林长民向万千国民揭露这一卖国行径，文中留下近代史上极慷慨悲壮的一句：“今果至此，则胶州亡矣，山东亡矣，国不国矣。”“国亡无日，愿合我四万万众誓死图之。”这篇不足300字的社论一经发表，犹如一颗重磅炸弹，旋即引起强烈的社会反响。5月4日下午，北平12所学校的3 000多名爱国学生举行示威游行，火烧赵家楼曹汝霖宅，痛殴章宗祥，这一切迅速汇聚为声势浩大的五四运动。亲手点燃五四运动导火索的林长民，一旦冲破种种顾虑，“发其爱国之愚”，热血任侠之气便一发而不可收。撰文后几日，他携一具棺材往北京大学附近公开演说：“他（曹汝霖）有权力，可能杀我；我拼一条命，跟他斗到底，故将棺材预备在此。”闻讯而来的听众向林长民报以热烈的掌声和欢呼声。

因为林长民的态度和立场，以段祺瑞安福系为主的亲日派视之为眼中钉，说“这回北京市民的公愤，全是外交协会林长民等煽动起来的”。日本政府更是对林长民恨之入骨。5月21日，日本大使小幡酉吉照会中国外交部，专门提到林长民，“外交委员会委员、干事长林长民君，五月二日《晨报》《国民公报》等特揭署名之警告文，内有‘今果至此，则胶州亡矣，山东亡矣，国不国矣。……愿合我四万万众誓死图之’等语，似有故意煽动之嫌。此事与五月四日北京大学生酿成纵火伤人暴动之事，本公使之深以为遗憾者”，由此威胁中国政府：“若果放置此等风潮，不特有酿成贵国内治意外之扰乱，怕有惹起两国国际重大之事态。”从日本人的态度，足可见林长民之于“五四”的影响力。徐世昌全没想到，一个为应对巴黎和会而设的临时机构竟会引起这样一场轩然大波，急召林长民到总统府，呵斥他“放野火”，并表示自己是“爱惜人才，未予严惩”。徐世昌、林长民之谊，至此中断。

当月25日，林长民手书辞职呈文给徐世昌，请求辞去刚任5个月的外交委员会委员职务，以免政府为难。《晨报》全文照登。林长民在辞呈里一一驳回了小幡酉吉的指责：“长民愤于外交之失败，发其爱国之愚……激励国民奋于图存，天经地义，不自知其非也……彼日本人绝无可以抗议之理由。且有国者不讳亡，长民措语未为过甚……”并郑重声明：“势力侵凌，利权日失，空拥领土，所存几何？山东亡矣，国不国矣，长民尚欲日讨国民而告之也。若谓职任外交委员，便应结舌于外交失败之下，此何说也？”之后，他又发表《告日本人书》，奉劝日本不要继续其侵华的错误政策：“吾今敢正告日本人曰：吾国人之对君等，实有不可讳言之痛矣，除极少数之外，不论阶级高下，知识深浅，思想新旧，观察纵有不同，饮恨几乎一致，经一度事变，便增一分怨毒……无论潮流变迁，未容君等悉奏长技，即令人人袖手恣君所为，吾辈拥有世界五分之一以上之民族，文化智能又有牢不可拔之根基，一战而霸，遂足为君等贺耶？”

因为民情汹涌，1919年6月10日，北洋政府罢免了曹汝霖、陆徵祥、章宗祥的官职，最终拒绝了在对德和约上签字，以息事宁人。然而，接踵而来的文学革命、思想启蒙、政治抗议，一浪高过一浪，摧枯拉朽，大破大立，一个新的时代终究是无可避免地降临。

转变的不仅是时代，还有个人的命运。在民初的中国，“五四”就像一部剧情跌宕、荡气回肠的大剧，因为其中的精彩演出而暴得大名者，不在少数。即使对普通的亲历者，“五四”也是持久的荣耀。比如在京的北京大学同学会，每逢5月4日必盛宴同学而捧蔡元培为上座，年年如此。蔡元培颇惫苦之，一次戏语邻座曰：“吾辈此日真成吃‘五四饭’矣！”举座哑然。

然而，历史的吊诡之处在于，“五四”的光环于他人，是光环，于林长民这个亲手点燃导火线的人，却是迥然相异的意味。

1920年4月，辞去官职的林长民出游欧洲。3月12日，国民外交协会为其饯别，席间，干事张超盛赞：“五四国民运动发生之后，林理事不避嫌疑，益为本会尽力，国人尤深感激。”林长民也极为感怀地将“五四”视为自己一生的转折。“五四”前，他顾虑到新旧势力嬗变，“偏于缓进”，总是不想“操之过急”，纵然“有不可告人之隐痛”，也一味“隐忍持重”，和权力中枢合作，委曲求全，希望引导改造。等到了“五四”，他发现“无全可求”，也再没有委曲的必要，只有“披沥所信，勇往迈进……与诸君呼号奔走，稍尽绵力”，未了感慨，从“偏于缓进”到“勇往迈进”，“长民政治生涯，从此亦焕然一新”。这一段总结作于去国之际，林长民大抵也是触景生情，以壮行色，只是一番话说来，却是半实半虚。隔着岁月的风烟回望，林长民的呼号奔走、推波助澜固然促就了五四运动的时代洪流，他也因此而到达“一生事业最光彩的顶点”。但是，抛开民族的宏大叙事，只关注当时当地个人的悲喜，则林长民的“五四”既有家国之痛，也不乏仕途多艰的恨。1919年5月的他，因家国之变而愤懑，因个人遭际而不平，不再隐忍的爆发固然是出于一己读书人的良知，但多多少少也是为了一吐胸中的不平之气。这以后，他辞去官职，以在野之身远赴欧洲，参与“国际联盟”的闲差，多年的政治抱负付诸东流，情绪很是消沉。胡适见到的林长民，“终日除了写对联条屏之外，别无一事”。出国前后，两相对比，所谓“政治生涯焕然一新”的说辞，实在是强打精神，自欺欺人。从政不足10年，林长民的心境不复从前，昔日的豪情也再难为继。