胡适于1960年10月23日返台，当晚接见记者，表示愿意为雷震作“品格证人”。
他气愤的对记者说；“十一年来雷震办《自由中国》，已经成为自由中国言论自由的象征，我曾主张应为他造铜像，不料换来的是十年坐监，这是很不公平的！”说到这里，一向平和的胡适，使劲拍了一下桌子。
11月18日上午11点半，胡适在张群的陪同下拜谒蒋介石。因为雷震的案子，这一次的气氛显然不同于以往。应该是被关照过了，这次与蒋见面不谈雷震的案子，胡适也肯定是答应过了。可不提雷震的案子，胡适对别的话题都没有兴致。他在扼要汇报了“中美学术合作会议”的情况后，看快到吃午饭的时间了，便对蒋介石说不知道总统还有什么问题要问问他。
蒋介石说：“请你谈谈政治形势罢。”
胡适问：“国内的？还是世界的？”
蒋介石说：“整个世界的。”
胡适只好讲了讲联合国大会和美国大选。
“我本来对岳军先生说过，我见总统，不谈雷案。但现在谈到国际形势，我不能不指出……”
胡适实在忍不住了，到底还是将他胸中憋闷已久的话倒了出来，告诉蒋介石说当局对这件事情的处置有欠明智，已经在台湾岛内外产生了很不好的影响，舆论普遍认为政府畏惧并摧残反对党，台湾没有言论自由，仍是戒严区……这样严重的不利后果当局恐怕还没有“深知”。
蒋介石说：“我对雷震能十分容忍。如果他的背后没有匪谍，我决不会办他。……我也晓得这案子会在国外发生不利的反响，但一个国家有他的自由，有他的自主权，我们不能不照法律办。”
涉及到通共，胡适虽然知道这是欲加之罪，但他却无从为雷震辩白。
胡适只能申明：“关于雷案与匪谍的关系，是法庭的问题。我所以很早就盼望此案能移交司法审判，正是为了全世界无人肯信军法审判的结果。……这样重大的案子，只开了八个半钟点的庭，就宣告终结了，就定期八日宣判了！这是什么审判？我在国外，实在见不得人，实在抬不起头来。”
蒋介石怪笑了下说：“胡先生同我向来是感情很好的。但是这一两年来，胡先生好像只相信雷儆寰，不相信我们政府。”
“这话太重了，我当不起。”胡适诚惶诚恐，只得当面重申1949年他刚到美国时说过的一句话：“我愿意用我道义力量来支持蒋介石先生的政府”。并对蒋介石郑重表示：“我在十一年前说的这句话，我至今没有改变。”
这些话让蒋介石很受用，气氛终于有了缓和。胡适借机又向蒋介石进言：“十年前总统曾对我说，如果我组织一个政党，总统不反对，并且可以支持我。……我今天盼望的是：总统和国民党的其它领袖能不能把那十年前对我的雅量，分一点来对待今日要组织一个新党的人？”
蒋介石未做回答，也未置可否。
时间已经很晚了，胡适起身告辞。蒋介石亲自送他到接待室门口，两人才握手相别。尽管发生了雷震一案，但胡适并不愿和蒋介石公开决裂，仍打算与之“相忍为国”。
蒋政府这一次对雷震的下黑手，除了《自由中国》杂志外，还应该与雷震组建新党有关。
胡适刚结束在美国的流亡，回到台湾不久的一天晚上，自由中国社举行宴会。
胡适在宴会上演说时，曾从争取言论自由谈到反对党，他公开主张由知识分子来组织一个在野党，并极力表彰雷震为民主自由所作的贡献。
他说：“这几年来，如果说言论自由格外普遍，我觉得雷先生的功劳最大。我说台湾应该替他造一个铜像，以表示他是真正争取言论自由的英雄、好汉、斗士。”
随后，《自由中国》便大力鼓吹胡适的倡议，宣传积极展开“新党运动”。雷震要求胡适出来领导，做党魁，实际工作则由雷负责。但胡适只同意担任顾问，却极力鼓励雷震出来组党。到1960年，筹组新党的活动进入了最后阶段。8月13日，在中坜举行竹苗桃三县座谈会，雷震宣布新党将于9月底或10月初正式成立。
然而，当新党积极准备组成的时候，9月4日，雷震便被捕了，同案被捕的还有组建新党的三个骨干分子：《自由中国》编辑兼新党秘书傅正，《自由中国》会计刘子英、马之。经军事法庭审判，雷震以“为匪宣传”与“知匪不报”两项罪名判刑14年，刘12年，马5年，傅正被判感化3年。
由于雷震案，不但《自由中国》很快停刊，雷震欲组建的新党也胎死腹中。
为在台湾争取一点民主和言论自由，雷震付出的代价是：锒铛入狱，坐了十多年牢。雷震案对胡适的打击是沉重的，总觉得“吾虽不杀伯仁，伯仁由我而死”，明知雷震是受自己的连累，明知雷震案是杀鸡给自己这个猴看，胡适却有苦而说不出来。想到雷震案就陷于深深地内疚而寝食难安，这已经让这个多病的人难以承受了，还要承受来自同仁的责备。很多同情雷震的人，都寄希望于胡适，或许他们过高估计胡适大能量了。不管胡适的名气有多大，在权力面前也只是“手无缚鸡之力”。
上一章谈到，1959至1960年间，胡适曾被卷进了总统连任问题的政治漩涡之中。
蒋介石自1954年当选第二任“总统”以后，年事渐高，任期即将届满。根据宪法，不能连任三任。而蒋的长子经国颇有才干，在国民党政界也颇有影响，于是便有推经国继任总统候选人，取而代之的舆论。
1959年1月中旬，胡适与陈诚、王世杰、蒋梦麟等一道，去台中台南旅行游览了六天，便有人说他们是“商山四皓”。
商山四皓，是秦朝末年四位博学之士：东园公唐秉、夏黄公崔广、绮里季吴实、甪里先生周术。他们是秦始皇时七十名博士官中的四位，因不满秦始皇的焚书坑儒暴行而隐居于商山。
刘邦登基后，久闻四皓的大名，曾多次请他们出山为官，而被拒绝。
刘邦立长子刘盈为太子，封戚夫人的儿子刘如意为赵王。后来，刘邦见刘盈天生懦弱，才华平庸，而刘如意却聪明过人，才学出众，有意废刘盈而立如意。
刘盈的母亲吕后闻听，非常着急，便派自己的哥哥建成侯吕释之去请开国重臣张良出面。
张良很为难，言道：“当初皇上是由于数次处于危急之中，才有幸采用了我的计策。如今天下安定，情形自然大不相同。更何况现在是皇上出于偏爱想要更换太子，这是人家骨肉之间的事情。清官难断家务事啊！这种事情，就是有一百个张良出面，又能起什么作用呢？”
吕释之恳求张良务必出个主意。
张良不得已，只好说：“这种事情，光靠我的三寸不烂之舌恐怕难以奏效。我看不如这样吧！我知道有四个人，是皇上一直想要罗致而又未能如愿的。这四个高人年事已高，然而皇上非常敬重他们。如果请太子写一封言辞谦恭的书信，多带珠宝玉帛，配备舒适的车辆，派上能言善辩之人去诚恳聘请他们，他们应该会来。然后以贵宾之礼相待，让他们经常随太子上朝，使皇上看到他们，这对太子是很有帮助的。”
于是吕氏兄妹和太子当真把这四个后人称之为“商山四皓”的老人请来了。
在一次宴会中，太子侍奉在侧，四个老人跟随在后。刘邦突然见那四个陌生的老人，都已八十开外，胡须雪白，非常惊讶，问起他们的来历，四人道出自己的姓名。
刘邦听了大吃一惊：“多年来我一再寻访诸位高人，你们都避而不见，现在为何自己来追随我的儿子呢？”
四个老人回答：“陛下一向轻慢高士，臣等不愿自取其辱。如今听说太子仁厚孝顺，恭敬爱士，天下之人无不伸长脖子仰望着，期待为太子效死，所以臣等自愿前来。”
刘邦说：“那就有劳诸位今后辅佐太子了。”于是便打消了换太子的念头
说胡适等人是商山四皓，也就是说他们是蒋经国的羽翼，是要辅佐所谓“太子”上位。这所谓“商山四皓”的话，后来在台湾引起了几个月的政治风潮。
胡适也确实不赞成蒋介石连任，曾请当时总统府秘书张群向蒋转达他的意见，主要是希望蒋“明白表示尊重宪法，不做第三任总统”。这同样的意见，胡适多次向黄季陆、王云五等友人和政府要人说过。又多次对记者发表“反对修宪”，“反对三度连任”的话，都在报上刊载出来。
但是，想蒋介石这样的权力欲极强之人，怎么能退位呢！胡适的反对，简直是挖他的祖坟，这也使胡适和蒋介石的关系，降到了冰点。