虽然出生于江苏省松江府川沙县，但胡适更愿意说他是安徽省绩溪县人。
绩溪位于黄山与天目山接合部，县界及境内有海拔千米以上山峰40余座，重峦叠嶂，溪流纵横，地势高于邻县，史称“宣歙之脊”。山脉、盆谷相间，呈“多”字形延伸。中部是贯通南北的断裂带，县城位于断裂带中南段的华阳断陷盆地。清凉峰踞县境东端，界皖、浙两省三县，顶峰及其北坡坐落境内。中部东西向凸起，溪水南北分流，分别入钱塘江和长江。
绩溪属徽州府，在安徽省南部。徽州全境多山，风景虽然秀美，但山多地少，土瘠民贫。因此，徽州人大多离乡撇井，外出做生意，以善于经商闻名全国，甚至有“无徽不成镇”的说法。
有人说，这样的特殊地理生活条件，造就了徽州人的三个突出特点：其一、重乡党观念，以“徽州帮”为最有名。其二、艰苦奋斗的精神，有“徽骆驼”、“绩溪牛”之称。其三、重文化教育，出了像朱熹以及胡仔、江永、戴震、俞正燮、凌廷堪、胡培等许多着名学者。
是不是真的如此，还需史家去考证，但有一点是肯定的，徽商和晋商一样，确是很值得自豪的一族。
有意思的是，这些特点，在胡适身上几乎都有体现。他以徽州人自居，爱吃徽州锅，喜欢攀徽州同乡关系。1953年1月，他为绩溪旅台同乡会题辞，写的便是“努力做徽骆驼”六个字。直到晚年，他为凌鸿勋编着的《詹天佑先生年谱》作序，仍不忘以詹天佑的“徽州同乡后辈”自居。对于徽州历代的几位着名学者，更是常常念在口中，写在文章里，钦敬不已。
皖南的山生得好，绿得深。到了这一带，势虽不雄，峰头却依得紧，依得密，分不出一点断处，显出一种结实的样子。过鸡公关，在绩溪城西约80里，横起一座大会山，在它的下面，墙色粉白、屋檐青黛的房子散了一片，便是胡适的老家——上庄村。是胡氏聚族而居的一个大村落，是群山环抱着一块小小的盆地。山峰苍翠，耸立村北，像蓝天底下绿色屏障，护卫着整个山村。清澄的常溪河，由村西向南，潺潺流淌，穿过杨林石桥，蜿蜒东去。作为母亲河滋润着上庄的农田。
世代聚居上庄的胡氏，据说始祖昌翼公原非胡姓，而是唐昭宗李晔的太子。因避朱温之乱，随义父胡三公逃亡南方，匿居民间，便改从胡姓。后唐同光三年(975)以明经登第，故世称“明经胡氏”，至今民间仍称之为“李改胡”。这些既阔且贵的事迹却不见于史册，很可能是胡氏后裔为神化抬高他们的祖宗而写在族谱里的一种杜撰。
胡氏虽找到了贵为帝胄的祖宗，迁居上庄以后的六百余年间，却并无仕宦显赫之人。一直到光绪二十年(1894)，胡适的父亲胡传做到了“三品衔在任候补知府台湾台东直隶州知州”，要算是上庄胡氏族中最显赫的官儿了。
胡适的家，原不是什么书香门第，而是历代经商，做茶叶生意。他的高祖由小本经营，居然在上海的川沙开设了一家小小的茶叶店。他的祖父扩大营业，并在上海华界增设了一家支店。到他父亲胡传做了官，本钱充裕了，生意便越做越兴隆。胡传死后，家里还留有上海一家裕兴泰茶叶店，一家公义油栈，在汉口还有一家两仪酒栈。只是因为胡适的父亲胡传的逝去，这些产业也先后随之而陷入了不景气。
胡家第一个有志读书的，就是我们前边几次提到的，胡传的伯父，也就是胡适的伯祖父胡奎照，字星五。可怜他寒窗苦读十余载，连个秀才也没考上，只在乡里教私塾，人称星五先生。
胡适出世后刚满90天，其父奉旨调往台湾。
胡传到台湾任“全台营务处总巡”，在6个月内将全岛考察一遍，这趟壮游，南到恒春，北至沪尾 (淡水) ，深入后山台东、花莲、宜兰，远达外岛澎湖，亲赴全台31营、28哨、2队，考察防务设施及训练情形。接着，办理台南盐务，积弊一清，盐务大有起色。
1893年，奉委“代理台东直隶州知州”一职，兼“镇海后军各营”统领，大力扫除军中鸦片，加强后山防务。在台任职3年6个月，迄台湾割日，奉命内渡。
胡传生前最后的官衔是“ 诰授通议大夫、赏戴花翎、江苏候补知府、前台湾台东直隶州知州兼统领镇海后军各营屯”，赏加三品衔。
胡传在台东州官期间，奖励农桑，教育原住民；以文官兼武职，整顿营务，巩固海防，心力大多投注在军事方面。在他的《台湾日记与禀启》里，详细记录了他在台东将近两年（光绪19年6月1日至光绪21年闰5月3日 ， 1893.7.13 ～ 1895.6.25）所做的努力。从这些记录里，非但可以看出清代末年政治和军事的一部分情形，也可以知道当时少数知识分子对于时局的态度，以及一个实事求是的读书人对于改进政治的措施。
这些理想，虽因台湾割让日本而未实现，但可以肯定的是，在近代中国边疆的开发史上，其事迹足以名垂青史。
到1893年春天，冯顺弟便带着一家子，抱着小儿，去台湾投亲。在胡传做官的台南和台东，度过了将近两年的很快乐的团居生活。
那时已年过52岁的胡传。在公务之暇，剪一些红纸方笺，用毛笔端端正正写上楷字，教年仅20的冯顺弟认字。他们两人又一起教刚过两岁的小儿也开始咿呀识字，父亲当教师，母亲既是学生又兼助教。这老夫少妻稚子三口，享受到了人间最神圣的天伦之乐。到离开台湾时，母亲认了近千字，小儿胡适也认了七百多字。
幸福是那样短暂，瞬息即逝，悲痛却来得那样突然，沉重。中日甲午战争爆发的第二年，胡适母子刚离开台湾，回到绩溪故乡不久，就传来了他父亲胡传病死在厦门的噩耗。
这家庭的巨变和不幸，在胡适幼小的心灵里，留下了最初的记忆：“这时候我只有三岁零八个月。我仿佛记得我父亲死信到家时，我母亲正在家中老屋的前堂，她坐在房门口的椅子上。她听见读信人读到我父亲的死信，身子往后一倒，连椅子倒在房门槛上。东边房门口坐的珍伯母也放声大哭起来。一时满屋都是哭声，我只觉得天地都翻覆了！我只仿佛记得这一点凄惨的情状，其余都不记得了。”
胡适的母亲遭到这般沉重的打击，当时还只有22岁多2个月零17天，虚龄也只23岁！她在人生的途路上还刚刚迈开几步，刚刚尝到一点生活的甜蜜，便青年丧夫，做了寡妇，这是一个中国妇女的最大的不幸！而她又“以少年作后母，周旋诸子诸妇之间”，再加上家业中落，经济困窘，如胡适所说，“困苦艰难有非外人所能喻者”。
胡适的母亲23岁守寡，一直守了23年，受尽了人生的痛苦和折磨。
落叶归根，成了寡妇的冯顺弟无奈中不得不带着胡适回到老家寻找生路让孩子接受教育。23岁的冯顺弟成了乡村大家族的主母。
冯顺弟仁慈而质朴，为主持好一大家子，时时处处小心谨慎，宁愿个人也不愿弄得家庭不和。胡适大嫂二嫂都生的是儿子，一不顺心便打孩子出气，一边打还一边说些尖刻话来刺激胡适的母亲。冯顺弟总是装着听不见、忍辱负重，从来没说一句伤人感情话。但她也是一个讲原则人，尽管处事逆来顺受，但却不接受人格侮辱。
胡适的五叔是个游手好闲之徒，有一天在烟馆里发牢骚、说胡适母亲家中有事总请某人帮忙、肯定给他好处不少。不知怎么的，此话传到胡适母亲耳中。她气得大哭，请几位本家来，把五叔喊来，当面质问他她给某人什么好处。直到五叔当众认错赔罪、她才罢休。
这一切胡适都看在眼里，他的身上留有母亲品格的烙印。胡适后来也坦承，他日后好脾气的养成，和他这段日子的冷眼旁观很有关系。童年的乡村生活，对他的一生产生了巨大深刻、无以替代的影响。
冯顺弟对胡适既是慈母兼严父，又是恩师兼严师。她从不溺爱独子。胡适说：“她从来不在别人面前骂我一句、打我一下。我做错事，她只对我望一眼，我看见了她严厉目光，就吓住。犯的事小、她等第二天早晨我睡醒时才教训我。犯的事大、她等到晚上人静时，关房门，先责备我、然后行罚。”
有一个初秋的夜晚，胡适吃了晚饭，在门口玩，身上只穿着一件单背心。这时候母亲妹子玉英姨母在胡适家住，她怕胡适冷，拿了件小衫出来叫他穿上。
胡适不肯穿，她说：“穿上吧、凉了。”胡适随口答道：“娘（凉）什么、老子都不老子呀。”（意即老子已经死了或不在身边。有可能来源于胡适的两个嫂子说的风凉话。）
胡适刚说了这句话，一抬头，看见母亲从家里走出来，胡适赶快把小衫穿上。但她已听见这句轻薄的话了。
晚上人静后她罚胡适跪下，重重责罚了一顿。她说：“你没了老子，是多么得意的事！好用来说嘴！”母亲气得坐着发抖，也不许胡适上床去睡。
胡适跪着哭，用手擦眼泪，不知擦进了什么微菌，后来足足害一年多的眼翳病。医来医去、总医不好。
胡适母亲心里又悔又急，听说眼翳可以用舌头舔去，有一夜她把胡适叫醒，真用舌头舔他的眼翳。
冯顺弟这种既严厉又保护其自尊心教育方式，使胡适从小就懂得正经做人、爱惜名誉，这为他日后不断上进奠定了基础。