1966年，张亚勤生于山西太原的一个普通教师家庭，父亲读完大学后曾分别在大学、中学任教。孩提时代的张亚勤饱受读书世家的文化熏陶。5岁时，一场灾难降临到小亚勤的家庭，父亲在历经生活的磨难后，离开了人世。从此，巨大的生存压力便降临到他们一家人的头上。
张亚勤3岁识字，5岁上学。幼年时期，他就显现出了非凡的记忆天赋。“我从小看什么东西就能记住，可以达到过目不忘的程度。”张亚勤回忆说。与普通孩子的死记硬背不同，他对图像有天生的敏感。读小学时，老师让他看5分钟报纸，然后他就能背出报纸上的内容。“我的记忆是影像式的记忆，在脑海中保留一幅图画，回忆的时候照着图画念就行，像放电影一样。”
由于他经常在自己家和外婆家两个地方走来走去，不断转学，有的时候留一级有的时候升两级，到11岁时，张亚勤就上到了初三。
那是1977年，文革结束，整个国家像是大病初愈，大家都充满着期待、希望。这一年的10月，全国到处在传播着一个令人振奋的消息，中断了11年的高考制度恢复了。张亚勤也感受到了这种欢乐的气氛，但那时的他还不知道，不久之后，自己将会做出一个怎样的决定。
张亚勤记得，那年12月的一天，地面的雪堆积了一地。他正在暖和的屋里和小伙伴下军棋，班主任老师敲门而入，手里拿着一份报纸。班主任是来找妈妈谈事情的，张亚勤继续专心和小朋友对决。
“毕老师，你看这份报纸，上面讲到一个13岁的神童，江西的，天文地理，琴棋书画，无所不知，还是数学的天才……”
张亚勤一下来了兴趣，他拿起那份报纸，认认真真地读了一个小时。他从报纸上得知，这位小神童已经被中国科技大学破格录取。
11岁的小亚勤被这篇报道吸引住了，或许是小孩子的好胜心，又或许是这颗璀璨的童星注定要开始发光发热，他坚定地对妈妈说：“我要上大学。”
母亲不想给亚勤压力，对他说：“你11岁上初三已经很了不起了。”
张亚勤果断地说：“我要考中国科技大学。”
但是，按照规定，只有高二的应届生才能参加高考，张亚勤非但不符合条件，他还有两年的课程要补。身为中学老师的母亲找到学校的校长，想让张亚勤直接上高二，这是唯一的能让张亚勤符合高考条件的办法。校长说：“亚勤很聪明，我也很乐意帮忙，但是他必须先考上高二的尖子班，那个班上师资力量强，才有上大学的机会。”
当时，距离尖子班考试只有一个月的时间。
张亚勤以惊人的学习速度，在那短短的一个月内完成了高中两年的课程，并成功考入了高二的尖子班。他回忆说：“‘文革’时的功课也比较简单，所以一个月把两年的课学完，还是有可能的。这一个月，可能是我一生中最用功的一个月，每天学习差不多20个小时。所以，有的时候动力很重要。我的动力就是，要去参加高考，要去上中科大。”
距离高考只有7个月了，拿到考试资格的张亚勤，在这样的动力下，投入了到更紧张的学习中。但他的身体开始抗议，长期的劳累，使他突然得了急性肝炎，不得不住院治疗。半个月后，他出院了，但身体尚未完全恢复。他一门心思还是想着两个字——“高考”。
母亲心疼张亚勤，怕他的身体扛不住。母亲说：“你还小，今年还是不要考了吧。明年考或者后年考都没关系。”张亚勤的回答是：“我还是应该去尝试一下，如果不去尝试，不去考试，等于承认失败，等于是零分了。”
母亲知道，儿子决心已定，自己无力阻止。她在为儿子担心的同时，也感到了骄傲。
1966年6月，我国的高等院校停止招生，研究生招生工作和选拔派遣留学生工作同时停止。1966年到1977年，中国的大学教育几近瘫痪，没有高考，没有经过统一正规考试的大学生在校学习。1977年8月，刚刚复出的邓小平主持召开了科学与教育工作座谈会。此次会议决定恢复中断10年之久的高考。1977年冬天，570万考生走进了期盼多年的考场。1978年夏天，又有590万考生参加考试。
年仅12岁的张亚勤参加了1978年的“黑色七月”那场考试，和其他几百万比他大很多的考生一起，解答着相同的试题。
一个月后，分数揭晓。遗憾的是，张亚勤的高考成绩比中科大在山西的录取分数线差了10分。正当他以为自己要和中科大失之交臂时，张亚勤得知了一个重新激起他信心的消息——1978年3月，在李政道、杨振宁和丁肇中等著名科学家的倡导下，中科大创建首期少年班，少年班有一个独立于高考之外的招生考试。
30年后张亚勤回忆起当时的事，依然记忆犹新：“当时少年班的招生，也不是十分的规范，最后决定在全国大的城市里面进行一个统考。我报名的时候，离少年班考试只有差不多两个星期的时间了。当时我连考哪几门都不知道。我说肯定会考数学吧，我就拿了一本老的数学习题集，开始复习。”
张亚勤如愿以偿考入了中科大，他还是那届学生中唯一一个数学得满分的人。
收到录取通知书后，整个太原轰动了。张亚勤去学校的时候，甚至看到墙上写着大幅的标语：“向张亚勤同学学习”、“掀起向张亚勤同学学习的新高潮”。太原出了个神童，这个消息不胫而走。
回忆30年前的那场考试，张亚勤说：“1978年，那是一个很特殊的年代，邓小平恢复工作，他以一个政治家的视野、远见、魄力和勇气作出了改革开放的决定，恢复高考。这其实是改革开放里很重要的一个战略，因为改革开放中国发展需要人才，高考就是培养人才，所以是最佳的渠道。而且恢复高考还有一个象征的意义，那就是给了大家一个公平的机会；那些在过去丧失了机会的年轻人，可以通过自己的能力接受教育，走向社会。”
他说，恢复高考这件事，对于整个改革开放都有特别重要的意义，因为改革开放最重要的是人才。高考恢复了，给中国培养了一大批人才，这是改革开放最重要的基础。
他感慨道：“我觉得1978年，是改变我命运的一年，是改变了一代人命运的一年，也是改变了中国命运的一年。”
1978年，全国科学大会之后，位于合肥的中国科技大学成为当时中国最具知名度的高等学府。除了与北大、清华一样出色的学生、老师和校风之外，中科大的少年班是当时报刊杂志上最吸引人的新闻。
12岁的张亚勤以当年中国最年轻的少年大学生的身份，在这一年的秋季，坐了十几个小时的火车，来到了安徽合肥。
上大学的很多事情，比如办理转移粮户关系、买火车票、行李托运等，都是张亚勤自己办理的。虽然有母亲陪着，但她不出面，只是提醒张亚勤不要把证件丢了。
有趣的是那次办理行李托运时，工作人员说：“叫大人来办，小孩不能办。”坐在稍远处看管行李的母亲这才上来说：“他能行，让他办好了，我不会写字。”工作人员无奈，只好让张亚勤办。填完各种表格后，工作人员赞赏地说：“还真行！”大家一问才知道，这个年仅12岁的小男孩，要去合肥的中国科技大学上学。办事的窗口一下围起了一堆人，张亚勤和母亲在一片赞扬声中费力地离开了现场。
小时候，他就常常一个人乘火车来往于太原到晋南的姥姥家，母亲说：“男孩子，就要到外面跑跑，才能独立，才能真正了解外面的世界。”因此母亲对张亚勤此次的只身前往，倒很是放心。她知道，张亚勤从小就是一个很自立的孩子。
其实，在火车站等车的张亚勤，还是满心期盼着母亲能够送自己，毕竟他还是一个孩子。一路的旅程由于同伴的相随而不显孤单，这中间还发生过一些趣事。那时从太原开往合肥的火车，需在山东转车，之后的几年，他们都是来来往往坐着同一趟车。离开父母的快乐的孩子们会改变乘车路线，选择在山东德州转车，为的是转车的时候，饕餮一顿著名的德州扒鸡。
那时的中科大是什么样子呢？张亚勤记得，当年拿到录取通知书时，母亲拿出一张老地图，想要找出中科大的具体位置。地图上有各个不同的城市，大的城市有三个圈，像北京大五星三个圈，中等城市两个圈，小城市是一个圈。张亚勤记得，那张地图上，太原是两个圈，合肥是一个圈，他对母亲说，原来我要跑到一个更小的地方去啊。
但是到中科大他才发现，中科大尽管在一个小的城市，但是这里藏龙卧虎，集中了各地的精英。所以后来他在给母亲的信中提到，合肥这个地方尽管很小，但是中科大可真大，觉得自己真是开拓了眼界。
张亚勤记得，戴着校徽坐公共汽车，别人看他个子小，就问他是不是少年班的小孩。他美滋滋地点点头，售票员就说不要票了。他说：“人们对中科大、对少年班都特别友好，因为它们代表了一种新的精神，代表了一种新的转型，1978年的时候大学生是很受尊重的。整个社会氛围就是尊重知识和人才。”
少年班的同学一般不超过15岁，大部分的孩子都是第一次离开家独立生活，自理能力相对比较差，学校为此专门想了一些办法。由于张亚勤年龄最小，学校就专门找了少年班一个年纪最大的孩子和他一起住，其实那个同学比他也大不了几岁。
在中科大少年班，张亚勤发现，别人的成绩大都比他好。刚进中科大，首先碰到的是上铺的同学，他考了430分，整个考试是500分；又过来一个同学，450分。那一年山西的状元是410分，这次简单的聊天让他感觉到山外有山，天外有天，世界真的很大。学习的基础比其他的学生要差一些，还是孩子的张亚勤，感受到了一种无形的压力。
这种无形的压力加剧着张亚勤在新环境下的不适应。一个12岁的孩子，需要去承受很多他这个年龄不该去承受的东西。他记得，那时自己经常堆了很多衣服，很久都没洗，班上的汪老师经常帮他洗衣服。汪老师后来找他谈话，害怕他功课会耽误，帮他解决思想问题。第一学期前半年考试张亚勤的数学是61分，语文71分，其他也都是六七十分，只有物理考了80分，在中科大成绩属于比较差的。
但是，年幼的张亚勤当然不会满足于在科大混日子。他知道，年龄和成绩无关。在学校老师和同学的帮助下，他渐渐适应了新环境，第二、第三年也就开始慢慢开窍了，到了毕业的时候，张亚勤的成绩在班里名列前茅。
当时中科大实行的是五年制，一般的大学生进校选一个专业读五年。少年班有一个特殊的待遇，第一年在少年班，第二年可以选择一个专业。张亚勤选专业时，是1979年，他选择了电子工程专业。那时中国的数学、物理、工程研究水平和世界水平拉得很远，但是中科大一些老师已经和国外学术界有了交流，所以能够掌握外界的最新研究动态。张亚勤记得，当时无线电系的主任和学生交谈时，谈到的事情都是他刚刚听到或读到的，在张亚勤眼里那些都很神奇。当时他看过一部电影，讲的是未来机器人怎么去控制世界，很有意思。他说：“当然我没有想到去控制世界，我只是觉得自动控制、智能、计算机有这么大的能量，对这个领域充满了兴趣。其实当时的我，对计算机、无线电到底能做什么，也不是很清楚，对就业前景怎么样，也不知道，完全是一种兴趣。”
回忆在中科大的生活，张亚勤说：“当时中科大是全国最好的学校，每个省的状元第一选择都是中科大。山西1978、1979年高考的前十名都去了中科大，每年中科大可以招10到20个状元，当时是中科大的鼎盛时期。中科大的环境特别开放，学生比较自由，老师和同学的关系也比较融洽，像朋友一样，汪老师就像我们的母亲。中科大是中国第一批送学生出国的，所以和国外有很多的交流，有很多大师级的人物做客座教授、讲学。这种开放的氛围对我产生了很大的影响，我学会了很多——学习的能力、求知的欲望和创新的能力。”
张亚勤从小就好奇心比较强，所以学校的讲座不管听得懂听不懂他都去。比如说杨振宁先生、李政道先生是中科大的客座教授、名誉教授，他们讲的课深入浅出，张亚勤听得懂一点儿。但是有些国外学者讲的就不太懂了，比如说当时的霍金，他讲黑洞，讲得特别理论化，张亚勤尽管听不懂还是坚持下来了。他还记得，有一次日本的教授讲关于生命科学，很学术，当时的翻译比较差，最后等于他一个人用日语讲，下面好几百人在那儿听，听不懂也硬听着，当时的学生有很强的求知欲。
在中科大的8年学习生涯，正是一个年轻人世界观、价值观定型的时候，中科大的学习生活为他未来的传奇拉开了序幕。张亚勤在中科大长大，在回忆母校时，他说自己收获了很多。第一点是开拓了眼界，学了很多的东西；第二点是增强了自信；第三点是培养了一种理想主义的色彩，希望为科学和理想献身。在中科大时，他没有特别去想眼下要做什么，而是把自己的目标设立得十分长远，朝着一种追求去奋斗。