在美国已经待了十几年的张亚勤，似乎已经习惯了那里的生活方式，习惯了每天对着大西洋彼岸的空气开始自己一天的新生活。1998年10月的一天，一个越洋电话让他和微软结缘，并将由此创造自己职业生涯的高峰期。
微软向张亚勤抛出橄榄枝已经不是第一次了。1994年他从GtE准备换工作时，就拿到了三个公司的Offer，这三家公司都大名鼎鼎——微软、IBM和Sarnoff。那时微软刚刚成立了自己的多媒体部分，但是还处于起步阶段，权衡之后，张亚勤选择了Sarnoff。
张亚勤不是那种两耳不闻窗外事的人，在Sarnoff的这几年，他也看到了微软的迅速发展。而此时的张亚勤，也已经完成了自己的使命，Sarnoff多媒体实验室已成型。
越洋电话的那端是在业内名气颇响的李开复博士。1998年，比尔·盖茨决定在中国建立一个“全世界最高水准的研究机构”，李开复接受他的邀请，到中国开始招集人才，筹建微软中国研究院。
这其实是张亚勤第一次和李开复直接接触。电话里李开复介绍了微软要在中国建立一个基础研究院的意愿，并表示希望张亚勤回来一起创业。
张亚勤在美国的这么多年，回来过几次，但停留的时间都不长。但在张亚勤的心中，自始至终有着十分浓郁的祖国情结。在Sarnoff工作时，张亚勤接待了大量来自中国的学者和企业界人士，对于他们的要求，他总是尽力满足，并且给予热情的关照。在他的实验室，他接待最多的也是华人学者。
因此他非常希望在美国的工作交接妥当后回国发展，李开复的这个电话被他认为“可能是到时机了”。
1998年的中国进入了改革开放的第20个年头。上一个年份，金融风暴在中国的周边国家一一发作，景象之惨烈让人胆战心惊，中国虽然成功躲避开了，但也多少受到了影响。随后，中国共产党第十五次全国代表大会在北京召开，江泽民在报告中对传统的公有制理论做出重大修正，提出了“混合所有制”的概念，认为非公有制经济已经不仅仅是“补充”，而且是“重要的组成部分”，国有经济的比重减少一些，不会影响社会主义性质。十五大的召开被誉为是中国第三次“思想解放”开始的标志。全国范围内又掀起了改革的浪潮。
这一年的中国，朱镕基新任国务院总理，他承诺在自己的任期内完成三件事，一是力保人民币不贬值，二是激活经济，启动内需，三是用三年时间让国有企业摆脱困境。全世界都在见证着中国的发展。
1998年11月，张亚勤回到了阔别已久的祖国。回来后，他和李开复见面了，两人谈得十分投机。张亚勤说：“我觉得开复不仅仅是在建立一个机构，其实是在实现一个理想，希望在中国第一次建立一个世界一流的计算机研究方面的机构。另外我对微软也是十分敬佩，我自己也是微软技术、PC产品的使用者，或者说是微软的FANS。但是其中最重要的因素，是中国，是研究。”
随后李开复陪同张亚勤看了北京的很多地方，那些标志性的建筑在他的心中依旧是如此熟悉，长城、故宫……然而在这片土地上，已经发生了翻天覆地的变化。张亚勤算了算，这一年正是中国改革开放20年。他感受到了中国的发展潜力。
他和李开复来到当时希格玛大厦的五楼，那里还在装修。李开复说，如果你接受的话，这里就将是你的办公室。张亚勤欣然接受：“我回来！”
从此，张亚勤正式加盟微软。不久，微软中国研究院成立，李开复任院长，张亚勤担任副院长兼首席科学家。他和李开复一起把研究院从无到有，建成了世界级一流的研究机构，在产品方面、学术界都做出了优异的成绩，并且培养了一批优秀的人才。
那时适逢回国的第一个高潮，很多人回国是为了创业，比如张朝阳以及后来回国的李彦宏组建互联网公司。所以当张亚勤听李开复说回来做研究，觉得挺新鲜的，和别人回来的目的不太一样。
但张亚勤感觉，当时不但是在做一个实验室，在中国还没有一个一流的研究院，他们其实也是在创业，在创造一个历史。
当时很多人都不了解张亚勤做出的选择，这在美国也引起了一定的轰动。张亚勤如此解释自己的选择：“微软是一个相当成功的公司，我也很想回到中国，而且我还想继续我的研究。因此，微软中国研究院是一个近乎完美的选择，可以为我提供一个平台。”
张亚勤说，自己在人生重要关头的抉择，往往是根据自己的感觉，有时是根据自己的感情，而很少出于一种特别逻辑的思维或者特别系统的考虑。做出加盟微软的决定，他没有考虑过自己的待遇如何，中国的空气如何，自己将有什么得失。这一决定就像是对一位朋友的承诺，要闯出一番事业。
刚回国的他，面对的是正在展开新画面的中国，然而，这毕竟是一个新事业，前方必然面临着许多不可知的挑战。尽管改革开放已经进入了第20个年头，对外交流也已经渐成气候，但当时中国的研究水平和世界还有较大差距。张亚勤看到了其中存在的一些不确定性，他说：“当时完全是一张白纸，你可以随意去勾画。”
张亚勤是个天生喜欢冒险，喜欢挑战的人，这样的生活才有乐趣。他说：“这样的生活，常常期待着能够出现一些惊喜。就像通讯里面的一个概念叫做熵，熵越大，随机性越大；不确定性越大，也就越有意思。如果事先什么都知道，对自己的10年、20年看得很清楚，能够看到自己退休前、退休后的状态，熵为零，那样的状态太没意思了。”
成立研究院的第一个最大的挑战就是如何找到一流的人才。研究所的领军人物已经确定了，李开复领导语音识别方向，张亚勤负责多媒体方向。
1998年新年前夕，张亚勤在中国工作一段时间之后，回美国探亲。他在中国的生活和工作，让许多杰出的中国海外学者十分感兴趣。张亚勤向他们详细地讲述了到中国以后的情况及自己的感受。有相当一大批杰出的中国海外学者在他的影响下接受了微软中国研究院的聘请，回国工作。他们中的几位与张亚勤一起，最终在多媒体领域建立起了实力很强的团队——沈向洋，全球最杰出的图像处理学家之一；张宏江，基于内容的视频检索领域的先驱；李世鹏，多功能图像/视频处理和压缩领域年轻有为的学者；朱文武，来自美国贝尔实验室的网络及通信领域的专家，以及当年清华大学的“神奇小子”李劲。这个团队享有很高的学术声誉和水平，甚至堪称世界一流。
研究院用了一年的时间扩建自己的团队，定义研究方向（同时和微软总部尤其是产品部门建立了良好的关系），并和国内的学术界建立了很好的合作关系。研究所的自身定位是国内学术界的一部分，与中国科技大学、清华大学、浙江大学、哈尔滨工业大学等都成立了联合实验室，与国内学术界资源共享、共同成长。他们也开始在全国高校找寻博士人才，第一年，他们总共带回了10个人。
微软研究院开始以惊人的速度发展壮大。
2000年夏天，微软内部推出了一个向比尔·盖茨汇报的项目。这一机制希望把公司里面最前沿、最优秀的项目向比尔·盖茨介绍，听取他的意见和回馈。这一机制的推出一直是比尔·盖茨30年来想做的事，可以申报的包括产品或研究成果。汇报的结果将直接对某项产品开发、研究方向以及公司发展战略产生重要影响。
成立仅1年多的微软中国研究院，抓住了这次的机会，将研究院在多媒体方面的研究成果总结出来，参与了这次的汇报。张亚勤率领阵容豪华的多媒体研究队伍抵达微软公司雷特蒙总部。
这是张亚勤和比尔·盖茨第一次近距离的接触。会议是在一个很小的房间举行的，参会者只有十来个人。张亚勤负责作报告，讲述的是小波视频压缩的技术，比较专业。比尔·盖茨不时从座位上走出来，问这个频率点是什么意思，这个不同的层次代表什么，当系统出现噪声的时候，对质量有什么样的影响，问了不少特别专业的问题。阐述原定一个小时，但由于比尔·盖茨的不断提问和反馈，会议超时了半小时。比尔·盖茨的助手一直催他走，他还是不走，继续和张亚勤讨论。
张亚勤之前听说比尔·盖茨很厉害，脾气挺大，对某些方面感到不满意就会严厉地批评甚至骂人。然而，真正接触时，比尔·盖茨说：“你们是科学家，你们是专家，我是来学习的，来听你们讲课。”张亚勤觉得他很和气，很谦虚。
在这次的会议上，张亚勤还让比尔·盖茨了解了，在过去的一年内，微软中国研究院多媒体小组已经在全球最优秀的学术刊物和会议上发表了80多篇论文；在网络协议领域，申请注册了40项美国专利，做出了60项新发明，并已有8项成熟技术转让给Netdoc，DMD和MStV等相关产品部门。
微软中国研究院的发展势头，让比尔·盖茨大为震惊。他对微软的董事们说了自己的评价：“在中国，有一个世界一流的多媒体团队，他们做的东西远远超过我的想象。”他称赞张亚勤做了一件令人难以置信的工作。
微软中国研究院开始崭露头角。从那次会议之后，张亚勤所领导的团队向比尔·盖茨汇报项目就变成了传统，每年都有三到四次的机会。