汇报一个月后的2000年7月，张亚勤在新泽西的家中度假。刚刚休息了两天，李开复打来了电话。他声音显得很沉重，说道：“亚勤，我要离开了，全靠你了。”
张亚勤一时没回过神来，急忙问道：“什么意思？你要去哪儿？”李开复被调回微软总部任全球副总裁，全力投入微软公司最新提出的Microsoft.NEt方面的有关工作，他将微软中国研究院的棒子交到了张亚勤的手中。
张亚勤觉得李开复在开玩笑，因为研究院才刚刚起步没多久。三天后，他结束了短暂的度假，回到了北京。
2000年的8月2日，他正式成为微软中国研究院院长兼首席科学家，当时研究院的规模接近50人。
这是新世纪的第一个年头，站在新起点上，整个世界都在注视着东方的中国。亚洲资深的政治家、77岁的李光耀出版了自传《李光耀回忆录》，他预言：“中国有可能实现其到2050年成为现代化经济大国的目标，它将以一个平等和负责任的伙伴姿态参与世界贸易和金融活动，以及成为世界重要成员中的一员。如果它不转移教育和经济两大发展中心，中国很有可能成为世界第二大贸易国。这就是中国50年的一个构想——现代化、自信和负责任的大国。”
在即将加入tO的利好消息的推动下，中国的宏观经济呈现良好的态势。微软中国研究院在这样的氛围中，在张亚勤的带领下，进入“新世纪”，开始走向另一个辉煌。
这一年，比尔·盖茨来到微软中国研究院，这里的一切让他感到回不过神来。研究院更像是一个游戏软件生产基地，像一个科幻世界！“光子”、“量子”、“基因链”、“DNA”、“火药库”，这些都是会议室的名字。墙上啥都没有，多的是大白板，有些甚至没有墙，只有没完没了的大白板。
这是微软研究院，还是艺术展览馆？
比尔·盖茨和微软的其他高官渐渐看清楚大白板上的字，那是一些莫名其妙的公式和一些奇奇怪怪的字。
原来那些大白板是张亚勤用来记录员工瞬间灵感的。初到研究院时，张亚勤向李开复提的唯一要求，就是要在他的办公室安装一块长四米的白板，便于他记录自己突发的灵感。显然，研究院后来的白板都是这个初始创意的拷贝。
研究院的同事对张亚勤的评价是，他展示给员工的始终是积极的表情，他把所有不确定和所有挑战，都当做生活中的乐趣所在。他以自己轻松淡定的生活方式感染着身边的人，虽然他从来不会说什么激动人心的话。
2001年11月，微软中国研究院发展为微软亚洲研究院（MSRA）。此举显示了微软公司对中国及整个亚太地区经济发展潜力的巨大信心和对本地区信息产业发展的郑重承诺。
第二年的夏天，美国前国务卿基辛格率团访华，纪念30年前尼克松总统的“破冰之旅”。微软全球CtO克瑞格·蒙迪和他同行。克瑞格·蒙迪既是微软的CtO，也是基辛格很好的朋友。张亚勤和公司的三四位同事，陪同基辛格和克瑞格·蒙迪吃饭时，谈了很多事。基辛格当时回忆了他1971、1972年怎么样装病，躲到汽车的后面，飞到中国，和周恩来总理谈判。
张亚勤说：“基辛格是中国打开大门和中美建交历史上一个十分重要的人物。当时他跟我们讲了很多小的有细节的故事，讲完之后，他兴致勃勃地与我们一起去北京饭店吃饭。到了北京饭店的顶层，他回忆说1972年时，周总理在这儿指着北京的烟囱对他说，我们北京多么地发达。”
张亚勤站在基辛格身边，听他说得很有意思。这时基辛格问他：“微软在中国做得怎么样？”张亚勤向他介绍了研究院的基本情况，基辛格十分感兴趣，对一些技术方面的事情提出了不少问题。克瑞格·蒙迪趁机邀请基辛格博士去微软中国研究院参观。
基辛格很有兴趣，决定第二天早上前往。第二天是星期六，本来安排了自由活动，去游长城。他推却了，决定去参观微软研究院。那天，他带了医生和克瑞格·蒙迪，把研究院所有的管理者和经理召集起来。那是在希格玛大厦三楼的会议室。
张亚勤事先做了一些准备，打算先给他介绍现在研究的方向。基辛格则表示，先停一下，在你开始之前，我想问一下，你们是什么样的背景？大致介绍一下。每个人都回答了是在哪里读的书。结果很有意思，“我们一圈十几个人都是同样的背景，全部是在国内出生，在美国读完博士，然后又回来。”
张亚勤说：“基辛格80多岁了，还刚刚做过心脏手术。但听完大家的介绍，我看到他有一种特别自豪的感觉。我们这一群人都是中美建交的受益者，我们都在为中美科技的交流做贡献，我能看到基辛格老人脸上的那份满足感、那份自豪感，他确实为中美大门的开放做了巨大的贡献。”
这一次，微软的CtO克瑞格·蒙迪还肩负了重任，他代表微软与原国家计委（现国家发改委）在北京签署了加强软件产业合作谅解备忘录。根据该备忘录，原国家计委支持微软公司与中国境内企业、科研单位、高等院校、国家软件产业基地等，开展出口投资、人才培养、技术开发等一揽子计划。
在微软的五年，张亚勤实现了比尔·盖茨的理想，把微软中国研究院变成亚洲研究院，并推向了世界最前沿。2004年，微软亚洲研究院被MIt technology Review评为全球最顶级的计算机科学研究院之一。