跟装了传感器（sensor）的现代盥洗室或户外泛光灯比起来，个人电脑对人的存在的感觉真是迟钝。便宜的自动对焦相机要比任何终端或计算系统都更清楚面前的景象，因而拥有比电脑更高的智能。
当你从电脑键盘上抬起手来的时候，键盘不知道你是因为思考而暂停、是自然的休息，还是跑出去吃午饭了。它分辨不出是在和你一个人讲话，还是它面前还站着另外6个人。它也不知道你究竟是穿着晚装或宴会装，还是一丝不挂。因为如此，所以当它正在屏幕上显示重要信息时，你可能正好背对着它；或是当它正在和你说话时，你可能正好走开，根本没听见。
我们今天的着眼点完全放在如何使电脑更容易为人使用上。也许现在是问这样一个问题的时候了：怎样才能使电脑更容易与人相处？打个比方，假如你不知道谈话对象究竟在不在场，你怎么和他们讨论事情呢？你看不见他们，不知道他们共有多少人。他们面带笑容吗？他们到底有没有集中注意力听你讲话呢？我们充满渴望地谈论人机互动和对话系统，然而我们却存心把参与对话的一方留在黑暗中。
现在是该让电脑看得见、也听得见的时候了。读你干遍也不厌倦关于电脑视觉的研究和应用长期以来几乎完全是针对情景分析的。这种情景分析尤其用于军事上的目的，如无人驾驶车辆和智能炸弹。电脑在外层空间的应用也带动了科技的最新发展。假如你让一个机器人在月球上漫游，机器人只是把看到的影像传给地球上的操作人员还不够，因为即使用光速来传输，需要的时间仍然太长。假如机器人走到了悬崖边，等到人类操作员看到录像中出现悬崖，赶忙把口信传到月球上，叫机器人别再往前走时，机器人早就已经掉下去了。这只是情景分析的一个例子。在这种情况下，机器人必须根据它所看到的情景，自己下判断。
科学家不但越来越了解影像，并且已经开发出一些技术，比如说，能从明暗度推测形状，或把物体从背景中抽离出来。但是直到最近，科学家才开始审视电脑对人的识别能力，以改进人机界面。事实上，你的脸就是你的显示设备，电脑应该能够读取它。因此，它必须能辨认你的脸以及你独特的表情。
我们的表情和我们想要表达的内容息息相关。通电话的时候，我们不会因为电话线另一端的人看不到我们，就面无表情。事实上，有时候为了加强口语的分量和语气，我们会更多地调动脸部的肌肉，并伴有更夸张的手势。电脑可以通过感应我们的表情，接收到繁复而且并行的信号，因此令我们的口语和文字讯息都更加丰富。
使电脑能够辨认人的脸部和表情，这是一个令人生畏的技术挑战。尽管如此，在某些情况下，这一点还是完全可以实现的。在你和电脑一对一的情况下，电脑只需要知道操作电脑的人是不是你，确定坐在它面前的不是地球上任何其他人就够了。此外，把人从背景中分离出来也十分容易。
很可能在不久的将来，电脑就能看到你。1990年至1991年，海湾战争爆发之时，许多商务旅行都被禁止，因此电信会议大量增加。此后，越来越多的个人电脑都配置了价格低廉的电信会议设备。
电信会议的硬件包括一个架设在显示器上方中央的电视摄像头，以及能编码、解码和实时地把影像全部或部分地显示在电脑屏幕上的硬件和软件。个人电脑将会越来越充分地为影像通信做好充分准备，当初电信会议系统的设计者们并没有想到要把摄像头用在个人电脑上，让我们享受到面对面的电脑通信。但是，这又何妨呢？人鼠之间我们媒体实验室的尼尔.葛森菲尔德做过一个很有趣的研究：比较只要花几分钟便可学会、价值30美元的鼠标，和要花一辈子才能精通、价值3美元的大提琴弓。他对照了16种运弓技巧和单击鼠标、双击鼠标和拖曳鼠标的动作。大提琴的弓是为音乐巨匠设计的，而鼠标则是给你我这种人设计的。
就图形输入而言，鼠标是简单而又累赘的媒介。使用鼠标有4个步骤：1）摸索寻找鼠标；2）晃动鼠标以找到光标；3）把光标移动到你希望的位置；4）单击或双击鼠标按钮。苹果“强力笔记本”电脑的创新设计至少把这些步骤简化为3个，并且采用了一个“静止鼠标”（最近又改成了“跟踪板”），可以随手指移动，因此使打字时所受的干扰减少到最低程度。
画图的时候，鼠标和跟踪球就一筹莫展了。不信你试着用跟踪球来签签名看。在这种时候，用“数据板”是个好得多的办法，也就是用像圆珠笔一样的笔尖，在一个平滑的表面上操作。
配置了绘图数据板的电脑并不多，而那些配置了数据板的电脑又仿佛患了精神分裂症一般，不知道该怎样安置数据板和键盘的位置才合适，因为两者最好都直接摆在显示器下方的中央位置。解决冲突的方式通常都是把键盘放在显示器下方，因为大多数人（连我也在内）根本不碰图案。
结果，数据板和鼠标都被摆在旁边，我们必须学会某种不大自然的手、眼协调方式。
你一边在下面操作数据板或鼠标，一边用眼睛盯住屏幕；也就是说，我们是靠碰触来作画的。光笔与数据扳鼠标是道格拉斯.恩格巴特在1964年发明的。当初他设计鼠标是为了指点文件，而不是作画。但是这个发明却流传下来，而且今天随处可见。美国国家艺术基金会主席简.亚历山大最近开玩笑说，只有男人才会想到把它叫做鼠标。
在她说这番话一年以前，伊凡.苏泽兰完善了直接用光笔在屏幕上作画的概念（50年代，其防空系统曾使用过一些粗糙的光笔）。苏泽兰的方法是：跟踪由5个光点构成的十字形光标。要停止绘图，只要抖一下手腕，退出跟踪就可以了。这是个精巧、但不太精确的终止画线的方式。
今天，光笔事实上已经踪影全无。因为把手举在屏幕前是一回事（且不说当血液顺着手掌不停地往下流时，要长时间保持这个姿势已经十分辛苦了），而拿着一管和电脑拴在一起的、两盎斯重的笔，更会令手掌和手臂异常疲劳。有些光笔的直径达半英寸，用的时候感觉就好像夹着雪前写明信片一样。
在数据板上画起图来则格外舒服，而且只要多费点心思设计，笔尖也能产生出如艺术家画笔一样的质感和丰富效果。到目前为止，数据板通常让人感觉好像是用圆珠笔在一块平滑而坚硬的板上作画，因此必须在桌面上靠近你和显示器的地方，为这块板找个安身之处。既然我们的桌上已经堆满了东西，如果要让数据板流行起来，唯一的办法是家具制造商把数据板直接做进桌面里，这样一来，就没有单独的数据板了，只有桌子本身。你的眼睛会说话设想一下一面读着电脑屏幕上的文字，一面问：那是什么意思？她是谁？我怎么到了那个地方？问题中的“那”、“她”和“那个地方”是由当时你眼睛注视的方向决定的。这些问题牵涉到你的眼睛和文件的接触点。我们通常都不把眼睛当作输出装置，但我们却总是以眼睛来输出信息。
人类能够觉察彼此目光的方向，并且进行视线的交流，这种本领当真神奇不已。想象一下，站在20英尺以外的一个人有时候直视你的眼睛，有时目光却从你肩膀的上方穿过，注视着远方。使此人目光注视的方向和你的视线只有不到一度的差距，你也能立刻感觉到其中的差异。这究竟是怎么回事呢？
你当然不是用三角学的方法算出来的，换句话说，并不是计算另外一个人的视线是否与你的视线相交。不，其中另有溪跷。你的眼睛和那人的眼睛之间一定传递了一个讯息，但我们还不清楚个中奥妙。跟踪眼球的运动总之，我们总是用眼睛来指示物体，当有人问你，某某人到哪里去了，你的回答可能只是注视着敞开的房门。当你说明要带什么东西时，可能会盯着一个旅行箱，而不是另一个。这种视线的指示，加上头部的动作，可以是非常有力的沟通渠道。
今天，已经有一些技术可以跟踪眼睛的运动。我最早看到的一种技术，是戴在头上的眼球跟踪器（eyetracker）。当你读文件内容时，跟踪器会把屏幕上的文字从英文变成法文。当你的中心视线不断地从一个字移到另一个字的时候，你看到的每个字都是法文，于是整个屏幕看起来是百分之百的法文。但是，眼球没有被跟踪的旁观者看到的屏幕，却大约99％都是英文（也就是说，除了戴着跟踪器的那个人正在看的字是法文外，其他的字都是英文）。
更现代的眼球跟踪系统则采用远距离电视摄像头，因此用户不需要戴任何装置。能显像的电信会议配置尤其适合进行眼球跟踪，因为用户往往隔着相对固定的距离坐在屏幕前面，而且你通常都会注视着和你进行远端通信的那个人的眼睛（电脑会知道眼睛的位置）。
电脑越清楚你的位置、姿势和眼睛的特点，就越容易掌握你注视的方向。具有讽刺意味的是，这种利用眼睛作为输入装置的异乎寻常的媒介可能最先应用在一个平淡无奇的结构中，即坐在电脑桌前的人身上。
当然，如果你把眼睛（看）和另外一种输入工具——嘴巴（说）同时使用，效果会更好。