鸿蒙OS 多模输入开发指导

场景介绍

多模输入使 HarmonyOS 的 UI 控件能够响应多种输入事件，事件来源于用户的按键、点击、触屏、语音等。例如用户希望通过语音操作UI控件，那么开发者可以通过多模输入在智慧屏产品上提供的语音事件达到“可见即可说”的效果。

接口说明

多模输入的接口设计是基于多模事件基类（MultimodalEvent），派生出操作事件类（ManipulationEvent）、按键事件类（KeyEvent）、语音事件（SpeechEvent）等，详细见[图1]。

图1 多模输入事件类的派生关系

• MultimodalEvent 是所有事件的基类，该类中定义了一系列高级事件类型，这些事件类型通常是对某种行为或意图的抽象。

• CompositeEvent 处理常用设备对应的事件，目前暂时只有 MouseEvent 事件继承该类。

• RotationEvent 处理由旋转器件产生的事件，比如智能穿戴上的数字表冠。

• SpeechEvent 处理语音事件，开发者可以通过该类获取语音识别结果。

• ManipulationEvent 操作类事件主要包括手指触摸事件等事件，是对这些事件的一个抽象。该事件会持有事件发生的位置信息和发生的阶段等信息。通常情况下，该事件主要是作为操作回调接口的入参，开发者通过回调接口捕获及处理事件。回调接口将操作分为开始、操作过程中、结束。例如对于一次手指触控，手指接触屏幕作为操作开始，手指在屏幕上移动作为操作过程，手指抬起作为操作结束。

• KeyEvent 对所有按键类事件的定义，该类继承 MultimodalEvent 类，并对按键类事件做了专属的 Keycode 定义以及方法封装。

• TouchEvent 处理手指触控相关事件。

• KeyBoardEvent 处理键盘类设备的事件。

说明

NoncharacterKey 为除了文本可见字符（A-Z，0-9，空格，逗号，句号等）以外的按键码，例如：Ctrl，Alt，Shift 等。

• MouseEvent 处理鼠标的事件。

• MmiPoint处理在指定给定的坐标系中的 x,y 和 z 坐标。

开发步骤

处理按钮事件

1. 参考 HarmonyOS 的 Component 的 API 创建 KeyEventListener；

1. 重写实现 KeyEventListener 类中的onKeyEvent(Component component, KeyEvent event)方法；

1. 开发者根据自身需求处理存在按键被按下以及 KEY_DPAD_CENTER、KEY_DPAD_LEFT 等按键被按下后的具体实现。

   private Component.KeyEventListener onKeyEvent = new Component.KeyEventListener() 
   {
       @Override
       public boolean onKeyEvent(Component component, KeyEvent keyEvent) {
           if (keyEvent.isKeyDown()) {
               ... // 检测到按键被按下，开发者根据自身需求进行实现
           }
           int keycode = keyEvent.getKeyCode();
           switch (keycode) {
               case KeyEvent.KEY_DPAD_CENTER:
                   ... // 检测到KEY_DPAD_CENTER被按下，开发者根据自身需求进行实现
                   break;
               case KeyEvent.KEY_DPAD_LEFT:
                   ... // 检测到KEY_DPAD_LEFT被按下，开发者根据自身需求进行实现
                   break;
               case KeyEvent.KEY_DPAD_UP:
                   ... // 检测到KEY_DPAD_UP被按下，开发者根据自身需求进行实现
                   break;
               case KeyEvent.KEY_DPAD_RIGHT:
                   ... // 检测到KEY_DPAD_RIGHT被按下，开发者根据自身需求进行实现
                   break;
               case KeyEvent.KEY_DPAD_DOWN:
                   ... // 检测到KEY_DPAD_DOWN被按下，开发者根据自身需求进行实现
                   break;
               default:
                   break;
           }
           ... 
       }
   };

处理语音事件

使用多模输入的语音事件实现“可见即可说”的效果简易开发样例参考可见即可说开发指导。