AccessibilityService详解

1、前言

Android的辅助功能是个比较老的API（since API 4），但是该API真正的开始发展还是在API 16~19（很多常用的方法参数都是在这几个版本逐渐加入以及完善的）版本中。辅助功能我们最常见的是在类似深度休眠，抢红包中使用，模拟点击屏幕view。此次写关于辅助功能的分享是因为在API 24、 API 26中，又增添了几个类以及几个接口。

本文首先介绍关于辅助功能的常见使用方法，然后开始介绍辅助功能新增接口以及类的使用。

2、辅助功能的使用

2.1 辅助功能常规使用方法：

本小结介绍一般情况下辅助功能的使用（基础用法和方法释义较多，如果需要阅览API > 20 新增方法使用请从2.2开始阅读），API level在20及以下的使用方式。不涉及新增的方法以及类的使用介绍。

2.1.1 使用流程：

1、Service: 配置自己的辅助功服务（注册、配置）

2、Class: 自己的辅助功能类（对事件的拦截、处理）

2.1.2 Service配置：

1、在实例化的辅助功能类中：onServiceConnected()中初始化，如下所示。

@Override

protected void onServiceConnected() {
    super.onServiceConnected();
    AccessibilityServiceInfo info = new AccessibilityServiceInfo();
    info.eventTypes = AccessibilityEvent.TYPES_ALL_MASK;
    info.feedbackType = AccessibilityServiceInfo.FEEDBACK_GENERIC;
    info.notificationTimeout = 100;
    info.packageNames = new String[]{"...", "..."};
    info.flags = AccessibilityServiceInfo.FLAG_REPORT_VIEW_IDS;
    setServiceInfo(info);
}

2、使用manifest中添加meta-data的方式（该方式从API 14开始使用）

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:accessibilityEventTypes=""
    android:accessibilityFeedbackType=""
    android:accessibilityFlags=""
    android:canRequestEnhancedWebAccessibility=""
    android:canRequestFilterKeyEvents=""
    android:canRequestTouchExplorationMode=""
    android:canRetrieveWindowContent=""
    android:description=""
    android:notificationTimeout=""
    android:packageNames=""
    android:settingsActivity=""
    android:summary="" />

由上边两组代码可以看到，前一个配置中单个代码块中，配置属性有限，但灵活的在服务里边初始化，使我们可以随时的改变需要的flag和type及一些其他参数。而后一个（Android 4.0+ / API 14+）的meta-data配置方式，可配置的属性更多。在系统条件符合时（同时不需要更改我们辅助功能的一些参数时），还是推荐使用后一个配置方式进行辅助功能的配置。

2.1.3 AccessibilityServiceInfo 配置参数：

这里只是对所有的XML attributes进行说明。

XML attributes：

• AccessibilityEventTypes 此服务希望接收的事件类型

• accessibilityFeedbackType 此服务提供的反馈类型

• accessibilityFlags 辅助功能附加的标志，多个使用 ‘ | ‘分隔

• canRequestEnhancedWebAccessibility (boolean)
  辅助功能服务是否能够请求WEB辅助增强的属性。例如: 安装脚本以使应用程序内容更易于访问。
• canRequestFilterKeyEvents (boolean)
  辅助功能服务是否能够请求过滤KeyEvent的属性，是否可以请求KeyEvent事件流。，flagRequestFilterKeyEvents搭配使用
• canRequestTouchExplorationMode (boolean)
  此属性用于，能够让辅助功能服务通过手势，来请求触摸浏览模式，其被触摸的项，将被朗读出来，flagRequestTouchExplorationMode搭配使用
• canRetrieveWindowContent (boolean)
  辅助功能服务是否能够取回活动窗口内容的属性。 与上边的flagRetrieveInteractiveWindows搭配使用，无法在运行时更改此设置。
• description
  辅助功能服务目的或行为的简短描述。
• notificationTimeout
  同一类型的两个辅助功能事件发送到服务的最短间隔（毫秒，两个辅助功能事件之间的最小周期）
• packageNames
  从此服务能接收到事件的软件包名称 (不适合所有软件包)（多个软件包用逗号分隔）。
• settingsActivity
  允许用户修改辅助功能的activity组件名称
• summary
  同description

2.1.4 实现自己的辅助功能类：

首先需要了解的是AccessibilityService这个类。

Public方法有：

这部分我们只针对API <= 20部分的代码，其中我们常用的方法有：

在使用这些方法时，有三个需要我们了解的地方：

• AccessibilityEvent 在辅助功能event回调方法中，返回的参数。（官方API En）
• AccessibilityNodeInfo 辅助功能中的节点对象(nodeInfo)。（官方API En）
• performGlobalAction(action) 全局事件发送方法（物理按键的点击）

AccessibilityEvent

当用户界面发生某些明显的事件时，AccessibilityEvent代表的无障碍事件会被系统发送，每一种事件类型是由该类暴露出的属性子集表示其特征的。在此类中为每一种事件类型定义了相应的常量。详细的事件类型请参照AccessibilityEvent文档 Zh。

Public Methods 公有方法:

AccessibilityNodeInfo

该类代表一个窗口内容节点和可以从源请求的操作。从 AccessibilityService的角度看，一个窗口内容被呈现为一个无障碍节点信息树，该树可能与视图层次一一映射，也可能不与视图层次一一映射。换句话说，一个自定义视图可灵活地将自己报告为一个无障碍节点信息树。一旦无障碍节点信息被发送给无障碍服务，该信息将会是不可改变的，且调用状态改变方法将会产生错误。AccessibilityNodeInfo文档 Zh

嵌套类：

• AccessibilityNodeInfo.AccessibilityAction API 21+
  定义了一个可以在 AccessibilityNodeInfo 上执行的操作的类。
• AccessibilityNodeInfo.CollectionInfo
  具有一个节点是否是个集合的信息的类。
• AccessibilityNodeInfo.CollectionItemInfo
  具有一个节点是否是个集合项目的信息的类。
• AccessibilityNodeInfo.RangeInfo
  具有一个节点是否是个范围的信息的类。

常量：
使用nodeInfo.performAction(Int Action)、performAction(Int Action, Bundle bundle)方法

方法：

performGlobalAction

2.1.5 自定义AccessibilityService类的常规使用

public class MyAccessibilityService extends AccessibilityService {
    @Override
    protected void onServiceConnected() {
        super.onServiceConnected();
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        // 1.AccessibilityEvent中一些常用的使用方法
        // 这里我们获取到该辅助功能的事件类型
        // 事件类型请参照 2.1.3中AccessibilityEventTypes表
        int eventType = event.getEventType();
        // 输出事件的字符串type
        String typeStr = event.eventTypeToString(eventType);
        // 根据事件类型来分发我们的需要的操作,这里以窗口变化为例
        if(AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED == eventType){
            // 判断我们的辅助功能是否在约定好的应用界面执行，以设置界面为例         if("com.android.settings".equals(event.getPackageName()){
                // doSomeThing
            }
        } else if(AccessibilityEvent.TYPE_GESTURE_DETECTION_START == eventType) {
            // 在监测到手势的时候
        } else {
            // 在完成操作时，可以关闭自己的服务，下次使用再次开启。
            // API > = 24
            disableSelf();
        }
        // 2.通过event来遍历我们的nodeInfo
        if (VERSION.SDK_INT >= Build.VERSION_CODES.JELLY_BEAN_MR2)
            // 这里使用getResource()方法其实是从AccessibilityEvent继承的
            // AccessibilityRecord中抽取AccessibilityNodeInfo
            // 实际调用的是AccessibilityRecord中的方法，返回的是AccessibilityNodeInfo mSourceNode
            AccessibilityNodeInfo info = event.getSource();
        else
            info = getRootInActiveWindow();
        // 3.遍历info中的子节点
        if (info.getChildCount() ！= 0){
            // 通过一个循环将info的子节点遍历
            for (int i = 0; i < info.getChildCount(); i++) {
                // 获取子节点中某个特定的node，这里通过以下方法通过ID查找
                List<AccessibilityNodeInfo> list = info.findAccessibilityNodeInfosByViewId("com.android" +".settings:id/xxxx");

                // 通过text查找
                List<AccessibilityNodeInfo> list = info.findAccessibilityNodeInfosByText("xxxx");
                // 打印nodeinfo的信息
                Log.e("InfoType: " + info.getClassName());
                Log.e("InfoText: " + info.getText());
                Log.e("InfoPkgName: " + info.getPackageName());
                Log.e("InfoViewId: " + info.getViewIdResourceName());
            }
        }

        // 4.为节点添加操作
        // 1) 首先获取到我们的节点
        AccessibilityNodeInfo info = event.getSource();
        // 2) 通过查找指定的ID、text来查找一个系列的节点，返回一个list，需要判断list.size()是否为空
        List<AccessibilityNodeInfo> list = info.findAccessibilityNodeInfosByViewId("pkgName." + "id");
        AccessibilityNodeInfo info = list.get(0);
        // 3) 为节点添加操作，点击事件（事件可参照AccessibilityNodeInfo表）
 info.performAction(AccessibilityNodeInfo.ACTION_CLICK);

        // 4) 添加node可用的action，给node添加一个可清除焦点的操作
        // 通过addAction(AccessibilityNodeInfo.AccessibilityAction action)
        info.addAction(AccessibilityNodeInfo.AccessibilityAction.ACTION_CLEAR_FOCUS);

        // 获取该node上可用的action属性list，可以用来查看该node的属性
        List<AccessibilityNodeInfo.AccessibilityAction> listAction = info.getActionList();
        // 5.获取该节点上子节点个数
        int childCount = info.getChildCount();
        // 6.操作完成后，回收实例，返回一个下次可用的实例
        info.recycle();
        // 需要注意的是，在node.performAction之后，调用本地广播的话，之后的globeAction不会起作用，例：
        sureStopNode.performAction(AccessibilityNodeInfo.ACTION_CLICK);
        sureStopNode.recycle();
        SystemMessage.getInstance().send(SystemMessage.ACTION_POWER_BOOSTER_NEXT);
        performGlobalAction();// 这句话是不起作用的
        // 7.辅助功能的一些适用场景：
        // 1)部分应用中获取短信验证码（通过开启辅助功能的方式获取）
        //  - 监听通知栏的消息(typeNotificationStateChanged)
        //  - 弹出通知栏的时候获取该通知的节点信息(event.getSource())
        //  - 遍历root节点，取得显示信息的文本Node(info.findAccessibilityNodeInfosByViewId("pkgName." + "id"))
        //  - 通过NodeInfo.getText()方法获取到相应的文本信息，并取出验证码
        //  - 取消掉通知栏弹出框
        //  - 获取到要输入的EditText获取直接在本应用给需要填写验证码的区域设置文本。
        // 2)部分应用中恢复APP的初始设置（清除APP的数据）
        //  - 跳转到应用详情，通过findAccessibilityNodeInfosByViewId查找节点
        //  - 通过节点info.performAction(AccessibilityNodeInfo.ACTION_CLICK)点击清除
        //  - 弹出确定对话框，同上方式找到确定节点，点击后返回
        // 3)监测应用是否在前台，APP的启动（通过windowstatechange事件获取到当前的event的pkgName）
        //  - 通过接收typeWindowStateChanged事件，获取event的pkgName确定哪个应用启动或者在最上层显示（悬浮窗不适用）
        // 4)自动安装与卸载软件
        //  - 同3，寻找相应的节点，点击事件
        // 5)自动化UI测试
        // 6)最常见的抢红包
        // 7)通过辅助功能开启一些权限(不需要用户手动点击开启了)
        //  - 在用户确定需要开启权限时，自动跳转，寻找相应的开关按钮
        //  - 需要注意的是，部分开关（switch button， checkbox）可能没有ID，需要通过info.getClassName()来判断，属于那种类型的view。
    }

    @Override
    public void onInterrupt() {

    }
}

需要重写的一些方法：

• onServiceConnected() 该方法在初始化辅助功能服务时调用，可以在这时做相应的初始化工作。
• onAccessibilityEvent() 在获取到指定的监听事件时，通过回调这个方法来进行对应的操作
• onInterrupt() 系统想要中断辅助功能时会调用该方法

当然service中的onUnbind()方法也同样适用，在onUnbind()中释放一些资源也是可以的。

Note: 这里需要了解的是辅助功能最重要的就是手机机型的适配。由于各个厂商的系统不一样，导致了我们在获取一些节点时，需要的节点ID不同（通过ID获取节点时一种比较高效的方式）。而我们一般通过Device Monitor中的Hierarchy View获取节点信息。同时在此方式下，很多手机没法获取到节点信息，我们就需要使用添加flagReportViewIds进行手动遍历界面节点的方式获取nodeInfo。

以上是辅助功能常规使用以及使用场景的介绍。下面为辅助功能的注册。

<service
    android:name=".我们自己继承自AccessibilityService的类"
        android:label="@string/app_name"
        android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
        <intent-filter>
            <action android:name="android.accessibilityservice.AccessibilityService"/>
        </intent-filter>
        <meta-data
            android:name="android.accessibilityservice"
            android:resource="@xml/第二个辅助功能配置方式的文件，存放在xml下"/>
</service>

[========]### 20 新增方法，接口（预览版）使用探究：

2.2.1 AccessibilityService新增方法一览：

API 21：

获取屏幕上的窗口。
返回一个有目标的用户可以与之进行交互的窗口，而不是所有的窗口。

为了访问Windows，服务必须通过在其元数据中设置AccessibilityService_canRetrieveWindowContent属性来声明检索窗口内容的功能。此外，服务必须选择通过设置FLAG_RETRIEVE_INTERACTIVE_WINDOWS标志来检索交互式窗口。

使用此方法来获取我们屏幕上最上层的一个窗口根节点。

API 24：

返回AccessibilityService.SoftKeyboardController其中可以使用添加addOnShowModeChangedListener()的方式来进行对键盘的显示隐藏状态监听，通过getShowMode()获取到软键盘的显示隐藏状态，setShowMode(int showMode)设置软键盘的显示隐藏状态。

通过在服务中调用该方法可以将自己的服务停止，同时在辅助功能开启界面上的开关也会随之关闭。

可以通过设定GestureDescription将手势的轨迹显示在触摸屏上，同时可以通过GestureResultCallback回调获得事件的完成情况。

这里的焦点类型有FOCUS_INPUT和FOCUS_ACCESSIBILITY分别代表了输入焦点和无障碍重点。
FOCUS_ACCESSIBILITY这个焦点，是需要使用setAccessibilityFocused(boolean isFocus)方法进行设置过得焦点。

需要注意的是：如果要使用该方法的话，需要先设置AccessibilityService_canRetrieveWindowContent同时添加一个flag：FLAG_RETRIEVE_INTERACTIVE_WINDOWS。

返回：AccessibilityService.MagnificationController。为了控制放大倍数，辅助功能服务必须通过在其元数据中设置AccessibilityService_canControlMagnification属性来声明该功能。

API 26：

返回：AccessibilityButtonController：

当设置FLAG_REQUEST_ACCESSIBILITY_BUTTON时，此类可用于查询辅助功能按钮的状态并注册回调以进行交互，并对可访问性按钮进行状态更改。

注意：此类和FLAG_REQUEST_ACCESSIBILITY_BUTTON不应该被用作通过AccessibilityService为用户提供功能的唯一手段。 一些设备实现可以选择不提供软件呈现的系统导航区域，使得该功能永久不可用。

注意：在支持辅助功能按钮的设备实现中，它可能始终不可用，例如前台应用程序使用SYSTEM_UI_FLAG_HIDE_NAVIGATION时。 用户还可以选择将该按钮分配给另一个可访问性服务或功能。 在每种情况下，将调用注册的AccessibilityButtonController.AccessibilityButtonCallback的onAvailabilityChanged（AccessibilityButtonController，boolean）方法来提供对可访问性按钮对注册服务的可用性的更改的通知。

注意底部导航栏的小人：

​ image

下面是一个简单的用例：

public class MyAccessibilityService extends AccessibilityService {
    @Override
    protected void onServiceConnected() {
        super.onServiceConnected();
        AccessibilityServiceInfo info = new AccessibilityServiceInfo();
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.O) {
            info.flags = AccessibilityServiceInfo.FLAG_REQUEST_ACCESSIBILITY_BUTTON;
        } else {
            info.flags = AccessibilityServiceInfo.FLAG_REPORT_VIEW_IDS;
        }
        info.eventTypes = AccessibilityEvent.TYPES_ALL_MASK;
        info.feedbackType = AccessibilityServiceInfo.FEEDBACK_GENERIC;
        info.notificationTimeout = 100;
        setServiceInfo(info);
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.O) {
            AccessibilityButtonController mAccessibilityButtonController = getAccessibilityButtonController();
            mAccessibilityButtonController.registerAccessibilityButtonCallback(new AccessibilityButtonController.AccessibilityButtonCallback() {

                @Override
                public void onClicked(AccessibilityButtonController controller) {
                    super.onClicked(controller);
                    // 底部导航栏中辅助功能按钮点击事件回调
                    Toast.makeText(MyAccessibilityService.this, "on Click", Toast.LENGTH_SHORT).show();
                }
                @Override
                public void onAvailabilityChanged(AccessibilityButtonController controller, boolean available) {
                    super.onAvailabilityChanged(controller, available);
                    // 辅助功能可用性改变的回调。返回了辅助功能底部按钮是否可用的布尔值，和按钮控制器
                    // available = true 表示该按钮对本服务可用
                    // available = false 是由于设备显示了按钮，或按钮被分配到另一个服务或其他原因。
                }
            });
        }
    }

    @Override
    public void onInterrupt() {

    }

}

在开启辅助功能之后，如果是O系统的话，在底部导航栏会出现一个辅助功能的小人。同时这个小人可以接收到点击事件，和辅助功能可用状态变化。

指纹手势控制器：FingerprintGestureController

只要设备具有能够检测手势的传感器，AccessibilityService可以捕获在设备的指纹传感器上执行的手势。
使用时需要声明CAPABILITY_CAN_CAPTURE_FINGERPRINT_GESTURES同时需要权限USE_FINGERPRINT,由于没有真机调试该方法，待Google发布正式版API后继续研究

支持的四个事件:

公有方法

其中的FingerprintGestureController.FingerprintGestureCallback与之前的辅助功能按钮回调基本相同，都只有两个方法。

2.2.1 AccessibilityNodeInfo新增方法一览：

API 21

以上两个方法需要搭配使用。

通过该方法，我们可以使用一个子节点来重新获取到我们的根节点。在需要多次操作界面元素的情况下（同时没有产生windowstatechange事件），我们可以不通过监听事件来进行下一个节点的操作。

第一个addAction(AccessibilityNodeInfo.AccessibilityAction action)方法是API 21时替代API 20中的addAction(int action)方法。
提供了一个在辅助功能外操作节点的方法，该方法不能在辅助功能服务中调用，不然会报错java.lang.IllegalStateException: Cannot perform this action on a sealed instance.

后三个方法使用的前提都是需要事先在节点中添加了操作，或者视图，不然都不会起作用。要说明的是removeAction方法也需要在服务外调用，不然也要报错

API 22

通过在view的xml属性中添加android:accessibilityTraversalAfter="+id"方式来进行辅助功能遍历时的顺序后，通过本方法获取下一个节点。

通过在view的xml属性中添加android:accessibilityTraversalBefore="+id"方式来进行辅助功能遍历时的顺序，同上。

通过View.setAccessibilityTraversalBefore(+id)方式设置顺序。

API 23

通过View的setContextClickable(Boolean isClickable)方法设置一个View是否可以点击。然后通过该方法，我们可以获取到节点上下文的可否点击状态。

API 24

通过View的XML属性设置android:importantForAccessibility=""状态后，我们可以通过本方法获取到该状态的boolean值。

同样的不能在辅助功能服务中调用该方法。
参考ViewGroup.setChildrenDrawingOrderEnabled())中children的绘制顺序理解。

返回与该节点对应的视图相对于其兄弟姐妹的绘图位置。
返回的数值从1开始，表示相对于父节点中，并列view的绘制顺序。