近日，陈占龙教授、张梦玺副教授团队完成的研究论文—“Enhancing Cognitive Accessibility in Mobile Apps via LLM-driven Redundant Entry Reduction”被软件工程领域顶级期刊《ACM Transactions on Software Engineering and Methodology》（TOSEM，CCF-A类期刊）录用并发表。其中，张梦玺副教授为论文第一作者，陈占龙教授为通讯作者。

随着移动应用（App）在在线购物、日程安排和健康管理等日常活动中的深度普及，其无障碍体验提出了更高的要求。然而，认知障碍用户在交互中经常会遇到冗余的信息输入问题，即必须在多个图形用户界面（GUI）或会话中重复输入相同的非敏感数据（如日期、地址或偏好等）。这不仅增加了交互负担和用户的挫败感，而且对患有认知障碍的人群造成了尤其不利的影响，因为他们往往难以记住或管理这些反复出现的信息。其主要原因在于，传统开发方法通常依赖静态字段映射和预定义规则来自动填充这些冗余条目，这些方法缺乏灵活性，难以适应多样化的应用布局、动态界面元素或个性化的用户需求。

图1 LLM-DIP与手动输入的对比表现结果

针对上述挑战，本文提出了一种由大语言模型（LLM）驱动的新型框架：LLM-DIP。作为该领域的首个相关工作，LLM-DIP通过利用对GUI屏幕截图和布局结构的多模态理解，能够自动检测并准确填充非敏感的冗余输入条目。该方法突破了传统预定义规则的限制，实现了对界面上下文的深度语义理解与智能匹配，为移动应用的无障碍设计提供了全新的解决方案。

通过在涵盖17个领域的100款真实Android应用上进行全面评估，结果表明，LLM-DIP实现了高达91.6%的平均准确率和91.0%的F1-score，全面优于现有的各项基线方法。此外，团队还开展了一项包含20名参与者的用户调查，进一步证实了方法实际效益。结果显示，该方法有效提高了此类用户的操作效率，并获得了极高的用户满意度（平均评分为4.3/5）。

ACM Transactions on Software Engineering and Methodology（TOSEM）是软件工程领域的国际顶级期刊、中国计算机学会（CCF）推荐的A类期刊，在软件工程和系统开发方法学领域有着极高的学术声誉和影响力。

该研究得到国家科技重大专项、国家自然科学基金、地大青年学者基金、中央高校基本科研业务费等项目的资助。

论文信息：

Title：Enhancing Cognitive Accessibility in Mobile Apps via LLM-driven Redundant Entry Reduction

Authors：Mengxi Zhang, Yongju Xiong, Xianyou Chen, Yihao Liu, Ran Liu, and Zhanlong Chen*

Publication: ACM Transactions on Software Engineering and Methodology

DOI: //doi.org/10.1145/3816705

论文链接：//dl.acm.org/doi/epdf/10.1145/3816705

通讯员：张梦玺

审核：龚文引

校对：卢笙