去年有个做跨境的朋友跟我聊海外 App。他在深圳做小家电，卖欧洲。生意还行，团队里没人敢碰后台。他也一直在找英文 App 自动化的办法。
界面全是英文，按钮上的词看着眼熟，又不敢确定，所以不敢点。有一次一个运营点错设置，把整批商品的发货地改成了国内仓，两天后才发现，客服问题堆了一堆。从那以后大家有了默契：英文界面上的操作尽量别动，能绕就绕。
他的办法是招一个英语好的。招到了，也能用。去年底人一走，这块又断了。
卡住的是试错成本
他团队里的年轻人，看英文界面连蒙带猜能到七八成。卡住的是点错了要兜回来，兜回来的路径又不熟，于是不敢点第二次。
一条路是把人练出来，这要时间和练习机会。另一条是动手的那一方不用读英文，它自己看得懂屏幕。后面这条就是 AI 操作手机在做的事，也是英文 App 自动化用得上的地方。
元素定位，和看屏幕
选方案时这两条容易混。
老办法是元素定位。脚本写的是：找到 id 是 publish_button 的那个控件，点它；或者找到页面上文字等于 Publish 的那个元素，点它。它很精确，前提是界面上的东西得跟写脚本的时候一模一样。
另一条是先看当前屏幕：上面有哪些文字、哪些控件、大致什么布局，再结合你说的话判断该点哪里。
同一个 App，中文版那个按钮写的是「发布」，英文版写的是「Publish」。元素定位的脚本在英文版上会找不到目标，第一步就卡住。看屏幕的做法看到的是底部那个用来提交内容的按钮，语言不同，它仍然把它当成发布。
看屏幕靠两样东西配合。一是识别文字和控件，读取屏幕上的内容。二是视觉模型，看截图，判断画面上哪个位置是你要找的。
第二样可以自己配。在 能力与模型 页指定用哪个视觉模型，API Key 和地址填自己的。
纯靠识别文字，没有文字的图标就没办法。视觉模型补的是这一块，它看的是画面本身。
描述里写动作，别写按钮上的词
描述里写做什么，不要写点那个写着某某的按钮。
这样写就对：
打开这个 App，点底部中间的加号，从相册选第一张图，标题填我给你的文字，提交之前停一下让我确认。
这样写会给自己添麻烦：
点那个写着 Create 的按钮。
第一种，界面语言换了、按钮位置挪了，流程还能跑。第二种，那个词一变就废了。
第一次跑建议切到「细化」，让它把你没说清的细节问出来。跑到最后一步先停下，人确认一下。前面几周这个习惯很有用：你对这个 App 的界面也不熟，看着它跑一遍，才知道哪些地方容易出问题。
流程跑完去 执行历史 看。记录是中文的，哪一步失败、大概什么原因、哪台设备，都写着。排查不会因为界面是英文而变成读英文报错。
常见就三类：
- 找不到目标。多半是纯图标按钮，补一条 找图模板，把那个按钮截下来存进去
- 点了没反应。等待时间设短了，页面还没加载完就点了下一步，放宽一两秒再试
- 设备离线。跟界面语言无关，回设备页处理
你要会的是把业务动作说明白。这跟英文水平没关系。
这套办法不做翻译，也不替你判断英文内容写得好不好。它看懂屏幕上有什么，按你说的把动作做完。跨境文案地不地道，还是人来看。跟客户沟通的话术，还是人来定。它管的是操作。
开头那位朋友现在文案自己写，他英文还行，执行交给电脑。他说，以前是招一个能看懂界面的人，现在是让工具去看懂界面，人只管写内容。
心里没底的话，按 安装选型 先接一台手机，挑一个最没风险的流程试，比如打开 App 看一眼今天有多少订单，不用改任何东西。跑通一次，就知道它能做到哪一步。
常见问题
- 这套办法是把英文界面翻译成中文吗？
- 不是。它不做翻译，只做识别和执行。屏幕上的按钮写着什么、这个按钮大概是什么意思，它自己判断，然后决定点哪里。你不需要读英文，也不需要它把英文转成中文给你看。
- 它凭什么能认出英文界面上的按钮？
- 靠两件事：一是识别屏幕上的文字，二是抓取界面上的控件信息，再配合视觉模型看画面。所以判断依据是屏幕上真实存在的东西，不是提前写好的坐标。
- 写脚本的方案为什么一换语言就出问题？
- 多数脚本方案靠元素定位，比如按控件的 id、类名或者一段固定文本来找目标。界面语言一变，那段固定文本就对不上了，脚本会直接在找元素这一步失败。
- 同一个 App 出英文版和中文版，要配两套流程吗？
- 不用。描述里写的是动作意图——「点发布」「选第一张图」，而不是「点那个写着 Publish 的按钮」。所以界面语言变了，流程本身不用重做。
- 英文界面上有缩写和专业词，它认得出来吗？
- 大部分没问题，因为它靠的是整屏上下文，不只看一个词。但如果碰到纯图标、或者你所在行业特有的缩写，建议补一条找图模板，把那个按钮的样子存进去，它就不会犹豫。
- 界面突然改版了会怎样？
- 比写死坐标的方案好很多。改版之后它重新看一遍屏幕，位置变了也能找到。但如果按钮挪到了另一个页面、或者入口整个换了，那流程的步骤顺序要跟着调整，这个得人来改。
- 识别不出来的时候，报错看得懂吗？
- 执行历史里的报错是中文的，会写明是哪一步失败、大概什么原因。所以排查环节不会因为界面是英文而变难。
- 我完全不懂英文，能自己搭起来吗？
- 能。你要做的事有两件：用中文把流程描述一遍，然后在手机上看着它跑一遍、确认动作对不对。中间不需要你读任何英文。真要说门槛，是对业务动作本身熟不熟。