每个决定都留下书面理由。战后复盘时拿出来读。
在 CARLA 驾驶仿真器里，一个敌对控制器想让车撞上去。地板在 40 公里内覆盖了它全部 64,952 条违规指令。碰撞：0 次。撤掉地板，同样的指令几秒内就撞车。
一旦出了事——或者差点误击友军——第一个问题就是：谁做的决定，为什么。这个系统在决定的那一刻就给出答案：它有哪些动作可选，拒绝了哪些，依据什么证据。这是系统在运行时自己写下的，不是事后凭记忆拼凑的。
不信任它，也能测试它：影子模式
你不会在第一天就把权限交给一个新系统。在亲眼看到它本会怎么做之前，你都不会交。
在影子模式下，地板是关闭的，但它仍然记录自己的裁决。拿它去跑一段录制好的任务，你会得到一份完整的“它本会怎么做”的日志：它本会拒绝的每一个动作，以及它本会引用的证据。实际发生的事情，一点都不会改变。
它不花任何代价，也不可能影响结果。它回答的是信任一个安全层之前唯一要紧的问题：它会对我的任务做什么？
从中会得出两个数字，这正是你该要的两个数字。有多少次，它本会拦下你的人照做了、结果也没出事的动作（它碍事）？又有多少次，它本会拦下紧接着就出了坏结果的动作（它本能帮上忙）？
这份记录给你什么
对自主系统的问责，通常是有人在事后写的一份关于它的文件。而这是系统在运行时自己产生的记录，而且能原样回放。
- 每一个决定。不是摘要。它允许的每一个动作、拒绝的每一个动作，都记在它做决定的那一刻。
- 附带证据。每一次拒绝都带着规则和挣得这条规则的事件——在测量的案例中，30 条规则追溯到 203 条相互链接的证据记录。
- 可以回放。输入同一段录像，得到同样的裁决。调查人员可以自己核对，而不必听信任何人的说法。
- 关闭时照样保留。所以在给它任何权限之前，你想评估多久就评估多久。
这就是追踪记录的意义。当问题是误击友军、或者谁该负责时，一个拿不出理由的系统，会让它身边的人无从指证。判断权始终在指挥的人手里。这份记录，是事后一个决定一个决定地核查那份判断的依据。
面对一个敌对的驾驶者时，它是什么样子
在 CARLA 驾驶仿真器里，一个敌对控制器把车往碰撞的方向开。地板接管车辆，保持约 9.7 米的间距，并在 100–490 米、38–40 km/h 的区间内记录了大约 400 次拒绝。碰撞：0。关闭地板后，同一个控制器撞车了——而日志仍然记下了地板在撞车途中本会拒绝的动作。
那是仿真器，不是真实道路。它说明记录是管用的。它不说明地板已经可以上真车。
下一章
第六章 — 如果你信任它，它会在哪里让你受伤 →