符号机器学习

符号机器学习（symbolic machine learning）是这样一类机器学习：它的输出是显式的、人可读的符号结构，例如规则集、决策树、逻辑程序、存储的案例或数学公式，而不是数值权重。它从样例出发进行概括，常常还借助背景知识，每一个预测都能追溯到产生它的那条学到的规则。

1. 从样例中学习概念

1.1 概念学习

概念学习是这个问题最古老的形式：给定某个类别的正例和反例，找到一个覆盖所有正例、排除所有反例的描述。Patrick Winston 1970 年在 MIT 的博士论文《从样例中学习结构描述》（Learning Structural Descriptions from Examples）从一系列图画中学习“拱门”（两块立着的积木支撑第三块）这样的结构概念，其中包括“近似反例”（near miss）：它们与概念只在一个重要方面不同，因此能显示哪条关系是必不可少的[2]。它学到的描述是一张关系网络（支撑、不得接触），可以当作定义来读。

一般的表述是把学习看作搜索。固定一种假设语言 $H$（例如属性取值的合取）。如果假设 $h\in H$ 对训练样例 $E$ 中的每一个都分类正确，就称它与 $E$ 一致。假设按从一般到特殊排序：当 $h_2$ 覆盖的每个实例都被 $h_1$ 覆盖时，记为 $h_1{\ge }_g{h}_2$。学习就是根据样例在这个有序空间中移动[1]。局限。假设语言决定了究竟什么能被学到；只允许合取的学习器永远学不会“红色或圆形”。这种“归纳偏置”不可避免，而符号学习器把它明确地写了出来。

1.2 变型空间与候选消除

Tom Mitchell 在 IJCAI-77 上提出了变型空间（version spaces，也译作版本空间）（《变型空间：一种规则学习的候选消除方法》），并在《作为搜索的概括》（Generalization as search，《人工智能》期刊，1982）中加以发展[3] [4]。变型空间是与迄今所有样例一致的全部假设的集合。它可能非常庞大，但由于假设按一般性排序，它可以完全由两条边界描述：最特殊的一致假设 $S$ 和最一般的一致假设 $G$。

候选消除算法把 $S$ 恰好推广到足以覆盖每个正例，把 $G$ 恰好特化到足以排除每个反例。下面是一个有三个属性（大小、颜色、形状）的完整例子，? 表示“任意值”：

在第三个样例处，$G$ 必须不再覆盖一个小的蓝色圆形。在各种最小特化中，⟨大, ?, ?⟩ 和 ⟨?, ?, 方⟩ 被舍弃，因为它们并不比 $S$ 更一般（它们会排除已经见过的红色圆形），剩下 ⟨?, 红, ?⟩。第四个样例迫使它变成 ⟨?, 红, 圆⟩，变型空间收缩为唯一的假设。在那之前，学习器准确地知道自己不知道什么：对变型空间所有成员意见一致的实例，可以确定地分类；对它们意见不一的实例，可以标记为“未确定”。局限。一个标错的样例就可能让变型空间变空，因为再没有一致的假设；边界集合也可能指数级增长。变型空间如今主要是一种教学工具，以及一套关于学习器能知道什么的清晰理论，而不是生产方法。

2. 决策树与规则

2.1 决策树：ID3、C4.5 与 CART

决策树通过从根到叶的一串属性测试对实例分类。这种学习方法源自 Earl Hunt、Janet Marin 和 Philip Stone 的概念学习系统（Concept Learning System，CLS），见于《归纳实验》（Experiments in Induction，1966）[5]。

ID3。Ross Quinlan 从 1979 年起开发 ID3，并在《机器学习》（Machine Learning）期刊创刊号上的《决策树的归纳》（Induction of Decision Trees，1986）中加以描述[6]。它自顶向下生长决策树：在每个结点选择最能降低类别不确定性的属性，按其取值划分样例，然后递归。不确定性用熵来度量，其降低量称为信息增益：

其中 $p_c$ 是 $S$ 中类别为 $c$ 的样例比例，$S_v$ 是满足 $A=v$ 的样例。Quinlan 自己的例子是 14 个星期六上午，用天气（outlook）、温度、湿度和风来描述，其中 9 个属于类 P，5 个属于类 N：

晴天上午按 2–3 划分，阴天 4–0，雨天 3–2。其他属性的增益更小（湿度 0.151、风 0.048、温度 0.029），所以天气成为根结点；每个阴天上午都属于 P，这一支直接成为叶子，过程在另外两支上递归。最终的树读起来就是三条人可以对照数据检查的规则。

C4.5 与 CART。Quinlan 的 C4.5（专著，1993）把 ID3 扩展到连续属性（通过阈值）、缺失值和剪枝，并用增益率取代原始增益，以免偏向取值很多的属性[7]；它的商业继任者是 C5.0。与此独立，Leo Breiman、Jerome Friedman、Richard Olshen 和 Charles Stone 的《分类与回归树》（Classification and Regression Trees，1984）提出了 CART，采用二元划分和代价复杂度剪枝[8]。

今天。单棵树用于必须解释决策的场合；树的集成（随机森林、梯度提升树）是表格数据上最强的方法之一，代价是可读性：由五百棵树组成的森林已经不再是一个符号解释。局限。寻找最小的一致决策树是 NP 完全的，所以贪心生长可能错过简单的概念；决策树不稳定（数据的小变化就可能改变根结点）；平行于坐标轴的划分难以逼近斜向的边界。

2.2 规则归纳：AQ、CN2 与 RIPPER

规则归纳直接学习一组无序或有序的 if–then 规则，通常采用顺序覆盖：学一条覆盖许多正例、很少反例的规则，移除它覆盖的正例，重复直到正例全部被覆盖。

AQ。Ryszard Michalski 的 AQ 系列（始于 1969 年）是经典的覆盖算法：选一个尚未被覆盖的正例作为“种子”，生成覆盖它且不覆盖任何反例的最一般描述（一颗“星”），保留最好的那个，然后继续[9]。在斯坦福，Meta-DENDRAL 从分子结构与质谱的配对中学习质谱规则，这是程序为专家系统归纳科学规则的最早案例之一[10]；参见专家系统。

CN2。Peter Clark 和 Tim Niblett 的 CN2（1989）把 AQ 式的规则搜索与 ID3 式的统计检验结合起来，使规则能够容忍噪声：当统计上说得通时，允许一条规则覆盖少量反例[11]。William Cohen 的 RIPPER（1995）让规则学习在准确率上可与 C4.5 竞争，同时能扩展到大规模的含噪数据集[12]。

学到的规则形如 IF outlook = overcast THEN P，或 IF outlook = sunny AND humidity = high THEN N，可以一行一行地审计。今天。在法规或临床医生要求把决策表述为规则的场合，人们使用规则学习器；它也被用来概括一个更不透明的模型在做什么。局限。贪心覆盖可能产生冗长、相互重叠的规则列表，在复杂数据上的准确率通常落后于集成方法。

2.3 关联规则学习

关联规则学习在事务数据库中寻找形如 $X\Rightarrow Y$ 且经常成立的规则（买面包和黄油的顾客也会买牛奶），按支持度（$X\cup Y$ 出现的频率）和置信度（$X$ 出现时 $Y$ 也出现的频率）排序。Rakesh Agrawal、Tomasz Imieliński 和 Arun Swami 于 1993 年提出了这个问题[13]。它的输出是符号化、可读的，但只是描述性的：关联不等于因果，而且当商品很多时，找到的规则数量可能让读者应接不暇。

3. 借助背景知识的学习

3.1 基于解释的学习

归纳学习器需要许多样例，因为它对领域一无所知。基于解释的学习（explanation-based learning，EBL）反其道而行：给定一套领域理论（能够解释样例的规则），一个样例就足够了。学习器先证明该样例是目标概念的一个实例，再保留证明的结构、把样例中的常量换成变量来概括这个证明，于是结果覆盖了同一解释所能覆盖的每一种情况。《机器学习》期刊第一卷（1986）中的两篇论文定义了这种方法：Tom Mitchell、Richard Keller 和 Smadar Kedar-Cabelli 的《基于解释的概括：一个统一的视角》，以及 Gerald DeJong 和 Raymond Mooney 的《基于解释的学习：另一种视角》[14] [15]。

例子。假设理论说：一个物体如果比另一个轻，就可以安全地叠放在它上面；重量等于体积乘以密度。给出某个箱子可以叠放在某张桌子上这一事实后，EBL 根据箱子的体积与密度以及桌子的重量证明它，然后把证明概括成一条新的可操作规则：任何体积乘以密度小于另一物体重量的物体，都可以叠放在那个物体上。理论原本没有蕴涵的新事实一条也没有；学到的是一条捷径，让下一次证明从许多步变成一步。这与 Soar 认知架构中的组块化（chunking）是同一个想法。局限。EBL 的好坏完全取决于它的领域理论：理论不完整或有错，学到的规则就是错的；而加入大量学到的捷径反而可能拖慢系统（效用问题）。

3.2 归纳逻辑程序设计（ILP）

归纳逻辑程序设计（inductive logic programming）从样例和背景知识中学习逻辑程序（一阶 Horn 子句，与 Prolog 中相同）。它的根源是 Gordon Plotkin 关于最小一般概括的工作（1970）[16]，以及 Ehud Shapiro 的模型推断系统（Model Inference System，1981）——一个从正例和反例中推断 Horn 子句程序的 Prolog 程序[17]。Stephen Muggleton 于 1990 年为这一领域命名，并在《归纳逻辑程序设计》（New Generation Computing，1991）中阐述了它的研究纲领[18]。

一个家谱上的完整例子：

$H$ 推出了两个正例（分别经由 bob 和 cal），却推不出任何一个反例，所以 $B\wedge H\models E^{+}$，且没有任何 $e\in E^{-}$ 被推出。更短的 $\mathrm{grandparent}(X,Z)\leftarrow \mathrm{parent}(X,Z)$ 被拒绝，因为它蕴涵了反例 grandparent(ann, bob)。学到的假设本身就是一个程序：它适用于任何规模的家庭，任何人都能读懂。

FOIL、Golem 与 Progol。Quinlan 的 FOIL（1990）像 ID3 一样自顶向下，每次向子句添加一个文字，并按信息增益度量来选择文字[19]。Muggleton 与冯曹（Cao Feng）的 Golem（1990）则从相对最小一般概括出发，自底向上工作。

Muggleton 的 Progol（1995）引入了逆蕴涵（inverse entailment）：它构造一个与背景知识一起蕴涵所选样例的最特殊子句，并在概括它的子句格中搜索[20]。

Aleph 及其后。Ashwin Srinivasan 的 Aleph（2001）沿袭 Progol 的传统，成为使用最广的 ILP 系统之一。后来的系统包括 Metagol（2014），它通过元解释进行学习并能发明新谓词；以及 Popper（Andrew Cropper 与 Rolf Morel，2021），它从失败中学习，把每个失败的假设转化为剪枝搜索的约束[23] [22]。可微 ILP（Richard Evans 与 Edward Grefenstette，2018）把规则搜索改写为梯度下降，是神经符号 AI 一页所描述的桥梁之一[24]。

今天。ILP 的主要成功在科学领域，在那里可读的关系假设很重要：到 20 世纪 90 年代中期，它已被用于药物设计、致突变性预测和蛋白质结构[21]。局限。子句空间随子句长度和谓词数量增长极快，因此系统依赖用户提供的强语言限制（模式声明）；处理噪声和学习递归程序仍是活跃的研究问题[22]。其底层的逻辑见逻辑程序设计与定理证明。

4. 从案例与类比中学习

4.1 基于案例的推理

基于案例的推理（case-based reasoning，CBR）通过检索一个相似的过去案例并改编它的解决方案来解决新问题，并通过存储结果来学习。它源自 Roger Schank 在耶鲁提出的动态记忆模型（《动态记忆》，Dynamic Memory，1982）[25]；Janet Kolodner 的 CYRUS（1983）为便于检索而组织对事件的记忆，是早期的系统之一，她 1993 年的著作《基于案例的推理》（Case-Based Reasoning）成为标准教材[26]。Agnar Aamodt 和 Enric Plaza（1994）把这一过程描述为四个步骤的循环，即今天所说的“4R”[27]：

技术支持台可以说明这个想法：一份新的故障报告被匹配到最相似的已解决工单（检索），它们的修复方法被改编到这台机器上（重用），经过检查（修正），确认后的工单被加入案例库（保留）。每一个回答都附带它的先例，这正是 CBR 适合法律、医学和工程设计等本来就依据先例推理的领域的原因。局限。一切取决于相似度度量和改编知识，而这两者都很难设计；而且除非案例库经过精心整理，仅凭少数先例进行推理只是一种轶事式的论证。

4.2 类比与结构映射

类比通过对齐结构，把知识从熟悉的基域迁移到新的靶域。Dedre Gentner 的结构映射理论（《认知科学》，1983）认为，类比映射的是对象之间的关系，而不是对象的表面属性，并且偏好由“导致”之类的高阶关系联系起来的关系系统（系统性原则）[28]。她的标准例子是太阳系与原子之间的类比：太阳吸引行星与太阳比行星质量大共同导致行星绕太阳运转，同样的因果结构映射到原子核与电子上；而“太阳又热又黄”这类属性不会被带过去。

Brian Falkenhainer、Kenneth Forbus 和 Gentner 把这一理论实现为结构映射引擎（Structure-Mapping Engine，SME，1989）。它在两份符号描述之间建立一致的一一对应，并提出候选推断：在基域中成立、而其对应物在靶域中缺失的事实[29]。这些推断是假设而不是结论：类比提示的是该去检查什么。局限。结构映射要求两个领域都已经用可比较的关系词汇描述出来，而在大型描述之间寻找最佳映射在计算上很困难；在许多可能的基域中决定用哪一个，本身又是一个检索问题。

5. 搜索程序与公式

5.1 遗传编程

遗传编程（genetic programming，GP）通过模拟进化来搜索程序。它建立在 John Holland 的遗传算法（《自然系统与人工系统中的适应》，Adaptation in Natural and Artificial Systems，1975）之上[30]；Nichael Cramer 在 1985 年的第一届遗传算法国际会议上进化出了树状结构的程序[31]；John Koza 1992 年的著作《遗传编程：用自然选择的方式为计算机编程》确立了这个领域[32]。程序表示为表达式树（在 Koza 的工作中是 Lisp S 表达式）。一群随机的树在测试用例上打分；更适应的更可能被选中；交叉在两个父代之间交换随机选中的子树，变异把某棵子树替换为随机生成的子树：

父代 1：  (* (+ x 1) x)          父代 2：  (- x (* x x))
                ^^^^^^^                          ^^^^^^^
子代：    (* (* x x) x)          即交换标记的子树后得到 x^3

输出是可以阅读和化简的符号程序，这就是为什么即使搜索是随机的，GP 仍被归入符号学习。自 2004 年起，遗传与进化计算会议（GECCO）为被评为可与人类成果相竞争的 GP 与进化计算成果颁发“Humies”奖。局限。进化出的程序往往因冗余代码而膨胀，搜索代价高、难以复现，而且没有任何东西保证结果能推广到用来打分的测试用例之外。

5.2 符号回归

符号回归在数学表达式的空间中搜索一个拟合数据的公式，在准确性与简洁性之间权衡，而不是去拟合一个固定模型的参数。示意地说，在由变量、常数和运算符构成的表达式文法 $\mathcal{G}$ 上：

给定地球 (1, 1)、火星 (1.524, 1.881) 和木星 (5.203, 11.86) 的轨道半长轴 $a$（以天文单位计）和周期 $T$（以年计），能拟合它们的最简单公式是 $T=a^{3/2}$，即开普勒第三定律：得到的是一条可读的定律，而不是一条曲线。Koza 在 1992 年就用 GP 做符号回归；Michael Schmidt 和 Hod Lipson（《科学》，2009）从物理系统的测量中找回了守恒律和运动方程[33]；Silviu-Marian Udrescu 和 Max Tegmark 的 AI Feynman（2020）把神经网络拟合与符号化简结合起来，从《费曼物理学讲义》中找回了 100 个方程[34]；Miles Cranmer 的开源工具 PySR（2023）在科学界被广泛使用[35]。局限。符号回归一般是 NP 困难的[36]；数据有噪声时，许多不同的公式拟合得同样好；而一个拟合得好的公式并不因此就是定律，它仍需像任何假设一样接受检验。注意符号回归是拟合数据，而不是演绎，这就是为什么支柱页面把它列在容易与符号推理混淆的概念之中。

6. 符号机器学习与统计机器学习的比较

7. 时间线

8. 符号学习今天用在哪里，以及它的局限

• 表格数据预测。决策树及其集成是金融、运营和医学中结构化数据的标准方法；当模型本身必须展示给监管者或临床医生时，人们选择单棵树和规则列表。
• 科学研究。符号回归从测量中提出候选定律；ILP 在化学和生物学中学习关系假设，领域专家可以用他们自己的术语来批评这些假设。
• 依据先例的工作。在人们本来就依据相似过往案例推理的地方，基于案例的推理支持着技术支持台、设计复用和决策支持。
• 程序综合。ILP 和 GP 传统中的从样例学习程序，在基于样例的程序综合中得到延续；参见形式化验证与程序综合。

这一族方法的局限相当一致。搜索代价：规则、子句或程序的空间呈组合式增长，所以每种方法都需要一个由人选择的归纳偏置。噪声：精确的方法（变型空间、早期 ILP）遇到标错的数据就会失效，而统计上的修补以牺牲一部分可读性换取稳健性。感知：符号学习器需要符号作为输入，无法直接从像素或波形中学习，这正是神经网络接手的地方，也是神经符号系统试图把两者结合起来的地方。还有，可读不等于正确：一条学到的规则可以既清楚又错误，而这恰恰说明它能够被检查有多重要。

9. 符号学习与失效安全模型

失效安全模型是这样一种 AI 模型：它的失败会终止于受控的安全状态；证据缺失时它弃权，它的学习可以收窄它的行为，却永远不能扩大它被允许做的事。符号学习是机器学习中唯一能把第二条性质说清楚的部分，因为学到的东西是一个可读的对象，可以在生效之前被检查。本页中的三个想法指向同一个方向。变型空间能区分“所有一致假设意见一致”和“它们意见不一”，并在后一种情况下弃权。ILP 的一致性条件赋予反例否决权：一个假设只要蕴涵一条已知的错误，无论它对正例覆盖得多好，都会被拒绝。而基于解释的学习只编译其理论已经蕴涵的内容，所以它能让系统变快，却不会让它相信任何新东西。

这些都不能让学习器自动变得安全。一条可读的规则也可能是错的；一条在任何人检查之前就被允许行动的学到的规则，并不比一个权重更安全。真正重要的设计选择是学到的内容去往何处：进入一个必须经过接纳的提议，还是直接进入系统的信念。模型可以提议；只有地板能接纳一条事实。Perslis Research 的研究原型 Peel 遵循这条规则：做决定的回路里没有神经网络，知识是有类型、有来源的卡片，学习是可读的计数。据我们所知，它是第一个失效安全模型；确切的主张与最接近的已有工作见什么是失效安全模型？

其他各族技术见符号 AI 技术指南；学习如何进入符号 AI，见符号 AI 的历史。

10. 常见问题

什么是符号机器学习？

符号机器学习是这样一类机器学习：它的结果是显式的符号结构，例如一组规则、一棵决策树、一个逻辑程序、一个案例库或一个数学公式，而不是数值权重。学到的模型可以被人阅读、检查和编辑。

决策树属于符号 AI 吗？

单棵决策树是符号模型：从根到叶的每条路径都是一条可读的 if-then 规则。学习决策树的算法，如 ID3、C4.5 和 CART，用统计量来选择划分，所以它们处在符号 AI 与统计学习的交汇处。大型的树集成则失去了大部分可读性。

什么是归纳逻辑程序设计？

归纳逻辑程序设计从正例、反例以及背景知识中学习逻辑程序。学到的假设与背景知识一起，必须蕴涵每一个正例，且不蕴涵任何反例。Stephen Muggleton 于 1990 年为这一领域命名；知名的系统包括 FOIL、Progol、Aleph 和 Popper。

ID3 和 C4.5 有什么区别？

Ross Quinlan 于 1986 年描述的 ID3 在离散属性上生长决策树，每次选择信息增益最高的划分。1993 年发表的 C4.5 把它扩展到连续属性和缺失值，通过剪枝减少过拟合，并用增益率来避免偏向取值很多的属性。

什么是基于解释的学习？

基于解释的学习利用领域理论证明单个训练样例为何属于某个概念，然后把这个证明概括成一条规则，覆盖所有具有相同解释的情况。它只需要很少的样例，但其正确性不会超过它所依据的领域理论。

什么是基于案例的推理？

基于案例的推理这样解决新问题：检索相似的过去案例，重用并改编它们的解决方案，在测试后修正结果，并把新案例保留下来供将来使用。Aamodt 和 Plaza 在 1994 年描述了这个四步循环。

符号回归和符号推理是一回事吗？

不是。符号回归搜索一个拟合数据的数学公式，常用遗传编程，它的输出是可读的。但它是对观测数据的拟合，而不是从知识中演绎，所以得到的公式只是一个仍需检验的假设。

为什么符号机器学习不如深度学习常见？

深度学习能扩展到原始的图像、音频和文本，以及非常大的数据集；而符号学习器在这些场合很吃力，因为它们对规则的搜索呈组合式增长，而且需要符号作为输入。在数据是结构化的、样例很少、存在背景知识或模型必须可读的场合，符号学习依然有力。

11. 参考文献

1. T. M. Mitchell. Machine Learning. McGraw-Hill, 1997.
2. P. H. Winston. Learning Structural Descriptions from Examples. PhD thesis, MIT, 1970.
3. T. M. Mitchell. Version Spaces: A Candidate Elimination Approach to Rule Learning. Proceedings of IJCAI-77, 1977.
4. T. M. Mitchell. Generalization as Search. Artificial Intelligence 18(2):203–226, 1982.
5. E. B. Hunt, J. Marin, P. J. Stone. Experiments in Induction. Academic Press, 1966.
6. J. R. Quinlan. Induction of Decision Trees. Machine Learning 1(1):81–106, 1986. doi:10.1007/BF00116251
7. J. R. Quinlan. C4.5: Programs for Machine Learning. Morgan Kaufmann, 1993.
8. L. Breiman, J. H. Friedman, R. A. Olshen, C. J. Stone. Classification and Regression Trees. Wadsworth, 1984.
9. R. S. Michalski. On the Quasi-Minimal Solution of the General Covering Problem. Proceedings of the Fifth International Symposium on Information Processing (FCIP-69), Bled, 1969.
10. B. G. Buchanan, E. A. Feigenbaum. DENDRAL and Meta-DENDRAL: Their Applications Dimension. Artificial Intelligence 11, 1978. doi:10.1016/0004-3702(78)90010-3
11. P. Clark, T. Niblett. The CN2 Induction Algorithm. Machine Learning 3(4):261–283, 1989. doi:10.1007/BF00116835
12. W. W. Cohen. Fast Effective Rule Induction. Machine Learning: Proceedings of the 12th International Conference (ICML), 115–123, 1995. doi:10.1016/B978-1-55860-377-6.50023-2
13. R. Agrawal, T. Imieliński, A. Swami. Mining Association Rules between Sets of Items in Large Databases. Proceedings of ACM SIGMOD, 1993. doi:10.1145/170035.170072
14. T. M. Mitchell, R. M. Keller, S. T. Kedar-Cabelli. Explanation-Based Generalization: A Unifying View. Machine Learning 1(1):47–80, 1986. doi:10.1007/BF00116250
15. G. DeJong, R. Mooney. Explanation-Based Learning: An Alternative View. Machine Learning 1(2):145–176, 1986. doi:10.1007/BF00114116
16. G. D. Plotkin. A Note on Inductive Generalization. In Machine Intelligence 5. Edinburgh University Press, 1970.
17. E. Y. Shapiro. Algorithmic Program Debugging. MIT Press, 1983.（模型推断系统最早于 1981 年报告。）
18. S. Muggleton. Inductive Logic Programming. New Generation Computing 8(4):295–318, 1991. doi:10.1007/BF03037089
19. J. R. Quinlan. Learning Logical Definitions from Relations. Machine Learning 5(3):239–266, 1990. doi:10.1007/BF00117105
20. S. Muggleton. Inverse Entailment and Progol. New Generation Computing 13:245–286, 1995. doi:10.1007/BF03037227
21. I. Bratko, S. Muggleton. Applications of Inductive Logic Programming. Communications of the ACM 38(11), 1995. doi:10.1145/219717.219771
22. A. Cropper, S. Dumančić. Inductive Logic Programming at 30: A New Introduction. Journal of Artificial Intelligence Research, 2022. doi:10.1613/jair.1.13507
23. A. Cropper, R. Morel. Learning Programs by Learning from Failures. Machine Learning, 2021. doi:10.1007/s10994-020-05934-z
24. R. Evans, E. Grefenstette. Learning Explanatory Rules from Noisy Data. Journal of Artificial Intelligence Research 61, 2018.
25. R. C. Schank. Dynamic Memory: A Theory of Reminding and Learning in Computers and People. Cambridge University Press, 1982.
26. J. Kolodner. Case-Based Reasoning. Morgan Kaufmann, 1993.
27. A. Aamodt, E. Plaza. Case-Based Reasoning: Foundational Issues, Methodological Variations, and System Approaches. AI Communications 7(1):39–59, 1994. doi:10.3233/AIC-1994-7104
28. D. Gentner. Structure-Mapping: A Theoretical Framework for Analogy. Cognitive Science 7(2):155–170, 1983. doi:10.1016/S0364-0213(83)80009-3
29. B. Falkenhainer, K. D. Forbus, D. Gentner. The Structure-Mapping Engine: Algorithm and Examples. Artificial Intelligence 41(1):1–63, 1989. doi:10.1016/0004-3702(89)90077-5
30. J. H. Holland. Adaptation in Natural and Artificial Systems. University of Michigan Press, 1975.
31. N. L. Cramer. A Representation for the Adaptive Generation of Simple Sequential Programs. Proceedings of the First International Conference on Genetic Algorithms and their Applications, Carnegie-Mellon University, 1985.
32. J. R. Koza. Genetic Programming: On the Programming of Computers by Means of Natural Selection. MIT Press, 1992.
33. M. Schmidt, H. Lipson. Distilling Free-Form Natural Laws from Experimental Data. Science 324(5923):81–85, 2009. doi:10.1126/science.1165893
34. S.-M. Udrescu, M. Tegmark. AI Feynman: A Physics-Inspired Method for Symbolic Regression. Science Advances 6(16), 2020. doi:10.1126/sciadv.aay2631
35. M. Cranmer. Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl. 2023. arXiv:2305.01582
36. M. Virgolin, S. P. Pissis. Symbolic Regression is NP-hard. Transactions on Machine Learning Research, 2022.