摘要

农业土地市场对于土地的有效配置至关重要，但土地特征以及市场参与者异质性所带来的复杂性，使其运行机制难以被准确刻画。本文通过将深度强化学习（Deep Reinforcement Learning，DRL）整合进基于主体的模型AgriPoliS，以模拟策略性出价行为，考察在土地市场模型建模过程中如何处理异质性问题。模拟结果表明，与采用固定出价策略的标准主体相比，DRL主体能够基于长期增长目标、既有经验、竞争互动以及适应性决策来调整其出价策略，从而实现更多土地租入和更快农场扩张。研究结果揭示，策略性行为不仅会改善个体农场绩效，也会影响邻近农场，突出土地市场中的动态互动关系。通过捕捉主体的策略性行为，本文有助于更真实地模拟农业土地市场动态，并为潜在土地市场规制的影响提供认识。未来研究将进一步探索多主体框架，以细化这些互动关系，并克服静态出价策略的局限。

农业土地市场的基本功能，是促进土地所有权、土地利用和获取的实现，从而有效配置稀缺的土地资源，并为农场投资与发展创造条件。然而，土地市场具有高度复杂性。这种复杂性首先来自土地本身的独特属性，例如不可移动性、不可再生性以及质量差异。同时，市场参与者在农场规模、资源禀赋、动机、信息获取能力以及决策过程方面存在异质性，这进一步增加了土地市场的复杂程度。正是由于这些复杂性，土地市场究竟能否良好运转一直存在争论，市场参与者和政策制定者也因此越来越多地呼吁加强土地市场规制。

除制度框架外，这些规制或类似政策可能产生的影响，在很大程度上取决于土地市场的竞争结构与动态过程，也取决于市场参与者的个体行为和目标。然而，一些问题仍然没有得到充分回答，例如这些措施是否有效？是否会按照预期方式发挥作用？又应当如何对其进行分析？

在用于分析土地市场以及评估强化土地市场规制政策建议的模型中，更充分地纳入主体异质性具有必要性。在这方面，既有成功应用表明，AgriPoliS（Agricultural Policy Simulator，农业政策模拟器）这类基于主体的模型（agent-based models，ABMs）能够为政策评估提供重要见解。基于主体的模型明确关注农场之间的相互作用建模，例如通过土地市场互动来研究系统层面的涌现属性。

基于主体的模型在主体行为建模方面具有较强灵活性。行为建模方法的例子涵盖从简单规则扩展到包括学习在内的计算智能。然而，农业部门的基于主体模型通常假定农场行为由利润最大化或效用最大化原则驱动，将农民描绘为完全理性的价格接受者，例如AgriPoliS、MP-MAS以及SWISSLand。这些模型往往忽视现实情境中决策过程的复杂性。常见不足包括：优化结果对不确定预期高度敏感；忽视策略性考量；以及假定主体具有完全理性。

本文关注的是，将具有策略导向的主体行为纳入模型，如何改善土地市场动态建模。这类主体基于长期增长目标、过去经验、当前农场状况、竞争互动以及适应性决策来做出出价决策。为此，本文探索如何将深度强化学习（DRL）整合进既有基于主体模型AgriPoliS的主体决策过程，以使土地市场中的策略性决策成为可能。这一方法对于农业土地市场及相关政策的分析而言具有开创性意义。

2.1 基于主体的模型及其行为建模方法

ABM是一种自下而上的方法，通过对被称为主体的实体的行为及其互动进行建模，来模拟复杂动态系统。主体可以代表追求特定目标的个体或集体行动者。主体具有自主性、异质性和能动性，并与彼此及其环境发生互动。通过个体行为及互动，可以观察到涌现现象和系统动态。ABM通常采用农业政策分析中常见的行为方法，例如使用混合整数规划进行短视性优化。

2.2 农业中应用的机器学习与人工智能

强化学习使主体能够通过在环境中的重复互动，学习哪些行动会带来更大的长期回报。如图1所示，主体首先观察其环境的当前状态，并利用这些信息决定采取何种行动。随后，主体因该行动获得新的信息和奖励。基于新的观察，主体决定采取新的行动，或重复既有行动。该循环持续进行，直到达到终止状态。主体的目标是从环境中学习最优强化学习策略。强化学习的一个关键在于，主体既要通过探索环境进行学习，又要利用过去已经表现良好的行动，也就是在探索与利用之间进行权衡。

图1 简化的强化学习框架

3.1 AgriPoliS

AgriPoliS（Agricultural Policy Simulator，农业政策模拟器）是一种基于主体的模型，用于模拟不同政策和规制随时间推移对农业结构变迁的影响。AgriPoliS环境是一个具有空间位置的虚拟景观，其中分布着以农场主体形式表示的农业农场。这些农场主体与该区域的典型农场高度相似，具有异质性，拥有不同的要素禀赋、不同的管理技能和不同的农场年龄，追求既定目标（如收入最大化），并表现出短视性行为。农场在模型初始化前基于真实农场数据、欧盟农场会计数据网络（FADN）、农业实践手册数据（例如德国的农业技术与建筑协会KTBL）、农业结构调查（FSS）和专家知识进行定义。

土地市场是AgriPoliS的核心。当既有租赁合同到期或终止，农场缩小经营规模或退出时，租赁地块会进入市场。农场只能通过土地租赁拍卖市场租入额外土地来实现扩张。租赁市场也是主体之间互动的基础，因为主体通过竞争额外土地相互发生作用。租赁市场发生在生产期开始时。可供租赁的地块具有空间分布，农场主体需要承担自身农场地块与可租地块之间的运输成本。农场向土地租赁市场提交出价。出价最高的主体获得该地块。拍卖以迭代方式进行，直到所有地块均被分配。出价反映了影子价格q（租入土地的额外收益）、地块的空间位置（通过农场地块与可供租赁地块之间的运输成本TC计算）以及固定土地租赁系数β。β决定了转移给土地所有者的影子价格份额。剩余份额1-β留给农民，用以覆盖进一步成本（包括税费、行政费用、手续费）和风险。在本文研究中，AgriPoliS模拟的是一个由数量有限且规模相对较大的农场构成的区域。因此，对于相应模型区域的所有农场，β被设定为 0.5。

bid = [q – TC] *β        （1）

通过使用混合整数规划（MIP），模型能够在考虑农业固有资源约束的同时，同时表示要素禀赋（土地、劳动力，包括家庭劳动力和雇佣劳动力、固定资产）、关键生产活动（畜牧、作物）、投资选项（机械、畜舍）、融资选项（短期和长期信贷、流动性）以及特定区域的其他活动（如粪肥处理、畜禽密度限制）。在每一时期，农场主体遵循一个顺序过程：参与土地租赁拍卖市场；进行投资；决定生产内容；开展实际生产；进行年度农场会计核算；决定继续经营还是退出农业；随后过程重新开始。AgriPoliS的典型模拟运行通常包括25次迭代或时间期。

3.2 在AgriPoliS中整合DRL的框架

在这一新框架中，一个主体被赋予DRL能力，而其他主体仍使用AgriPoliS原有行为方式。DRL主体基于环境当前状态形成出价，并将其传送至土地市场；随后接收反馈，并利用这些信息形成新的出价。该迭代过程持续到模拟运行结束，届时计算权益资本的累积和。

3.2.1 目标

在AgriPoliS中，每个农场主体独立作出决策，并通过不同市场与其他主体互动。其中，土地市场最为重要。由于决策是通过仅优化当年利润作出的，因此这些决策具有短视性，可能并非有利于主体长期发展。本文的目标是寻找一种土地市场出价策略，使单个农场主体通过获得强化学习能力作出策略性出价决策，从而最大化其长期权益资本，并实现长期增长最大化。

3.2.2 环境

由于本文主要作为概念验证，所研究区域被有意设定得较小。如图2所示，该框架由三个逻辑组件构成。第一个组件是机器学习单元（machine learning unit，MLU），通过该单元可以学习出价策略。第二个组件是经过调整的AgriPoliS环境，模拟在其中发生，以下称为APS-ENV。第三个组件是消息队列系统，用于支持MLU与APS-ENV在本地和远程之间进行可靠通信，以下称为COM-MQ。在这一框架中，行动从MLU经由COM-MQ流向APS-ENV，而状态和奖励则沿相反方向流动。

图2 griPoliS中的强化学习框架

3.2.3 状态空间

状态空间反映农场和区域的当前状态，反映出价与其他农场层面决策之间的相互依赖关系（例如更高或更低出价如何影响投资），也反映长期规划效应。用于表示DRL主体状态的变量见表1。模型包含两种不同土壤类型（耕地和草地）以及47种不同投资选项。由于部分变量按土壤类型区分，一个状态包含67个变量。

表1 表征深度强化学习主体状态的变量

3.2.4 行动

在标准AgriPoliS模型中，β固定为0.5，代表估值的50%；而在这一新框架中，DRL主体的β由基于神经网络的DRL架构决定。

3.2.5 奖励

奖励是模拟运行期间权益资本的累积和。我们使用权益资本累积和，而不是最终权益资本，是为了鼓励农场绩效在各次迭代中持续改进，而不是仅关注最终状态。另一方面，强调最终权益值可能导致主体采用风险更高的策略，在某些迭代中优先追求最高利润，却可能危及农场稳定性。此外，预计仅使用最终权益值训练的模型，会对所考虑的迭代次数更加敏感。相比之下，采用累积奖励可以缓解这种敏感性，因为它鼓励主体同时考虑短期和长期盈利能力，从而有望形成兼顾即时收益与可持续绩效的均衡且稳健的学习曲线。

3.2.6 算法与实验设置

图3展示了框架中三个组件的详细过程。所有通过COM-MQ传递的数据流以蓝线表示，黑线表示APS-ENV或MLU子系统内部的数据流。COM-MQ中的“partial rewards”表示每一年结束后的权益资本。该过程首先初始化APS-ENV、带有随机权重的DRL策略网络、用于存储训练数据的play buffer、episode（每次AgriPoliS模拟运行的迭代数）、每个epoch中的episode数、epoch数以及其他参数。参数取值摘要见表2。由于行动空间是连续的，本文通过确定性策略梯度算法处理学习问题。在该算法中，仅使用一个DRL策略网络，其输入为状态，输出为行动。学习过程采用固定epoch数进行迭代。在每个epoch中，过程包括三个步骤：训练数据收集、网络更新和DRL策略测试。

图3 AgriPoliS中深度强化学习的数据流详图

表2 强化学习训练参数

DRL策略网络的更新采用监督学习算法，其中状态为输入，play buffer中的行动为目标值。具体而言，本文使用均方误差（MSE）作为损失函数，并使用ADAM（Adaptive Moment Estimation）作为优化器。

在更新DRL策略网络之后，每个epoch的最后一步是测试所学习到的DRL策略。这是一次标准的AgriPoliS模拟运行，行动来自更新后的DRL策略网络，但不再加入额外噪声。学习行为可以通过所有epoch测试运行中的奖励变化来观察。

3.3 评价

本文的评价并不基于损失函数，因为最优奖励是未知的，且训练数据会动态更新。损失函数的数值会随epoch变化，因此不适合用于指示所学习DRL策略的质量。DRL所学习到的行为，依据每个epoch测试运行中权益资本累积和的输出来评价。同时，还从租入土地、出价策略和权益资本累积和等方面，将DRL主体与基准主体进行比较。

3.4 主体设置

区域中共有7个具有空间位置的农场主体（见图4）。这些农场主体具有异质性且相对稳定，意味着在一次模拟过程中农场退出农业经营的风险较低，因为奖励只在模拟运行结束时计算。农场也参与土地市场，尽管其活跃程度不同。这可以从基准情景中观察到。基准情景是一次未使用DRL的标准AgriPoliS运行（见图5）。

图4 AgriPoliS 中农场的区域空间分布示意图（注：AgriPoliS中的区域被建模为环面，这意味着相邻区域彼此首尾相接，形成无边界的连续闭环）

图5 AgriPoliS中农场规模的基准情景

4.1 主体训练

DRL主体（F4）经过训练后，生成了2000个epoch内学习得到的行为。与基准主体的权益资本累积和相比，DRL主体最高权益资本累积和提高了7.29%（见表3）。

表3 主体权益资本比较：基准情景与深度强化学习情景

图6展示了2000个epoch内DRL主体的权益资本累积和。该图表明，DRL主体从第一个epoch开始便超过了基准主体的表现，并在随后各epoch中持续改进，在约第1000个epoch时稳定在约790万欧元。

图6 深度强化学习主体在2000个epoch中的累积奖励

图7a表明，带来最高累积奖励的策略并不是固定出价策略；相反，DRL主体在一次模拟运行的各次迭代之间会调整系数β。此外，与基准主体相比，DRL主体通过从土地租赁市场租入更多地块扩大了农场规模（见图7b）。土地租赁市场是农场之间互动的关键，因为一个农场只有在其他农场缩小规模甚至退出时才能扩张。因此，有必要考察 DRL如何通过土地市场互动影响其他农场（见图8）。

图7 （a）深度强化学习主体的最优竞价策略；（b）农场规模演变（公顷）

图8 学习对其他农场规模的影响

4.2 框架的灵活性

基于4.1节训练过程的成功，并为检验该框架的适应性和灵活性，本文对所有其他农场使用相同网络架构和超参数重复实验。结果基于相同奖励结构，即农场主体的权益资本累积和进行评价，并与基准情景比较。

根据表4的指标可以看出，与各自基准情景相比，DRL情景下除农场0外，所有农场的权益资本累积和均有所增加。农场0在使用DRL后权益资本累积和略降0.05%。F0、F1、F2的权益资本累积和分别小幅增长2.30%、1.84%和1.57%。F4至F6在使用DRL后权益资本累积和显著提高，增幅分别为7.29%、9.18%和9.17%。

表4 所有农场累积权益资本之和的比较

图9展示了每个epoch中相对于基准情景的权益资本累积和。2000个epoch的结果表明，不同农场主体的学习速度存在差异。然而，F0即使经过2000个epoch的学习，表现仍更差。为检验训练仅限于2000个epoch是否导致未能收敛，本文将epoch数量增加一倍进行考察。结果显示，该主体的学习并未改善。这表明该主体并未从学习中获益；而且，无论在DRL还是基准情景中，该农场租入的地块数量都相对相同且很低，这进一步强化了上述判断（见图10a）。相反，与基准情景相比，F6在使用DRL时租入土地显著更多。这也带来了其农场规模的显著扩大以及权益资本累积和的相应增加（见图10b）。其他所有农场在使用DRL时也比基准情景租入了更多土地。然而，F1至F3在DRL与基准情景之间租入地块的增量很小。这也反映在其权益资本累积和相对较低的增幅上。与F6类似，F5在使用DRL时租入土地显著多于基准情景，这也与其权益资本累积和的大幅提高相一致。

图9 与基准情景相比深度强化学习情景下所有农场累积奖励的相对变化

图10 选定农场的农场规模演变（公顷）

图11展示了若干单个农场的出价策略，表明农场主体能够通过调整其出价系数来最大化奖励。每个农场都有独特的最优出价策略，而在DRL情景下，其他所有农场均保持固定出价策略。

图11 选定农场的最优竞价策略

本文探讨了如何将DRL整合进AgriPoliS中主体的决策过程，以使策略性行为和互动得以实现。研究首先构建了一个由学习单元（MLU）、通信单元（COM-MQ）和经过调整的AgriPoliS环境（APS-ENV）组成的高级框架。在该框架下，单个主体基于反映农场和区域条件、出价相互依赖以及长期规划的状态变量，学习能够最大化其累积奖励（即权益资本累积和）的出价策略。随后，将所得结果与基准情景进行比较。在基准情景中，主体为标准AgriPoliS主体，使用固定出价系数。实验表明，DRL智能体在适应性和策略性决策能力方面均优于标准AgriPoliS智能体。

农场主体的策略优势体现在其在土地市场中的竞争力更强、农场增长更显著，这可以通过农场规模扩大来观察。与基准主体相比，DRL主体表现更好，具体体现为权益资本累积和增加。此外，结果表明，基于状态变量形成的最优策略，与使用固定出价系数的策略显著不同。另一方面，这种出价策略对其他农场主体（其仍采用标准固定β）产生了不利影响，因为DRL主体为从土地租赁市场租入更多土地而在出价中超过了它们。总体而言，DRL框架表明，适应性决策能够促进农场的长期增长。

为进一步评估DRL框架的适应性，本文对所有农场主体使用相同超参数重复模拟，从而评估该框架对异质性农场类型的灵活性。结果显示，该框架可以有效应用于结构和财务能力不同的其他农场。由于DRL出价决策具有适应性，并由过去经验、当前农场情境、区域条件和竞争互动共同驱动，因此不同农场的出价策略存在差异是合理的。这进一步说明，农场异质性会导致其采用不同的出价策略，并最终造成农场增长差异。然而，在现阶段，学习过程对于土地市场活跃度较高的农场主体更有效，而对于土地市场活动极低的农场效果不明显。理论上，土地市场活动较低的农场也可能通过进一步调整超参数来改善学习效果，但这对于研究土地市场互动可能并非特别重要。土地市场动态通常由少数实力很强的行动者驱动，因此，改进部分主体的策略性行为建模，而让其他主体保持默认行为，可能已经足以支撑土地市场互动研究。这些结果强调了DRL框架在更真实地模拟土地市场动态方面的潜力，因为它能够反映农场之间的策略异质性。

在这些发现基础上，可以进一步考虑标准AgriPoliS主体的出价策略不再采用固定系数时所具有的更广泛含义。虽然本文发现凸显了DRL框架在形成适应性出价策略、进而更真实地模拟土地市场动态方面的价值，但仍必须承认研究范围和计算可行性方面的若干局限。本文中，研究区域仅由7个农场主体构成，而一个典型现实区域通常包含数百个农场，会形成更加动态的环境，也会需要持续数日、数周甚至数月的模拟。这种简化有助于降低训练时间、计算成本（内存、处理能力）以及收敛至稳定解等方面的复杂性。

在本文框架中，提供给DRL主体的信息反映了一个信息充分、联系广泛的区域农场经营者现实中可能拥有的信息。正如农场经营者会依靠经验、知识和直觉的组合不断修正其出价策略一样，DRL主体也会基于经验和不断演进的专门知识持续完善其出价策略。本文所提出DRL框架的另一个关键方面，是假定其他主体在整个模拟过程中采用固定出价策略。这一简化创造了一个相对平稳的环境，使DRL能够利用其他主体的静态行为。

本文旨在探索如何通过将DRL作为一种替代性行为方法整合进AgriPoliS，更准确地捕捉农场在土地市场中的策略性决策行为。在这一框架中，单个DRL主体从环境中进行适应性学习，使其能够生成出价并聚焦于长期增长。主体的决策由捕捉农场状态、区域条件和竞争互动的状态变量提供信息，从而模拟土地市场中的长期规划、经验和适应性决策等方面。在这一设置下，该主体与传统AgriPoliS主体的标准短视性行为展开竞争。

实验表明，DRL主体在土地市场中更具竞争力，并能够提高其长期增长水平，这表现为农场规模和权益资本累积和的增加。随着DRL主体通过策略性出价扩张农场，其他农场所租入土地相应减少。此外，当不同农场被指定为DRL主体时，它们会采用独特的出价策略，并为相应农场带来不同程度的增长。这些结果凸显了使用DRL捕捉异质性农场策略性决策的潜力，并为进一步探索农业建模中的策略性农场行为奠定基础。研究发现为改进农场决策和行为建模提供了有价值的认识，也回应了多数模型在土地市场中依赖基于规则的启发式方法或短视性决策这一缺口。

未来工作将把模型扩展至包含更多农场的更大区域，引入更强竞争，并提高对区域农场结构表征的现实性。此外，我们计划将该框架扩展至MADRL，使多个主体能够使用DRL随时间学习并调整其策略。这样的模型可以成为建模者、实践者和政策制定者的重要工具，帮助其探索土地市场动态并评估拟议土地市场规制的影响。