Skip to content

DELTA Benchmark Report

DELTA measures how well leading AI models answer open-ended questions of Dutch law with research that is legally sound, well sourced and usable by a lawyer.
Research · Sep 2026

By Legal Benchmarks, with Zeno as Founding Research Partner

12 min read

Key findings

  1. No model demonstrates readiness to conduct Dutch legal research independently. Fable 5.1 leads on task pass rate, yet fully passes only 15.0% of tasks.
  2. Grok 4.6 offers the strongest balance of legal quality and cost.
  3. DeepSeek V4 Pro is the strongest open-weight model. It matches Astra's 6.7% task pass rate and approaches its criteria pass rate at 76% lower cost.

DELTA legal quality matrix

Named models are the ones discussed below. Further right means a higher task pass rate; higher means stronger Form. Hover any mark for the full row.

  • The legal-quality frontier is split. Anthropic's leading models are strongest on legal completion: Fable 5.1 has the highest task-pass rate, while Opus 5 satisfies the highest share of Substance and Citation criteria. OpenAI leads on Form, with the four highest Form scores all belonging to GPT models.
  • Grok 4.6 is the strongest non-Anthropic model on end-to-end legal completion. It passes 10% of tasks while retaining strong Form, placing it farther right than every GPT model. Its gap to Fable 5.1 and Opus 5 lies in legal completion rather than presentation.
  • The strongest open-weight model reaches the proprietary mid-tier, but not the frontier. DeepSeek V4 Pro matches Astra's 6.7% task-pass rate and trails its criteria coverage by only 2.4 percentage points, with comparable Form. It remains 8.3 points behind Fable 5.1 on task pass and 10.4 points behind it on criteria coverage.

DELTA leaderboard

Sorted by Task pass rate, descending

1Claude Fable 5.1 Adaptive MaxNew15.0%75.7%2.850$1.7582m 54s
2Claude Opus 5 MaxNew13.3%77.6%2.792$1.0684m 22s
3Claude Fable 5 Adaptive Max11.7%68.4%2.908$1.5203m 08s
4Grok 4.6 MaxNew10.0%68.8%2.878$0.1912m 09s
5GPT-6 Astra MaxNew6.7%67.7%2.958$0.6721m 38s
5DeepSeek V4 Pro MaxNew6.7%65.3%2.898$0.1623m 48s
5Claude Sonnet 5 Max6.7%60.4%2.797$0.2542m 17s
8Grok 4.5 High5.0%66.1%2.839$0.1271m 53s
8GPT-5.6 Sol Max5.0%64.8%2.956$0.4633m 50s
8Gemini 3.8 FlashNew5.0%61.4%2.925$0.10050s
8GPT-5.6 Terra Max5.0%57.7%2.940$0.2612m 28s
8Gemini 3.6 Flash5.0%56.5%2.901$0.1601m 04s
8MiniMax M35.0%55.9%2.717$0.0501m 34s
8GLM 5.2 Max5.0%51.1%2.830$0.1302m 07s
8Gemini 3.5 Flash5.0%45.5%2.899$0.1481m 04s
8Gemini 3.1 Pro Preview5.0%44.0%2.920$0.2241m 50s
17Claude Opus 4.8 Max3.3%61.6%2.769$0.4361m 53s
17Qwen 3.8 Max3.3%60.6%2.822$0.2314m 26s
17Kimi K33.3%50.4%2.652$0.4307m 50s
20Qwen 3.7 Max0.0%55.5%2.886$0.1021m 52s
20GPT-5.6 Luna Max0.0%53.8%2.938$0.1181m 41s
20Mistral Large 30.0%28.8%2.628$0.00755s
20Mistral Medium 3.50.0%27.6%2.497$0.1101m 06s
DELTA leaderboard
  • Token price is a poor proxy for real-world cost. Astra and Fable 5.1 have the same list token price ($10/$50 per million input/output tokens), yet Astra costs 62% less per DELTA task and responds 44% faster. It is also cheaper per task than Opus 5 despite having twice the list token price.
  • Frontier quality carries a steep premium. Fable 5.1 costs 9.2× more per task than Grok 4.6, but improves the task pass rate from 10% to 15% and criteria coverage from 68.8% to 75.7%. Reaching the very top of the leaderboard requires substantially more spend for a relatively modest performance gain.
  • Slower models cost more, but are not consistently better. Response time is strongly linked to cost, but only weakly linked to task success and not linked to Form.

Frontier model progress is uneven

Task pass rate

Criteria pass rate

Form

  • Anthropic models show the strongest progress in complete-task performance. From Opus 4.8 to Fable 5.1, task pass rate rises from 3.3% to 15.0% and criteria pass rate rises from 61.6% to 75.7%.
  • OpenAI models show more modest progress. Astra improves task pass rate from 5.0% to 6.7% and criteria pass rate from 64.8% to 67.7%, while Form is effectively unchanged from Sol.
  • Grok 4.6 improves across all three measures. It doubles Grok 4.5's task pass rate from 5.0% to 10.0%, with higher criteria coverage and Form.
  • Gemini becomes better at covering individual requirements without becoming more reliable end to end. Criteria pass rate rises from 45.5% for Gemini 3.5 to 61.4% for Gemini 3.8, but task pass rate remains 5.0% across every version shown.
  • Qwen 3.8 makes a limited substantive gain. It raises task pass rate from 0.0% to 3.3% and criteria pass rate from 55.5% to 60.6%, while Form declines.

Observed failure modes

Correct conclusion, incomplete justification

What it is: The model's answer reaches the right conclusion, but the legal reasoning does not fully support it.

The question: Does the original owner still own a stolen watch that was sold, then left with the seller for later collection?

The error: Models conclude that the owner still owns it. They do not explain that the seller holding it for the buyer does not defeat the owner's title unless the owner consents.

Open on GitHub

{
  "task_id": "property-law/acquisition-of-a-stolen-movable",
  "jurisdiction": "NL",
  "normative_language": "nl",
  "task_horizon": "short",
  "law_as_of": "2026-08-30",
  "practice_area": {
    "nl": "Goederenrecht",
    "en": "Property law"
  },
  "title": {
    "nl": "Eigendomsverkrijging gestolen roerende zaak",
    "en": "Acquisition of ownership of a stolen movable item"
  },
  "prompt": {
    "nl": "Onze cliënt, Yilmaz, heeft op 6 juli 2019 een uniek herenhorloge van slangenhout gekocht van Harry, een handelaar in nieuwe en tweedehands houten herenhorloges. Zij spraken af dat Yilmaz het horloge op 19 juli 2019 zou ophalen. Tot die tijd bleef het horloge in de etalage van Harry liggen met een briefje “verkocht”.\n\nWe hebben inmiddels vernomen dat Harry het horloge in juni 2018 van Gaston heeft gestolen. Op 10 juli 2019 kwam Gaston de winkel binnen en stelde hij dat het horloge nog steeds zijn eigendom was.\n\nBeoordeel de positie van Yilmaz en of Gaston terecht stelt dat het horloge nog steeds van hem is.",
    "en": "Our client, Yilmaz, purchased a unique snakewood men’s watch on 6 July 2019 from Harry, a dealer in new and second-hand wooden men’s watches. They agreed that Yilmaz would collect the watch on 19 July 2019. Until then, the watch remained in Harry’s display window with a “sold” notice attached.\n\nWe have since learned that Harry stole the watch from Gaston in June 2018. On 10 July 2019, Gaston entered the shop and asserted that the watch remained his property.\n\nPlease assess Yilmaz’s position and whether Gaston is correct that the watch still belongs to him."
  },
  "criteria": [
    {
      "id": "S-001",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord concludeert dat Gaston op 10 juli 2019 nog steeds eigenaar van het horloge is.",
        "en": "PASS if the answer concludes that Gaston remains the owner of the watch on 10 July 2019."
      }
    },
    {
      "id": "S-002",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat Harry het horloge van Gaston heeft gestolen.",
        "en": "PASS if the answer states that Harry stole the watch from Gaston."
      }
    },
    {
      "id": "S-015",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat Harry daarom niet beschikkingsbevoegd is om de eigendom over te dragen.",
        "en": "PASS if the answer states that Harry therefore lacked authority to dispose of the watch and transfer ownership."
      }
    },
    {
      "id": "S-003",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord een geldige titel noemt als een van de vereisten voor overdracht binnen het toepasselijke kader.",
        "en": "PASS if the answer identifies a valid legal basis as one requirement for transfer under the governing framework."
      }
    },
    {
      "id": "S-016",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord levering noemt als een van de vereisten voor overdracht binnen het toepasselijke kader.",
        "en": "PASS if the answer identifies delivery as one requirement for transfer under the governing framework."
      }
    },
    {
      "id": "S-017",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord beschikkingsbevoegdheid noemt als een van de vereisten voor overdracht binnen het toepasselijke kader.",
        "en": "PASS if the answer identifies authority to dispose as one requirement for transfer under the governing framework."
      }
    },
    {
      "id": "C-004",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:90 BW of art. 3:90 lid 1 BW citeert voor het leveringsvereiste bij roerende zaken.",
        "en": "PASS if the answer cites Article 3:90 BW or Article 3:90(1) BW as the delivery requirement for movable property."
      },
      "cited_authority": "art. 3:90 BW"
    },
    {
      "id": "S-005",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat levering van roerende zaken op grond van art. 3:90 BW bezitsverschaffing vereist.",
        "en": "PASS if the answer states that delivery of movable property under Article 3:90 BW requires transfer of possession."
      }
    },
    {
      "id": "S-006",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord onderkent dat het ontbreken van fysieke afgifte niet op zichzelf betekent dat geen levering heeft plaatsgevonden en analyseert of de afspraak levering door constitutum possessorium op grond van art. 3:115 onder a BW tot stand bracht, waarbij Harry de feitelijke macht behield maar het horloge voor Yilmaz hield. Iedere gemotiveerde conclusie over de vraag of de vermelde feiten de vereiste tweezijdige houderschapsverhouding opleveren, is aanvaardbaar.",
        "en": "PASS if the answer recognises that absence of physical handover does not by itself mean that no delivery occurred and analyses whether the agreement effected delivery by constitutum possessorium under Article 3:115(a) BW, with Harry retaining physical custody while holding the watch for Yilmaz. Either reasoned conclusion on whether the facts establish the required bilateral holding arrangement is acceptable."
      }
    },
    {
      "id": "S-007",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord uitlegt dat, zelfs indien de afspraak levering door constitutum possessorium tot stand bracht, die levering op grond van art. 3:90 lid 2 BW niet tegen Gaston als houder van het oudere eigendomsrecht werkt zolang het horloge zonder Gastons instemming in handen van Harry blijft.",
        "en": "PASS if the answer explains that, even if the agreement effected delivery by constitutum possessorium, Article 3:90(2) BW makes that delivery ineffective against Gaston as holder of the older ownership right while the watch remains in Harry's hands without Gaston's consent."
      }
    },
    {
      "id": "C-008",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:115 onder a BW citeert als grondslag voor de analyse van levering door constitutum possessorium.",
        "en": "PASS if the answer cites Article 3:115(a) BW as the basis for analysing delivery by constitutum possessorium."
      },
      "cited_authority": "art. 3:115 onder a BW"
    },
    {
      "id": "C-021",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:90 lid 2 BW citeert voor de regel dat een levering waarbij de zaak in handen van de vervreemder blijft nog niet werkt tegen een derde met een ouder recht.",
        "en": "PASS if the answer cites Article 3:90(2) BW for the rule that delivery leaving the object in the transferor's hands does not yet operate against a third party with an older right."
      },
      "cited_authority": "art. 3:90 lid 2 BW"
    },
    {
      "id": "C-009",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:86 BW citeert als grondslag voor derdenbescherming bij verkrijging van een beschikkingsonbevoegde.",
        "en": "PASS if the answer cites Article 3:86 BW as the basis for third-party protection when acquiring from a person lacking authority to dispose."
      },
      "cited_authority": "art. 3:86 BW"
    },
    {
      "id": "S-010",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat derdenbescherming op grond van art. 3:86 BW goede trouw vereist op het tijdstip van de bezitsverschaffing.",
        "en": "PASS if the answer states that third-party protection under Article 3:86 BW requires good faith at the time possession is transferred."
      }
    },
    {
      "id": "C-011",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:86 lid 3 BW citeert als uitzondering voor gestolen zaken.",
        "en": "PASS if the answer cites Article 3:86(3) BW as the exception for stolen property."
      },
      "cited_authority": "art. 3:86 lid 3 BW"
    },
    {
      "id": "S-012",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de hoofdregel van art. 3:86 lid 3 BW vermeldt dat de eigenaar van een gestolen roerende zaak deze gedurende drie jaar na de diefstal kan opeisen, behoudens de wettelijke uitzonderingen, waaronder de kwalificerende consumentenkoop van art. 3:86 lid 3 onder a BW.",
        "en": "PASS if the answer states the default rule under Article 3:86(3) BW that the owner of stolen movable property may reclaim it for three years after the theft, subject to statutory exceptions including the qualifying consumer purchase in Article 3:86(3)(a) BW."
      }
    },
    {
      "id": "S-020",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord onderkent dat Gastons aanspraak binnen drie jaar na de diefstal in juni 2018 valt, maar dat gegeven niet op zichzelf beslissend acht zonder art. 3:86 lid 3 onder a BW te betrekken; de eigendomsvraag op 10 juli 2019 kan in plaats daarvan via art. 3:90 lid 2 BW worden opgelost.",
        "en": "PASS if the answer recognises that Gaston's claim falls within three years of the June 2018 theft but does not treat that fact alone as decisive without considering Article 3:86(3)(a) BW; the ownership question on 10 July 2019 can instead be resolved through Article 3:90(2) BW."
      }
    },
    {
      "id": "C-013",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 5:2 BW citeert of anderszins inhoudelijk ingaat op Gastons bevoegdheid om als eigenaar te revindiceren.",
        "en": "PASS if the answer cites Article 5:2 BW or otherwise substantively discusses Gaston's power to recover the watch as owner."
      },
      "cited_authority": "art. 5:2 BW"
    },
    {
      "id": "S-014",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat Gaston het horloge op 10 juli 2019 als eigenaar kan opeisen of revindiceren.",
        "en": "PASS if the answer states that Gaston may reclaim the watch as owner on 10 July 2019."
      }
    },
    {
      "id": "S-024",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat Yilmaz mogelijk een vordering op Harry heeft wegens toerekenbare tekortkoming (art. 6:74 BW) en mogelijk uit onrechtmatige daad (art. 6:162 BW) in verband met de verkoop van het gestolen horloge.",
        "en": "PASS if the answer states that Yilmaz may have a claim against Harry for breach of contract (Article 6:74 BW) and potentially in tort (Article 6:162 BW) in connection with the sale of the stolen watch."
      }
    },
    {
      "id": "S-025",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat de bescherming van art. 3:86 lid 3 sub a BW niet geldt wanneer de dief en de handelaar een en dezelfde persoon zijn, omdat de ratio van de winkeluitzondering (vertrouwen op rechtmatige handel in een winkel) dan volledig wegvalt, zodat de koper langs deze weg geen eigendom verkrijgt.",
        "en": "PASS if the answer states that the protection afforded by Article 3:86(3)(a) BW does not apply where the thief and the trader are one and the same person, because the rationale of the shop exception (trust in lawful business conducted in a shop) falls away entirely when the trader is himself the thief, so the buyer cannot acquire title through that exception."
      }
    },
    {
      "id": "S-026",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de koop op 6 juli onderscheidt van overdracht en levering en de koopovereenkomst niet op zichzelf als voldoende voor eigendomsoverdracht behandelt.",
        "en": "PASS if the answer distinguishes the sale on 6 July from transfer and delivery and does not treat the sale agreement alone as sufficient to transfer ownership."
      }
    },
    {
      "id": "F-022",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als de openingsalinea vóór de uitvoerige analyse van koop, levering, diefstal, derdenbescherming en revindicatie de conclusie van het antwoord vermeldt over wie op 10 juli 2019 eigenaar van het horloge is.",
        "en": "PASS if the opening paragraph states the answer's conclusion on who owns the watch on 10 July 2019 before the detailed analysis of the sale, delivery, theft, third-party protection and recovery by the owner."
      }
    },
    {
      "id": "F-023",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de relevante gebeurtenissen en juridische stappen in een begrijpelijke chronologische volgorde presenteert, zodat de lezer het verloop van koop, eventuele levering, diefstal, derdenbescherming en revindicatie niet zelf hoeft te reconstrueren.",
        "en": "PASS if the answer presents the relevant events and legal steps in an intelligible chronological sequence, so the reader need not reconstruct the course of the sale, any delivery, theft, third-party protection and recovery by the owner."
      }
    }
  ]
}

19 of 23 models reach the right conclusion, but 6 explain it incompletely.

Failure to apply law to facts

What it is: The model's answer identifies the right legal test but does not use the facts to decide the outcome.

The question: If a child's legal representative also acts for a company with conflicting interests, does that bind the child?

The error: Models state the right legal test. They do not apply it to the facts, so they never decide whether the child is bound.

Open on GitHub

{
  "task_id": "family-law/minor-representative-conflict-of-interest",
  "jurisdiction": "NL",
  "normative_language": "nl",
  "task_horizon": "short",
  "law_as_of": "2026-08-30",
  "practice_area": {
    "nl": "Personen- en familierecht",
    "en": "Family law"
  },
  "title": {
    "nl": "Tegenstrijdig belang wettelijk vertegenwoordiger bij wijziging overeenkomst",
    "en": "Conflict of interest of a minor's legal representative when amending an agreement"
  },
  "prompt": {
    "nl": "Een nadelige wijziging van een overeenkomst zou een minderjarige binden. De wettelijk vertegenwoordiger van de minderjarige handelde daarbij ook in een andere hoedanigheid, bijvoorbeeld als bestuurder of aandeelhouder van een vennootschap, en had een belang dat tegenstrijdig was aan dat van de minderjarige. Mag worden aangenomen dat de vertegenwoordiger tevens als wettelijk vertegenwoordiger optrad en de minderjarige aan de wijziging bond?",
    "en": "A disadvantageous amendment of an agreement is said to bind a minor. The minor's legal representative also acted in another capacity, such as director or shareholder of a company, and had an interest conflicting with the minor's. May it be assumed that the representative was also acting as the minor's legal representative and thereby bound the minor to the amendment?"
  },
  "criteria": [
    {
      "id": "S-001",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de toepasselijke maatstaf aanduidt als het beginsel van conformerende uitleg: bij gebreke van duidelijke aanwijzingen voor het tegendeel mag niet worden aangenomen dat een wettelijk vertegenwoordiger heeft gedaan wat hij niet behoorde te doen, namelijk tegelijk als wettelijk vertegenwoordiger en in een daarmee conflicterende andere hoedanigheid handelen.",
        "en": "PASS if the answer identifies the applicable standard as conforming interpretation (conformerende uitleg): absent clear indications to the contrary, it should not be assumed that a legal representative did what they ought not to have done, namely act as the minor's legal representative while simultaneously acting in a conflicting official capacity."
      }
    },
    {
      "id": "S-002",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de drempel 'geen duidelijke aanwijzingen van het tegendeel' op de feiten toepast en concludeert dat zulke aanwijzingen voor vertegenwoordiging in een dubbele hoedanigheid ontbraken.",
        "en": "PASS if the answer applies the threshold of 'no clear indications to the contrary' to the facts and concludes that such indications of dual-capacity representation were absent."
      }
    },
    {
      "id": "S-003",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat wanneer een wettelijk vertegenwoordiger een evident tegenstrijdig belang heeft met dat van de minderjarige, benoeming van een bijzonder curator op grond van art. 1:250 BW de wettelijk voorgeschreven route is, in plaats van vertegenwoordiging door de conflicterende vertegenwoordiger zelf.",
        "en": "PASS if the answer states that, where a legal representative has an interest evidently conflicting with the minor's, the legally prescribed route is appointment of a special guardian under Article 1:250 BW rather than representation by the conflicted representative."
      }
    },
    {
      "id": "S-011",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de regel dat een wettelijk vertegenwoordiger met een evident tegenstrijdig belang op grond van art. 1:250 BW door een bijzonder curator behoort te worden vervangen, gebruikt ter ondersteuning van de uitlegconclusie dat vertegenwoordiging in een dubbele hoedanigheid niet mag worden aangenomen.",
        "en": "PASS if the answer uses the rule that an evidently conflicted legal representative should be replaced by a special guardian under Article 1:250 BW to support the interpretive conclusion that dual-capacity representation should not be assumed."
      }
    },
    {
      "id": "C-005",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 1:250 lid 1 BW (bijzonder curator) citeert als toepasselijke wettelijke bepaling, hetzij als grondslag voor de voorgeschreven procedure bij een belangenconflict, hetzij ter ondersteuning van de uitlegnorm.",
        "en": "PASS if the answer cites Article 1:250(1) BW on the special guardian as an applicable provision, either as the basis for the prescribed procedure in a conflict of interest or as support for the interpretive norm."
      },
      "cited_authority": "art. 1:250 lid 1 BW"
    },
    {
      "id": "C-006",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:32 lid 2 BW citeert in verband met de rechtsgevolgen van een rechtshandeling die zonder behoorlijke bevoegdheid namens een minderjarige is verricht, waaronder handelingsonbekwaamheid of vernietigbaarheid van zulke rechtshandelingen.",
        "en": "PASS if the answer cites Article 3:32(2) BW in connection with the legal consequences of an act performed on behalf of a minor without proper authority, including incapacity or voidability of such acts."
      },
      "cited_authority": "art. 3:32 lid 2 BW"
    },
    {
      "id": "C-007",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord HR 31 oktober 1934 (ECLI:NL:HR:1934:322, NJ 1934, p. 1675) citeert of deze uitspraak anderszins aanduidt als grondslag of illustratie van de vernietigbaarheid van een namens een minderjarige verrichte handeling zonder toereikende vertegenwoordigingsbevoegdheid.",
        "en": "PASS if the answer cites HR 31 October 1934 (ECLI:NL:HR:1934:322, NJ 1934, p. 1675) or otherwise identifies that authority as establishing or illustrating the voidability of an act performed on behalf of a minor without proper authority."
      },
      "cited_authority": "HR 31 oktober 1934, ECLI:NL:HR:1934:322, NJ 1934, p. 1675"
    },
    {
      "id": "S-008",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord onderkent dat het evidente belangenconflict tussen de andere rol van de vertegenwoordiger, bijvoorbeeld als bestuurder of aandeelhouder, en het belang van de minderjarige op zichzelf een doorslaggevende factor is die pleit tegen impliciete vertegenwoordiging in een dubbele hoedanigheid; facultatief mag het antwoord opmerken dat een eigenbelang, zoals belastingbesparing, deze conclusie verder versterkt.",
        "en": "PASS if the answer recognises that the evident conflict between the representative's other role, for example as director or shareholder, and the minor's interest is itself a decisive factor against implicit dual-capacity representation; it may additionally note that a self-serving motive, such as tax savings, reinforces that conclusion."
      }
    },
    {
      "id": "S-009",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord, voor zover het een argument over dynamische uitleg behandelt, juist vermeldt dat dynamische uitleg geen zelfstandige maatstaf is maar een toepassing van de gewone uitlegmaatstaf op gewijzigde omstandigheden.",
        "en": "PASS if, when addressing a dynamic-interpretation argument, the answer correctly notes that dynamic interpretation is not an independent standard but an application of the ordinary interpretation standard to changing circumstances."
      }
    },
    {
      "id": "S-013",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord overal één consistente formulering van de rechtspositie van de minderjarige gebruikt: indien het concludeert dat de minderjarige niet gebonden is, onderscheidt het die conclusie van een bespreking van vernietigbaarheid, toerekening, schijn van volmacht of een uitdrukkelijke rechtshandeling namens de minderjarige, in plaats van deze als onverzoende alternatieve eindconclusies te presenteren.",
        "en": "PASS if the answer uses one consistent formulation of the minor's legal position throughout: if it concludes that the minor is not bound, it distinguishes that conclusion from any discussion of voidability, attribution, apparent authority or an express act on the minor's behalf instead of presenting those matters as unreconciled alternative bottom lines."
      }
    },
    {
      "id": "F-014",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als de openingsalinea, vóór de uitvoerige bespreking van vertegenwoordiging, toerekening, schijn van volmacht of instemming, beknopt de conclusie van het antwoord vermeldt over de vraag of het handelen van de vertegenwoordiger in een andere hoedanigheid ook de minderjarige bond, met behoud van de in de analyse gebruikte voorbehouden.",
        "en": "PASS if the opening paragraph concisely states the answer's conclusion on whether conduct by the representative in another capacity also bound the minor, preserving any qualifications used in the analysis, before the detailed discussion of representation, attribution, apparent authority or consent."
      }
    }
  ]
}

Only 2 of 23 models, GPT-5.6 Sol Max and GPT-6 Astra Max, apply the test to the facts and reach the required conclusion.

Failure to apply a limiting qualification

What it is: The model's answer states an important limit on the rule but does not apply that limit to its conclusion.

The question: Can a leaseholder use fairness to limit a ground-rent revision clause in an erfpacht, a Dutch long-term right to use land?

The error: Models mention that Dutch law allows this only in very exceptional circumstances, then still give a broad yes.

Open on GitHub

{
  "task_id": "real-estate/ground-rent-revision-and-reasonableness-fairness",
  "jurisdiction": "NL",
  "normative_language": "nl",
  "task_horizon": "short",
  "law_as_of": "2026-08-30",
  "practice_area": {
    "nl": "Vastgoedrecht",
    "en": "Real estate"
  },
  "title": {
    "nl": "Beperkende werking bij canonherzieningsbepalingen in erfpacht",
    "en": "Restrictive effect of reasonableness and fairness on ground-rent revision clauses"
  },
  "prompt": {
    "nl": "Een erfpachter wordt geconfronteerd met de toepassing van een contractueel overeengekomen canonherzieningsbepaling. In hoeverre kan de erfpachter zich beroepen op de beperkende werking van redelijkheid en billijkheid om de gevolgen daarvan te beperken?",
    "en": "A long leaseholder faces the application of a contractually agreed ground-rent revision clause. To what extent may the long leaseholder invoke the restrictive effect of reasonableness and fairness to limit its consequences?"
  },
  "criteria": [
    {
      "id": "S-001",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord concludeert dat een beroep op de beperkende werking van redelijkheid en billijkheid (art. 6:248 lid 2 BW) om de gevolgen van een canonherzieningsbepaling te beperken niet principieel is uitgesloten.",
        "en": "PASS if the answer concludes that invoking the restrictive effect of reasonableness and fairness (Article 6:248(2) BW) to limit the effects of a ground-rent revision clause is not excluded as a matter of principle."
      }
    },
    {
      "id": "S-015",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord concludeert dat een beroep op de beperkende werking van redelijkheid en billijkheid (art. 6:248 lid 2 BW) om de gevolgen van een canonherzieningsbepaling te beperken slechts in zeer uitzonderlijke omstandigheden mogelijk is.",
        "en": "PASS if the answer concludes that invoking the restrictive effect of reasonableness and fairness (Article 6:248(2) BW) to limit the effects of a ground-rent revision clause is confined to very exceptional circumstances."
      }
    },
    {
      "id": "S-002",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat de wetgever de inhoud van canonherzieningsbepalingen volledig aan partijen heeft overgelaten.",
        "en": "PASS if the answer states that the legislature left the content of ground-rent revision clauses entirely to the parties."
      }
    },
    {
      "id": "S-016",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat het huidige Nederlandse recht geen 'rechtvaardige prijs' kent (de leer van het iustum pretium is verlaten).",
        "en": "PASS if the answer states that current Dutch law does not recognise a 'just price' (rechtvaardige prijs), because the iustum pretium doctrine has been abandoned."
      }
    },
    {
      "id": "S-003",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de wettelijke maatstaf van art. 5:97 BW voor wijziging van erfpachtvoorwaarden juist weergeeft: er moeten onvoorziene omstandigheden van dien aard zijn dat ongewijzigde instandhouding van de voorwaarden naar maatstaven van redelijkheid en billijkheid niet kan worden gevergd.",
        "en": "PASS if the answer correctly identifies the statutory standard under Article 5:97 BW for modifying long-lease conditions: there must be unforeseen circumstances of such a nature that unchanged continuation of the conditions cannot be required according to standards of reasonableness and fairness."
      }
    },
    {
      "id": "S-004",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord uitlegt dat de grote terughoudendheid die art. 5:97 BW en de wetsgeschiedenis voorschrijven, leidt tot een nog beperktere toepassing van de beperkende werking dan de reeds strenge algemene maatstaf voor onvoorziene omstandigheden van art. 6:258 BW, omdat partijen bij erfpacht worden geacht bij de vestiging van het langdurige recht rekening te hebben gehouden met toekomstige veranderingen in omstandigheden.",
        "en": "PASS if the answer explains that the great restraint prescribed by Article 5:97 BW and its legislative history makes the restrictive-effect route even narrower than the already strict general unforeseen-circumstances standard in Article 6:258 BW, because parties establishing a long-term leasehold are assumed to have allowed for future changes in circumstances."
      }
    },
    {
      "id": "S-005",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de rechtsgevolgen van de twee routes onderscheidt: op grond van art. 6:248 lid 2 BW blijft de canonherzieningsbepaling slechts buiten toepassing voor zover toepassing onaanvaardbaar zou zijn, terwijl structurele wijziging of beëindiging van de erfpacht op grond van art. 5:97 BW plaatsvindt door een constitutief vonnis. Het antwoord mag stellen dat de routes naast elkaar bestaan óf dat art. 5:97 BW exclusief is voor voldoende verstrekkende of complexe voorzieningen, omdat de conclusie van de A-G vermeldt dat deze verhouding omstreden is.",
        "en": "PASS if the answer distinguishes the legal effects of the two routes: under Article 6:248(2) BW the ground-rent revision clause is inapplicable only to the extent that applying it would be unacceptable, whereas structural modification or termination of the long lease under Article 5:97 BW occurs through a constitutive judgment. The answer may state either that the routes coexist or that Article 5:97 BW is exclusive for sufficiently far-reaching or complex relief, because the source Advocate General's opinion identifies that relationship as contested."
      }
    },
    {
      "id": "S-017",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord duidelijk maakt dat voor beperking van een erfpacht- of canonbeding via de beperkende werking grote terughoudendheid is vereist, waarbij de strenge maatstaf van art. 5:97 BW doorwerkt.",
        "en": "PASS if the answer conveys that limiting a long-lease or ground-rent clause through the restrictive effect of reasonableness and fairness requires great restraint, carrying over the strict Article 5:97 BW standard."
      }
    },
    {
      "id": "S-006",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord ten minste twee van de volgende relevante omstandigheden noemt voor de beoordeling of toepassing van de beperkende werking gerechtvaardigd is: (i) de duidelijkheid en doorgrondbaarheid van de herzieningsbepaling, (ii) de voorzienbaarheid van de financiële gevolgen en (iii) het welbewust en geïnformeerd aangaan van de overeenkomst.",
        "en": "PASS if the answer identifies at least two of these relevant circumstances: (i) the clarity and transparency of the revision clause, (ii) the foreseeability of its financial consequences, and (iii) deliberate and informed acceptance of the agreement."
      }
    },
    {
      "id": "S-007",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 5:97 BW behandelt als de lex specialis voor wijziging van erfpachtvoorwaarden.",
        "en": "PASS if the answer treats Article 5:97 BW as the lex specialis governing modification of long-lease conditions."
      }
    },
    {
      "id": "S-008",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de door de erfpachter ingeroepen beperkende werking van redelijkheid en billijkheid grondt op art. 6:248 lid 2 BW.",
        "en": "PASS if the answer grounds the restrictive effect of reasonableness and fairness invoked by the long leaseholder in Article 6:248(2) BW."
      }
    },
    {
      "id": "C-011",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 5:97 BW citeert.",
        "en": "PASS if the answer cites Article 5:97 BW."
      },
      "cited_authority": "art. 5:97 BW"
    },
    {
      "id": "C-012",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 6:248 lid 2 BW citeert.",
        "en": "PASS if the answer cites Article 6:248(2) BW."
      },
      "cited_authority": "art. 6:248 lid 2 BW"
    },
    {
      "id": "C-013",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 6:258 BW citeert.",
        "en": "PASS if the answer cites Article 6:258 BW."
      },
      "cited_authority": "art. 6:258 BW"
    },
    {
      "id": "C-014",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord een vindplaats binnen MvA II of VC II, Parl. Gesch. BW Boek 5, p. 322-326 citeert (bijvoorbeeld p. 322, p. 325 of p. 326) ter onderbouwing van de uitzonderlijk strenge maatstaf van art. 5:97 BW.",
        "en": "PASS if the answer cites any pinpoint within MvA II or VC II, Parl. Gesch. BW Boek 5, pp. 322-326 (for example p. 322, p. 325 or p. 326) in support of the exceptionally strict standard under Article 5:97 BW."
      },
      "cited_authority": "MvA II / VC II, Parl. Gesch. BW Boek 5, pp. 322-326"
    },
    {
      "id": "F-018",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord één geconsolideerde conclusie geeft over de vraag of art. 6:248 lid 2 BW een canonherzieningsbepaling kan beperken en die conclusie niet vrijwel identiek herhaalt in een tweede samenvatting of bronnentabel; een eventuele bronnentabel moet een afzonderlijke koppeling tussen autoriteit en rechtsregel toevoegen die niet al in de analyse staat.",
        "en": "PASS if the answer gives one consolidated conclusion on whether Article 6:248(2) BW can limit a ground-rent revision clause and does not repeat that conclusion in a near-identical second summary or source table; any source table must add a distinct authority-to-proposition mapping not already provided in the analysis."
      }
    },
    {
      "id": "F-019",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als de openingsalinea vóór de uitvoerige behandeling van art. 5:97 BW, art. 6:258 BW en de relevante omstandigheden beknopt de conclusie van het antwoord vermeldt over de vraag of art. 6:248 lid 2 BW een canonherzieningsbepaling kan beperken, met behoud van de mate van terughoudendheid die het antwoord in de analyse hanteert.",
        "en": "PASS if the opening paragraph concisely states the answer's conclusion on whether Article 6:248(2) BW may limit a ground-rent revision clause before the detailed treatment of Articles 5:97, 6:258 and the relevant circumstances, preserving the degree of restraint used in the answer's analysis."
      }
    }
  ]
}

20 of 23 models mention the "very exceptional circumstances" limit, but 12 reach a conclusion that is too broad.

Citation without analysis

What it is: The model's answer cites the relevant authority but does not explain how it supports the conclusion.

The question: After a company goes bankrupt, can a lender with security over its customer debts still negotiate settlements with those customers?

The error: Models cite the relevant rule. They do not explain that bankruptcy ends the lender's permission to settle.

Open on GitHub

{
  "task_id": "insolvency-restructuring/pledgee-settlement-authority-over-pledged-claims",
  "jurisdiction": "NL",
  "normative_language": "nl",
  "task_horizon": "short",
  "law_as_of": "2026-08-30",
  "practice_area": {
    "nl": "Insolventierecht en herstructurering",
    "en": "Insolvency & Restructuring"
  },
  "title": {
    "nl": "Schikkingsbevoegdheid pandhouder bij verpande vorderingen",
    "en": "Settlement authority of a pledgee over pledged claims"
  },
  "prompt": {
    "nl": "Een openbaar pandhouder overweegt een schikking over een verpande vordering, terwijl een faillissement van de pandgever mogelijk is. Omvat de inningsbevoegdheid ook de bevoegdheid om te schikken, en kan die schikkingsbevoegdheid bij overeenkomst met goederenrechtelijke werking aan de pandhouder worden toegekend zodat zij tijdens het faillissement van de pandgever blijft bestaan?",
    "en": "A disclosed pledgee is considering a settlement of a pledged claim while the pledgor may enter bankruptcy. Does the collection authority include authority to settle, and can that settlement authority be granted contractually to the pledgee with property-law effect so that it survives the pledgor's bankruptcy?"
  },
  "criteria": [
    {
      "id": "S-001",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat de wettelijke bevoegdheidsverdeling tussen pandhouder en pandgever bij een openbaar pandrecht op vorderingen van dwingendrechtelijke aard is.",
        "en": "PASS if the answer states that the statutory allocation of powers between pledgee and pledgor under a disclosed pledge over claims is mandatory in nature."
      }
    },
    {
      "id": "S-012",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat de pandhouder na mededeling uitsluitend de inningsbevoegdheid en de daaruit voortvloeiende bevoegdheden verkrijgt.",
        "en": "PASS if the answer states that, after notice has been given, the pledgee acquires only collection authority and the powers flowing from it."
      }
    },
    {
      "id": "S-013",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat alle schuldeisersbevoegdheden behalve de inningsbevoegdheid en de daaruit voortvloeiende bevoegdheden — waaronder de bevoegdheid een schikking te treffen, kwijtschelding te verlenen, een betalingsregeling overeen te komen of de onderliggende overeenkomst te beëindigen — bij de pandgever blijven.",
        "en": "PASS if the answer states that all creditor powers other than collection authority and the powers flowing from it — including settling, granting a release, agreeing a repayment arrangement or terminating the underlying agreement — remain vested in the pledgor."
      }
    },
    {
      "id": "S-002",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 3:246 BW met artikelnummer citeert.",
        "en": "PASS if the answer cites Article 3:246 BW by article number."
      }
    },
    {
      "id": "C-004",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord HR 21 februari 2014 citeert aan de hand van de ECLI (ECLI:NL:HR:2014:415), de datum of de NJ-vindplaats (NJ 2015/82).",
        "en": "PASS if the answer cites HR 21 February 2014 by ECLI:NL:HR:2014:415, its date or NJ 2015/82."
      },
      "cited_authority": "HR 21 februari 2014"
    },
    {
      "id": "S-005",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de redengeving van HR 21 februari 2014 (IAE/Neo River) uitlegt dat een schikking een beschikking over de vordering inhoudt die verder gaat dan enkel innen.",
        "en": "PASS if the answer explains the rationale of HR 21 February 2014 (IAE/Neo River): settlement entails a disposition over the claim that goes beyond mere collection."
      }
    },
    {
      "id": "S-006",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat het gesloten stelsel van goederenrechtelijke rechten (art. 3:81 lid 1 BW) eraan in de weg staat dat partijen de bevoegdheden van de pandhouder bij overeenkomst uitbreiden met goederenrechtelijke werking.",
        "en": "PASS if the answer states that the closed system of property rights under Article 3:81(1) BW prevents parties from contractually extending the pledgee's powers with property-law effect."
      }
    },
    {
      "id": "S-014",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat de wet geen mogelijkheid biedt om de bevoegdheden van de pandhouder bij overeenkomst uit te breiden met goederenrechtelijke werking.",
        "en": "PASS if the answer states that the law does not provide for contractual extension of the pledgee's powers with property-law effect."
      }
    },
    {
      "id": "S-015",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord vermeldt dat goederenrechtelijke bepalingen dwingend zijn, tenzij de wet uitdrukkelijk afwijking toestaat.",
        "en": "PASS if the answer states that property-law provisions are mandatory unless the statute expressly permits deviation."
      }
    },
    {
      "id": "S-007",
      "type": "substance",
      "dimensions": [
        "legal_correctness"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 7:424 lid 1 BW aanduidt als de schakelbepaling waardoor de lastgevingsbepalingen over het eindigen van de lastgevingsovereenkomst van overeenkomstige toepassing zijn op overeenkomsten op grond waarvan de ene partij bevoegd is voor rekening van de andere rechtshandelingen te verrichten.",
        "en": "PASS if the answer identifies Article 7:424(1) BW as the connecting provision that applies the mandate rules on termination correspondingly to agreements under which one party is authorised to perform legal acts for the account of another."
      }
    },
    {
      "id": "C-016",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 7:424 lid 1 BW met artikelnummer citeert.",
        "en": "PASS if the answer cites Article 7:424(1) BW by article number."
      },
      "cited_authority": "Art. 7:424 lid 1 BW"
    },
    {
      "id": "S-008",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord uitlegt dat een contractueel verleende schikkingsbevoegdheid op grond van art. 7:422 lid 1, aanhef en onder a, BW, via art. 7:424 BW, van rechtswege eindigt bij faillissement van de pandgever, ook wanneer de bevoegdheid uitsluitend in het belang van de pandhouder is verleend.",
        "en": "PASS if the answer explains that, by operation of Article 7:422(1)(a) BW through Article 7:424 BW, a contractually granted settlement power lapses by operation of law upon the pledgor's bankruptcy, including where granted solely in the pledgee's interest."
      }
    },
    {
      "id": "C-017",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord art. 7:422 lid 1, aanhef en onder a, BW met artikelnummer citeert.",
        "en": "PASS if the answer cites Article 7:422(1)(a) BW by article number."
      },
      "cited_authority": "Art. 7:422 lid 1, aanhef en onder a, BW"
    },
    {
      "id": "S-009",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord ingaat op de wetsgeschiedenis van art. 3:246 BW (Parl. Gesch. Boek 3, MvA II, p. 772–773), waaruit volgt dat de wettelijke bevoegdheidsverdeling een bewuste keuze van de wetgever is die berust op het zwaarwegende belang van de pandgever bij behoud van de betrokken schuldeisersbevoegdheden.",
        "en": "PASS if the answer engages with the legislative history of Article 3:246 BW (Parl. Gesch. Boek 3, MvA II, pp. 772–773), explaining that the statutory allocation reflects a deliberate legislative choice based on the pledgor's substantial interest in retaining the relevant creditor powers."
      }
    },
    {
      "id": "S-018",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord bespreekt of de woorden 'in het algemeen' in de wetsgeschiedenis van art. 3:246 BW ruimte laten voor contractuele afwijking van de wettelijke verdeling van schuldeisersbevoegdheden en concludeert dat dit niet het geval is. Iedere juridisch gemotiveerde route naar die conclusie is aanvaardbaar; het antwoord hoeft de woorden niet aan te merken als een 'algemeen normatief uitgangspunt'.",
        "en": "PASS if the answer addresses whether the phrase 'in general' (in het algemeen) in the legislative history of Article 3:246 BW leaves room for contractual deviation from the statutory allocation of creditor powers and concludes that it does not. Any legally reasoned route to that conclusion is acceptable; the answer need not characterise the phrase as a 'general normative standpoint.'"
      }
    },
    {
      "id": "C-011",
      "type": "citation",
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord HR 9 december 2016, ECLI:NL:HR:2016:2833, NJ 2017/2 (Megalim/De Veenbloem) citeert aan de hand van de ECLI, datum of zaaknaam.",
        "en": "PASS if the answer cites HR 9 December 2016, ECLI:NL:HR:2016:2833, NJ 2017/2 (Megalim/De Veenbloem), by ECLI, date or case name."
      },
      "cited_authority": "HR 9 december 2016"
    },
    {
      "id": "S-019",
      "type": "substance",
      "dimensions": [
        "legal_correctness",
        "legal_judgment"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord uitlegt dat HR 9 december 2016, Megalim/De Veenbloem, de reikwijdte van de inningsbevoegdheid van de pandhouder functioneel omschrijft: zij omvat maatregelen om de verpande vordering op het vermogen van de schuldenaar te verhalen, waaronder het aanvragen van diens faillissement. Het antwoord moet die verhaalsfunctie gebruiken om een schikking of kwijtschelding te onderscheiden, omdat deze de vordering wijzigt of daarover beschikt in plaats van haar af te dwingen.",
        "en": "PASS if the answer explains that HR 9 December 2016, Megalim/De Veenbloem, defines the pledgee's collection authority functionally: it includes measures used to recover the pledged claim against the debtor's assets, including applying for the debtor's bankruptcy. The answer must use that recovery function to distinguish settlement or remission, which alters or disposes of the claim rather than enforcing it."
      }
    },
    {
      "id": "F-020",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als het antwoord de twee gestelde vragen afzonderlijk herkenbaar behandelt: of de wettelijke inningsbevoegdheid ook de bevoegdheid tot schikking omvat en of een contractuele schikkingsbevoegdheid goederenrechtelijke werking kan hebben en het faillissement van de pandgever kan overleven.",
        "en": "PASS if the answer treats the two questions separately and identifiably: whether statutory collection authority includes settlement, and whether a contractual settlement power can have property-law effect and survive the pledgor's bankruptcy."
      }
    },
    {
      "id": "F-021",
      "type": "form",
      "dimensions": [
        "style",
        "usability"
      ],
      "lawyer_validated": true,
      "pass_criteria": {
        "nl": "PASS als art. 3:246 BW, de wetsgeschiedenis daarvan en Megalim/De Veenbloem ieder worden geplaatst bij de specifieke stelling die zij ondersteunen; een gezamenlijke mededeling dat de bronnen het antwoord bevestigen of een losstaande bronnenlijst is onvoldoende.",
        "en": "PASS if Article 3:246 BW, its legislative history and Megalim/De Veenbloem are each placed with the particular proposition they support; a collective assertion that the sources confirm the answer or a stand-alone source list is insufficient."
      }
    }
  ]
}

21 of 23 models cite the relevant rule, but 17 do not explain that bankruptcy ends the lender's permission to negotiate a settlement.

Methodology

What DELTA tests

DELTA evaluates open-ended Dutch legal research drawn from practice. Models must find relevant Dutch legal sources, identify the governing law, apply it to the facts and produce an answer a lawyer can use.

How the models are tested

Every attempt starts fresh with the same Dutch question, research instruction, search and source-reading tools, time limit and tool limit. Model-specific reasoning settings appear in the model names where applicable.

A single answer per model and question is scored. Failed or incomplete runs may be repeated under the same conditions. A missing answer fails the task and receives no Form score. Complete runs are not repeated to measure consistency.

How the answers are scored

A task passes only when the answer meets every legal and citation requirement. Criteria pass rate combines the Substance and Citation criteria satisfied across all answers. Form separately assesses whether the answer is clearly structured, appropriately prioritised, proportionate and usable by a practitioner on a 1 to 3 scale.

Answers are initially graded without revealing which model produced them. GPT-5.6 Sol assesses the legal and citation requirements; GPT-5.6 Sol and Claude Sonnet 4.6 assess Form. Final legal and citation scores apply binding rulings from qualified Dutch lawyers where available, followed by approved AI-human decisions that carry those rulings to materially equivalent answers; otherwise the blind judge verdict remains. Final Form scores likewise include reviewed decisions and approved transfers where available. Review coverage differs by model, so the leaderboard is not direct human validation of every answer.

Cost and response time

Average cost per task and response time reflect the answer used for scoring, or the final attempt when no answer is produced. Earlier attempts and lawyer-review time are excluded.

Open-source questions

The questions in the open-source DELTA release, reviewed with practising Dutch lawyers, are included in the larger evaluation. Its public criteria have since been refined and are not identical to those used for the leaderboard.

DELTA is curated and maintained by Legal Benchmarks. As Founding Research Partner, Zeno contributes technical expertise in legal AI systems, evaluation design and benchmark development.

Acknowledgements

We thank the practising Dutch lawyers who reviewed the tasks and criteria and scored model outputs while the framework was being calibrated. We also thank the participating firms, members of the legal technology community and individual contributors who shared their expertise.

Zeno is DELTA's Founding Research Partner.

Contributing organisations

  • Banning Advocaten
  • BVD advocaten
  • Damsté
  • De Clercq Advocaten Notariaat
  • De Roos
  • DM Advocaten
  • Holla Legal & Tax
  • HVG Law
  • Ploum
  • The Data Lawyers
  • VANEPS
  • Wijn & Stael Advocaten

Explore DELTA

A public, practitioner-grade benchmark for Dutch legal AI, pairing this report with an open legal-research task set and a survey of how Dutch lawyers use AI.