{
 "tag": "pilot",
 "q": 70,
 "n_runs": 150,
 "n_tasks": 10,
 "total_cost_usd": 124.42590039999999,
 "by_arm": [
  {
   "arm": "A0",
   "n_runs": 30,
   "n_tasks": 10,
   "acceptance_taskw": 0.0,
   "acceptance_minw": 0.0,
   "det_completion": 0.0,
   "critical_error_rate": 0.2,
   "quality_mean": 27.38888888888889,
   "quality_sd": 17.40324007207812,
   "timeout_rate": 0.0,
   "cost_mean": 0.7095971266666666,
   "cost_sd": 0.41578295381532226,
   "cost_per_accepted": NaN,
   "wall_median_s": 161.95,
   "tool_calls_mean": 29.433333333333334,
   "tool_errors_mean": 11.866666666666667,
   "app_transitions_mean": 0.0,
   "abstention_rate": 0.9
  },
  {
   "arm": "A1",
   "n_runs": 30,
   "n_tasks": 10,
   "acceptance_taskw": 0.8666666666666666,
   "acceptance_minw": 0.8847736625514403,
   "det_completion": 0.9666666666666666,
   "critical_error_rate": 0.03333333333333333,
   "quality_mean": 82.34722222222221,
   "quality_sd": 18.50024701260657,
   "timeout_rate": 0.0,
   "cost_mean": 0.82316396,
   "cost_sd": 0.22962883806934387,
   "cost_per_accepted": 0.9498045692307693,
   "wall_median_s": 217.65,
   "tool_calls_mean": 12.866666666666667,
   "tool_errors_mean": 0.9,
   "app_transitions_mean": 3.2666666666666666,
   "abstention_rate": 0.2
  },
  {
   "arm": "A2",
   "n_runs": 30,
   "n_tasks": 10,
   "acceptance_taskw": 0.9,
   "acceptance_minw": 0.9094650205761317,
   "det_completion": 0.9666666666666666,
   "critical_error_rate": 0.0,
   "quality_mean": 84.97222222222221,
   "quality_sd": 9.97718502109102,
   "timeout_rate": 0.0,
   "cost_mean": 0.78344624,
   "cost_sd": 0.18990073897126578,
   "cost_per_accepted": 0.8704958222222222,
   "wall_median_s": 213.85000000000002,
   "tool_calls_mean": 12.366666666666667,
   "tool_errors_mean": 0.6666666666666666,
   "app_transitions_mean": 4.433333333333334,
   "abstention_rate": 0.06666666666666667
  },
  {
   "arm": "A3",
   "n_runs": 30,
   "n_tasks": 10,
   "acceptance_taskw": 0.9,
   "acceptance_minw": 0.9259259259259259,
   "det_completion": 1.0,
   "critical_error_rate": 0.0,
   "quality_mean": 85.69444444444444,
   "quality_sd": 11.378487914859686,
   "timeout_rate": 0.0,
   "cost_mean": 0.9055274533333333,
   "cost_sd": 0.258626810400623,
   "cost_per_accepted": 1.0061416148148148,
   "wall_median_s": 218.8,
   "tool_calls_mean": 17.2,
   "tool_errors_mean": 0.8666666666666667,
   "app_transitions_mean": 9.3,
   "abstention_rate": 0.13333333333333333
  },
  {
   "arm": "A4",
   "n_runs": 30,
   "n_tasks": 10,
   "acceptance_taskw": 0.8333333333333333,
   "acceptance_minw": 0.8436213991769548,
   "det_completion": 0.9666666666666666,
   "critical_error_rate": 0.0,
   "quality_mean": 84.79166666666667,
   "quality_sd": 10.586687177880476,
   "timeout_rate": 0.0,
   "cost_mean": 0.9257952333333334,
   "cost_sd": 0.22072943537881048,
   "cost_per_accepted": 1.11095428,
   "wall_median_s": 230.15,
   "tool_calls_mean": 18.8,
   "tool_errors_mean": 2.0,
   "app_transitions_mean": 9.266666666666667,
   "abstention_rate": 0.1
  }
 ],
 "contrasts": [
  {
   "contrast": "A3-A1",
   "kind": "primary",
   "outcome": "S",
   "estimate": 0.03333333333333334,
   "ci_lo": 0.0,
   "ci_hi": 0.1,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": 0.041152263374485604,
   "holm_p": NaN
  },
  {
   "contrast": "A3-A1",
   "kind": "primary",
   "outcome": "D",
   "estimate": 0.03333333333333334,
   "ci_lo": 0.0,
   "ci_hi": 0.1,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": 0.041152263374485604,
   "holm_p": NaN
  },
  {
   "contrast": "A3-A1",
   "kind": "primary",
   "outcome": "E",
   "estimate": -0.03333333333333333,
   "ci_lo": -0.1,
   "ci_hi": 0.0,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": -0.0411522633744856,
   "holm_p": NaN
  },
  {
   "contrast": "A3-A1",
   "kind": "primary",
   "outcome": "quality",
   "estimate": 3.3472222222222205,
   "ci_lo": -0.8055555555555592,
   "ci_hi": 9.555555555555554,
   "perm_p": 0.29985,
   "J": 10,
   "estimate_minutes_weighted": 4.571330589849107,
   "holm_p": NaN
  },
  {
   "contrast": "A1-A0",
   "kind": "secondary",
   "outcome": "S",
   "estimate": 0.8666666666666666,
   "ci_lo": 0.6666666666666666,
   "ci_hi": 1.0,
   "perm_p": 0.0041,
   "J": 10,
   "estimate_minutes_weighted": 0.8847736625514403,
   "holm_p": 0.012300000000000002
  },
  {
   "contrast": "A1-A0",
   "kind": "secondary",
   "outcome": "D",
   "estimate": 0.9666666666666666,
   "ci_lo": 0.8999999999999998,
   "ci_hi": 1.0,
   "perm_p": 0.00225,
   "J": 10,
   "estimate_minutes_weighted": 0.9588477366255144,
   "holm_p": NaN
  },
  {
   "contrast": "A1-A0",
   "kind": "secondary",
   "outcome": "E",
   "estimate": -0.16666666666666669,
   "ci_lo": -0.4666666666666667,
   "ci_hi": 0.06666666666666667,
   "perm_p": 0.49935,
   "J": 10,
   "estimate_minutes_weighted": -0.1440329218106996,
   "holm_p": NaN
  },
  {
   "contrast": "A1-A0",
   "kind": "secondary",
   "outcome": "quality",
   "estimate": 54.95833333333333,
   "ci_lo": 40.44375,
   "ci_hi": 68.23611111111111,
   "perm_p": 0.0019,
   "J": 10,
   "estimate_minutes_weighted": 57.65946502057613,
   "holm_p": NaN
  },
  {
   "contrast": "A4-A3",
   "kind": "secondary",
   "outcome": "S",
   "estimate": -0.06666666666666668,
   "ci_lo": -0.16666666666666669,
   "ci_hi": 0.0,
   "perm_p": 0.499,
   "J": 10,
   "estimate_minutes_weighted": -0.08230452674897121,
   "holm_p": 0.998
  },
  {
   "contrast": "A4-A3",
   "kind": "secondary",
   "outcome": "D",
   "estimate": -0.03333333333333334,
   "ci_lo": -0.1,
   "ci_hi": 0.0,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": -0.041152263374485604,
   "holm_p": NaN
  },
  {
   "contrast": "A4-A3",
   "kind": "secondary",
   "outcome": "E",
   "estimate": 0.0,
   "ci_lo": 0.0,
   "ci_hi": 0.0,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": 0.0,
   "holm_p": NaN
  },
  {
   "contrast": "A4-A3",
   "kind": "secondary",
   "outcome": "quality",
   "estimate": -0.9027777777777757,
   "ci_lo": -2.7086805555555578,
   "ci_hi": 0.9725694444444483,
   "perm_p": 0.39515,
   "J": 10,
   "estimate_minutes_weighted": -1.392318244170095,
   "holm_p": NaN
  },
  {
   "contrast": "A2-A1",
   "kind": "secondary",
   "outcome": "S",
   "estimate": 0.03333333333333334,
   "ci_lo": -0.06666666666666668,
   "ci_hi": 0.13333333333333336,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": 0.024691358024691353,
   "holm_p": 1.0
  },
  {
   "contrast": "A2-A1",
   "kind": "secondary",
   "outcome": "D",
   "estimate": 0.0,
   "ci_lo": -0.1,
   "ci_hi": 0.1,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": 0.0,
   "holm_p": NaN
  },
  {
   "contrast": "A2-A1",
   "kind": "secondary",
   "outcome": "E",
   "estimate": -0.03333333333333333,
   "ci_lo": -0.1,
   "ci_hi": 0.0,
   "perm_p": 1.0,
   "J": 10,
   "estimate_minutes_weighted": -0.0411522633744856,
   "holm_p": NaN
  },
  {
   "contrast": "A2-A1",
   "kind": "secondary",
   "outcome": "quality",
   "estimate": 2.625000000000001,
   "ci_lo": -1.75,
   "ci_hi": 8.792361111111102,
   "perm_p": 0.5335,
   "J": 10,
   "estimate_minutes_weighted": 2.9646776406035653,
   "holm_p": NaN
  }
 ],
 "mixed_logit_S": {
  "model": "cluster-robust logit (arm dummies, no intercept), clustered by scenario",
  "params": {
   "A0": {
    "logit": -23.56606852345012,
    "se_cluster": 0.33789975617634327,
    "p": 5.82621463897232e-11
   },
   "A1": {
    "logit": 1.8718021769015918,
    "se_cluster": 0.8933372364778842,
    "p": 0.8666666666666667
   },
   "A2": {
    "logit": 2.1972245773362182,
    "se_cluster": 0.8013385623960502,
    "p": 0.8999999999999999
   },
   "A3": {
    "logit": 2.1972245773362196,
    "se_cluster": 1.1263325205221877,
    "p": 0.8999999999999999
   },
   "A4": {
    "logit": 1.609437912434101,
    "se_cluster": 0.7476676377587332,
    "p": 0.8333333333333334
   }
  }
 },
 "survival": {
  "A0": {
   "median_s": 153.3,
   "n": 30,
   "censored": 0,
   "p_done_600": 1.0,
   "p_done_1200": 1.0
  },
  "A1": {
   "median_s": 216.8,
   "n": 30,
   "censored": 0,
   "p_done_600": 1.0,
   "p_done_1200": 1.0
  },
  "A2": {
   "median_s": 213.8,
   "n": 30,
   "censored": 0,
   "p_done_600": 1.0,
   "p_done_1200": 1.0
  },
  "A3": {
   "median_s": 217.8,
   "n": 30,
   "censored": 0,
   "p_done_600": 1.0,
   "p_done_1200": 1.0
  },
  "A4": {
   "median_s": 228.8,
   "n": 30,
   "censored": 0,
   "p_done_600": 1.0,
   "p_done_1200": 1.0
  }
 },
 "recovery": {
  "n_A4": 30,
  "n_failed_first_selfcheck": 0,
  "n_recovery_attempted": 0,
  "n_recovered": 0,
  "ARI": null,
  "acceptance_given_recovery": null,
  "mean_recovery_cost": 0.0
 },
 "agreement": {
  "krippendorff_alpha_interval": 0.9730624740153422,
  "pairwise_pearson": {
   "0": {
    "0": 1.0,
    "1": 0.964,
    "2": 0.966
   },
   "1": {
    "0": 0.964,
    "1": 1.0,
    "2": 0.99
   },
   "2": {
    "0": 0.966,
    "1": 0.99,
    "2": 1.0
   }
  },
  "n_runs": 150
 },
 "models": [
  "claude-opus-5-5"
 ],
 "claude_code_versions": [
  "2.1.314"
 ]
}