1{2 "tag": "pilot",3 "q": 70,4 "n_runs": 150,5 "n_tasks": 10,6 "total_cost_usd": 124.42590039999999,7 "by_arm": [8 {9 "arm": "A0",10 "n_runs": 30,11 "n_tasks": 10,12 "acceptance_taskw": 0.0,13 "acceptance_minw": 0.0,14 "det_completion": 0.0,15 "critical_error_rate": 0.2,16 "quality_mean": 27.38888888888889,17 "quality_sd": 17.40324007207812,18 "timeout_rate": 0.0,19 "cost_mean": 0.7095971266666666,20 "cost_sd": 0.41578295381532226,21 "cost_per_accepted": NaN,22 "wall_median_s": 161.95,23 "tool_calls_mean": 29.433333333333334,24 "tool_errors_mean": 11.866666666666667,25 "app_transitions_mean": 0.0,26 "abstention_rate": 0.927 },28 {29 "arm": "A1",30 "n_runs": 30,31 "n_tasks": 10,32 "acceptance_taskw": 0.8666666666666666,33 "acceptance_minw": 0.8847736625514403,34 "det_completion": 0.9666666666666666,35 "critical_error_rate": 0.03333333333333333,36 "quality_mean": 82.34722222222221,37 "quality_sd": 18.50024701260657,38 "timeout_rate": 0.0,39 "cost_mean": 0.82316396,40 "cost_sd": 0.22962883806934387,41 "cost_per_accepted": 0.9498045692307693,42 "wall_median_s": 217.65,43 "tool_calls_mean": 12.866666666666667,44 "tool_errors_mean": 0.9,45 "app_transitions_mean": 3.2666666666666666,46 "abstention_rate": 0.247 },48 {49 "arm": "A2",50 "n_runs": 30,51 "n_tasks": 10,52 "acceptance_taskw": 0.9,53 "acceptance_minw": 0.9094650205761317,54 "det_completion": 0.9666666666666666,55 "critical_error_rate": 0.0,56 "quality_mean": 84.97222222222221,57 "quality_sd": 9.97718502109102,58 "timeout_rate": 0.0,59 "cost_mean": 0.78344624,60 "cost_sd": 0.18990073897126578,61 "cost_per_accepted": 0.8704958222222222,62 "wall_median_s": 213.85000000000002,63 "tool_calls_mean": 12.366666666666667,64 "tool_errors_mean": 0.6666666666666666,65 "app_transitions_mean": 4.433333333333334,66 "abstention_rate": 0.0666666666666666767 },68 {69 "arm": "A3",70 "n_runs": 30,71 "n_tasks": 10,72 "acceptance_taskw": 0.9,73 "acceptance_minw": 0.9259259259259259,74 "det_completion": 1.0,75 "critical_error_rate": 0.0,76 "quality_mean": 85.69444444444444,77 "quality_sd": 11.378487914859686,78 "timeout_rate": 0.0,79 "cost_mean": 0.9055274533333333,80 "cost_sd": 0.258626810400623,81 "cost_per_accepted": 1.0061416148148148,82 "wall_median_s": 218.8,83 "tool_calls_mean": 17.2,84 "tool_errors_mean": 0.8666666666666667,85 "app_transitions_mean": 9.3,86 "abstention_rate": 0.1333333333333333387 },88 {89 "arm": "A4",90 "n_runs": 30,91 "n_tasks": 10,92 "acceptance_taskw": 0.8333333333333333,93 "acceptance_minw": 0.8436213991769548,94 "det_completion": 0.9666666666666666,95 "critical_error_rate": 0.0,96 "quality_mean": 84.79166666666667,97 "quality_sd": 10.586687177880476,98 "timeout_rate": 0.0,99 "cost_mean": 0.9257952333333334,100 "cost_sd": 0.22072943537881048,101 "cost_per_accepted": 1.11095428,102 "wall_median_s": 230.15,103 "tool_calls_mean": 18.8,104 "tool_errors_mean": 2.0,105 "app_transitions_mean": 9.266666666666667,106 "abstention_rate": 0.1107 }108 ],109 "contrasts": [110 {111 "contrast": "A3-A1",112 "kind": "primary",113 "outcome": "S",114 "estimate": 0.03333333333333334,115 "ci_lo": 0.0,116 "ci_hi": 0.1,117 "perm_p": 1.0,118 "J": 10,119 "estimate_minutes_weighted": 0.041152263374485604,120 "holm_p": NaN121 },122 {123 "contrast": "A3-A1",124 "kind": "primary",125 "outcome": "D",126 "estimate": 0.03333333333333334,127 "ci_lo": 0.0,128 "ci_hi": 0.1,129 "perm_p": 1.0,130 "J": 10,131 "estimate_minutes_weighted": 0.041152263374485604,132 "holm_p": NaN133 },134 {135 "contrast": "A3-A1",136 "kind": "primary",137 "outcome": "E",138 "estimate": -0.03333333333333333,139 "ci_lo": -0.1,140 "ci_hi": 0.0,141 "perm_p": 1.0,142 "J": 10,143 "estimate_minutes_weighted": -0.0411522633744856,144 "holm_p": NaN145 },146 {147 "contrast": "A3-A1",148 "kind": "primary",149 "outcome": "quality",150 "estimate": 3.3472222222222205,151 "ci_lo": -0.8055555555555592,152 "ci_hi": 9.555555555555554,153 "perm_p": 0.29985,154 "J": 10,155 "estimate_minutes_weighted": 4.571330589849107,156 "holm_p": NaN157 },158 {159 "contrast": "A1-A0",160 "kind": "secondary",161 "outcome": "S",162 "estimate": 0.8666666666666666,163 "ci_lo": 0.6666666666666666,164 "ci_hi": 1.0,165 "perm_p": 0.0041,166 "J": 10,167 "estimate_minutes_weighted": 0.8847736625514403,168 "holm_p": 0.012300000000000002169 },170 {171 "contrast": "A1-A0",172 "kind": "secondary",173 "outcome": "D",174 "estimate": 0.9666666666666666,175 "ci_lo": 0.8999999999999998,176 "ci_hi": 1.0,177 "perm_p": 0.00225,178 "J": 10,179 "estimate_minutes_weighted": 0.9588477366255144,180 "holm_p": NaN181 },182 {183 "contrast": "A1-A0",184 "kind": "secondary",185 "outcome": "E",186 "estimate": -0.16666666666666669,187 "ci_lo": -0.4666666666666667,188 "ci_hi": 0.06666666666666667,189 "perm_p": 0.49935,190 "J": 10,191 "estimate_minutes_weighted": -0.1440329218106996,192 "holm_p": NaN193 },194 {195 "contrast": "A1-A0",196 "kind": "secondary",197 "outcome": "quality",198 "estimate": 54.95833333333333,199 "ci_lo": 40.44375,200 "ci_hi": 68.23611111111111,201 "perm_p": 0.0019,202 "J": 10,203 "estimate_minutes_weighted": 57.65946502057613,204 "holm_p": NaN205 },206 {207 "contrast": "A4-A3",208 "kind": "secondary",209 "outcome": "S",210 "estimate": -0.06666666666666668,211 "ci_lo": -0.16666666666666669,212 "ci_hi": 0.0,213 "perm_p": 0.499,214 "J": 10,215 "estimate_minutes_weighted": -0.08230452674897121,216 "holm_p": 0.998217 },218 {219 "contrast": "A4-A3",220 "kind": "secondary",221 "outcome": "D",222 "estimate": -0.03333333333333334,223 "ci_lo": -0.1,224 "ci_hi": 0.0,225 "perm_p": 1.0,226 "J": 10,227 "estimate_minutes_weighted": -0.041152263374485604,228 "holm_p": NaN229 },230 {231 "contrast": "A4-A3",232 "kind": "secondary",233 "outcome": "E",234 "estimate": 0.0,235 "ci_lo": 0.0,236 "ci_hi": 0.0,237 "perm_p": 1.0,238 "J": 10,239 "estimate_minutes_weighted": 0.0,240 "holm_p": NaN241 },242 {243 "contrast": "A4-A3",244 "kind": "secondary",245 "outcome": "quality",246 "estimate": -0.9027777777777757,247 "ci_lo": -2.7086805555555578,248 "ci_hi": 0.9725694444444483,249 "perm_p": 0.39515,250 "J": 10,251 "estimate_minutes_weighted": -1.392318244170095,252 "holm_p": NaN253 },254 {255 "contrast": "A2-A1",256 "kind": "secondary",257 "outcome": "S",258 "estimate": 0.03333333333333334,259 "ci_lo": -0.06666666666666668,260 "ci_hi": 0.13333333333333336,261 "perm_p": 1.0,262 "J": 10,263 "estimate_minutes_weighted": 0.024691358024691353,264 "holm_p": 1.0265 },266 {267 "contrast": "A2-A1",268 "kind": "secondary",269 "outcome": "D",270 "estimate": 0.0,271 "ci_lo": -0.1,272 "ci_hi": 0.1,273 "perm_p": 1.0,274 "J": 10,275 "estimate_minutes_weighted": 0.0,276 "holm_p": NaN277 },278 {279 "contrast": "A2-A1",280 "kind": "secondary",281 "outcome": "E",282 "estimate": -0.03333333333333333,283 "ci_lo": -0.1,284 "ci_hi": 0.0,285 "perm_p": 1.0,286 "J": 10,287 "estimate_minutes_weighted": -0.0411522633744856,288 "holm_p": NaN289 },290 {291 "contrast": "A2-A1",292 "kind": "secondary",293 "outcome": "quality",294 "estimate": 2.625000000000001,295 "ci_lo": -1.75,296 "ci_hi": 8.792361111111102,297 "perm_p": 0.5335,298 "J": 10,299 "estimate_minutes_weighted": 2.9646776406035653,300 "holm_p": NaN301 }302 ],303 "mixed_logit_S": {304 "model": "cluster-robust logit (arm dummies, no intercept), clustered by scenario",305 "params": {306 "A0": {307 "logit": -23.56606852345012,308 "se_cluster": 0.33789975617634327,309 "p": 5.82621463897232e-11310 },311 "A1": {312 "logit": 1.8718021769015918,313 "se_cluster": 0.8933372364778842,314 "p": 0.8666666666666667315 },316 "A2": {317 "logit": 2.1972245773362182,318 "se_cluster": 0.8013385623960502,319 "p": 0.8999999999999999320 },321 "A3": {322 "logit": 2.1972245773362196,323 "se_cluster": 1.1263325205221877,324 "p": 0.8999999999999999325 },326 "A4": {327 "logit": 1.609437912434101,328 "se_cluster": 0.7476676377587332,329 "p": 0.8333333333333334330 }331 }332 },333 "survival": {334 "A0": {335 "median_s": 153.3,336 "n": 30,337 "censored": 0,338 "p_done_600": 1.0,339 "p_done_1200": 1.0340 },341 "A1": {342 "median_s": 216.8,343 "n": 30,344 "censored": 0,345 "p_done_600": 1.0,346 "p_done_1200": 1.0347 },348 "A2": {349 "median_s": 213.8,350 "n": 30,351 "censored": 0,352 "p_done_600": 1.0,353 "p_done_1200": 1.0354 },355 "A3": {356 "median_s": 217.8,357 "n": 30,358 "censored": 0,359 "p_done_600": 1.0,360 "p_done_1200": 1.0361 },362 "A4": {363 "median_s": 228.8,364 "n": 30,365 "censored": 0,366 "p_done_600": 1.0,367 "p_done_1200": 1.0368 }369 },370 "recovery": {371 "n_A4": 30,372 "n_failed_first_selfcheck": 0,373 "n_recovery_attempted": 0,374 "n_recovered": 0,375 "ARI": null,376 "acceptance_given_recovery": null,377 "mean_recovery_cost": 0.0378 },379 "agreement": {380 "krippendorff_alpha_interval": 0.9730624740153422,381 "pairwise_pearson": {382 "0": {383 "0": 1.0,384 "1": 0.964,385 "2": 0.966386 },387 "1": {388 "0": 0.964,389 "1": 1.0,390 "2": 0.99391 },392 "2": {393 "0": 0.966,394 "1": 0.99,395 "2": 1.0396 }397 },398 "n_runs": 150399 },400 "models": [401 "claude-opus-5-5"402 ],403 "claude_code_versions": [404 "2.1.314"405 ]406}