{ "experiment": "expA_probe_reliability", "run": 2, "scope": "v2 structure-borne token-balanced properties, mean+last pooling, twin null", "commit": "1dcd820126ca96fe99c1b473947f3c7e54038500", "config": { "model": "mlx-community/Qwen3-0.6B-4bit", "seeds": [ 0, 1, 2, 3, 4 ], "top_k": 5, "fdr_q": 0.05, "poolings": [ "mean", "last" ], "promptsets": { "version": "v2", "seed": 54321, "n_per_class": 120, "author": "Simon-Pierre Boucher", "contact": "contact@spboucher.ai", "website": "https://modelmap.io", "design": "structure-borne properties, token-balanced classes (response to expA run #1 validity-gate failure)", "files": { "agreement_A.jsonl": { "sha256": "622c5e0966d2b8e8abc9fb7b964a8e5de8df5f8d41c37a0ed4ed8c8894f1f0ea", "n": 240, "class_token_overlap": 1.0 }, "agreement_B.jsonl": { "sha256": "243b85e2c207be6cff860a4660400c9c90859d5014636177b4475959b872542f", "n": 240, "class_token_overlap": 1.0 }, "arith_valid_A.jsonl": { "sha256": "a4bb4c645b3f1797e562f62765d04e7603d0e0ac0286e013cfa90f774de27159", "n": 240, "class_token_overlap": 0.6735 }, "arith_valid_B.jsonl": { "sha256": "adc68ef876a823ec43c4cf3c64a408f46b2613e2f3e7386fa1d20e3f80e9cf93", "n": 240, "class_token_overlap": 0.9674 }, "word_order_A.jsonl": { "sha256": "9052b924930aa5cde7ce434439c418cbd3e5a0731d421cd370bd46d60abcdb66", "n": 240, "class_token_overlap": 0.5294 }, "word_order_B.jsonl": { "sha256": "3012db3b5053ba5d113d0fe6529c4b88b361b9e4572044b9e5e64a3480929a1f", "n": 240, "class_token_overlap": 0.5072 } } } }, "manifest": { "author": "Simon-Pierre Boucher", "contact": "contact@spboucher.ai", "website": "https://modelmap.io", "chip": { "brand": "Apple M5 Max", "cores_total": 18, "cores_performance": 6, "cores_efficiency": 12 }, "memory": { "unified_gb": 48.0, "pagesize": 16384 }, "os": { "system": "Darwin", "version": "27.0", "arch": "arm64" }, "software": { "python": "3.14.4", "numpy": "2.5.2", "mlx": "0.32.0", "torch": "2.13.0", "safetensors": "0.8.0" } }, "summary": { "word_order_mean": { "max_task_acc_A": 0.9958333333333332, "max_task_acc_B": 1.0, "twin_max_selectivity": 0.5916666666666667, "twin_max_acc": 0.9583333333333333, "mean_seed_sd": 0.012871446832820568, "mean_dataset_shift": 0.006696428571428583, "layers_shift_gt_seed_sd": 3, "layers_real_minus_twin_gt_0.10": 2, "max_real_minus_twin_sel": 0.1291666666666667, "replication_topk_A": 0.2785714285714286 }, "word_order_last": { "max_task_acc_A": 0.9916666666666666, "max_task_acc_B": 1.0, "twin_max_selectivity": 0.4708333333333333, "twin_max_acc": 0.9625, "mean_seed_sd": 0.014663685755627983, "mean_dataset_shift": 0.01056547619047614, "layers_shift_gt_seed_sd": 7, "layers_real_minus_twin_gt_0.10": 0, "max_real_minus_twin_sel": 0.07500000000000007, "replication_topk_A": 0.4503968253968254 }, "agreement_mean": { "max_task_acc_A": 0.9666666666666666, "max_task_acc_B": 0.9916666666666668, "twin_max_selectivity": 0.22916666666666666, "twin_max_acc": 0.7291666666666667, "mean_seed_sd": 0.039399882875102, "mean_dataset_shift": 0.025446428571428568, "layers_shift_gt_seed_sd": 4, "layers_real_minus_twin_gt_0.10": 25, "max_real_minus_twin_sel": 0.37916666666666665, "replication_topk_A": 0.33134920634920634 }, "agreement_last": { "max_task_acc_A": 0.9458333333333332, "max_task_acc_B": 0.9291666666666668, "twin_max_selectivity": 0.15416666666666665, "twin_max_acc": 0.6833333333333333, "mean_seed_sd": 0.04562824649739645, "mean_dataset_shift": 0.02247023809523809, "layers_shift_gt_seed_sd": 3, "layers_real_minus_twin_gt_0.10": 23, "max_real_minus_twin_sel": 0.31249999999999994, "replication_topk_A": 0.3333333333333333 }, "arith_valid_mean": { "max_task_acc_A": 0.8583333333333332, "max_task_acc_B": 0.8041666666666668, "twin_max_selectivity": 0.07499999999999997, "twin_max_acc": 0.5583333333333333, "mean_seed_sd": 0.0637440688602162, "mean_dataset_shift": 0.045982142857142826, "layers_shift_gt_seed_sd": 5, "layers_real_minus_twin_gt_0.10": 5, "max_real_minus_twin_sel": 0.32916666666666666, "replication_topk_A": 1.0 }, "arith_valid_last": { "max_task_acc_A": 0.9041666666666666, "max_task_acc_B": 0.7708333333333334, "twin_max_selectivity": 0.12083333333333335, "twin_max_acc": 0.5791666666666667, "mean_seed_sd": 0.06450176104559584, "mean_dataset_shift": 0.05044642857142857, "layers_shift_gt_seed_sd": 8, "layers_real_minus_twin_gt_0.10": 6, "max_real_minus_twin_sel": 0.35833333333333334, "replication_topk_A": 1.0 } }, "results": { "real": { "word_order_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.9708333333333334, "task_acc_seed_sd": 0.01141088661469092, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4041666666666666, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4124999999999999, "selectivity_ci": [ 0.3208333333333333, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.9666666666666668, "task_acc_seed_sd": 0.023753654689565362, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3125000000000001, 0.6083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.3791666666666667, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.3833333333333334, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.4041666666666666, 0.5083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.4416666666666666, 0.5666666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.42499999999999993, 0.4875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.4416666666666667, 0.4833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4375, 0.4833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.4208333333333333, 0.5083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.4375, 0.5541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4208333333333333, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4624999999999999, "selectivity_ci": [ 0.4041666666666666, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.4125, 0.4583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4416666666666666, "selectivity_ci": [ 0.3916666666666666, 0.4916666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.38750000000000007, 0.4375000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.3791666666666666, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.3875, 0.4708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4416666666666666, "selectivity_ci": [ 0.3875, 0.4958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.47916666666666663, "selectivity_ci": [ 0.4208333333333333, 0.5375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9958333333333332, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.47916666666666663, "selectivity_ci": [ 0.4375, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4333333333333333, 0.5083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4208333333333333, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4458333333333334, "selectivity_ci": [ 0.3916666666666667, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4416666666666666, "selectivity_ci": [ 0.39583333333333337, 0.4833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4458333333333334, "selectivity_ci": [ 0.4, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.4041666666666666, 0.5083333333333333 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.2785714285714286, "ci": [ 0.11071428571428572, 0.4750892857142844 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 0, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 0, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 0, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 0, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 1, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 1, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.7291666666666666, "selectivity": 0.25 }, { "layer": 1, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 1, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 1, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 2, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 2, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.25, "selectivity": 0.7291666666666666 }, { "layer": 2, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 2, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6666666666666666, "selectivity": 0.27083333333333337 }, { "layer": 3, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 3, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 3, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 4, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 4, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 5, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 5, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 6, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 6, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 7, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 8, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 8, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 9, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 9, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 10, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 10, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 10, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 11, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 11, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 11, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 12, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 12, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 13, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 13, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 13, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 14, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 14, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 14, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 15, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 16, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 20, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 21, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 22, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 23, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 23, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 24, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 24, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 25, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 25, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 26, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 26, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 27, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 27, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 27, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 } ] }, "word_order_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.9666666666666668, "task_acc_seed_sd": 0.023753654689565362, "selectivity_mean": 0.3208333333333333, "selectivity_ci": [ 0.2, 0.4416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.9791666666666667, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.425, "selectivity_ci": [ 0.22916666666666669, 0.6291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.3291666666666667, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.3958333333333333, 0.5083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.3958333333333333, 0.5791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5083333333333332, "selectivity_ci": [ 0.47916666666666663, 0.5375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4041666666666666, "selectivity_ci": [ 0.35416666666666663, 0.4875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4, "selectivity_ci": [ 0.3625, 0.4333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.4083333333333332, "selectivity_ci": [ 0.3375, 0.4666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.975, "task_acc_seed_sd": 0.022821773229381916, "selectivity_mean": 0.4041666666666666, "selectivity_ci": [ 0.3416666666666666, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.41666666666666663, "selectivity_ci": [ 0.3791666666666666, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.4, 0.4708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.975, "task_acc_seed_sd": 0.017430417219459884, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.3833333333333334, 0.4958333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9708333333333334, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.39583333333333337, "selectivity_ci": [ 0.35416666666666663, 0.4291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9708333333333334, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.41666666666666663, "selectivity_ci": [ 0.3625000000000001, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9708333333333334, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.38333333333333336, "selectivity_ci": [ 0.3333333333333333, 0.4333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9708333333333334, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.3375000000000001, 0.45833333333333337 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9833333333333334, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.4083333333333333, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9833333333333334, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4499999999999999, "selectivity_ci": [ 0.3833333333333334, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.39999999999999997, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.45, 0.5333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.475, "selectivity_ci": [ 0.4083333333333332, 0.5458333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.4541666666666666, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.475, "selectivity_ci": [ 0.4041666666666666, 0.5375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.4416666666666666, 0.5625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.3791666666666667, 0.5208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4416666666666666, 0.4916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.4125, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.4503968253968254, "ci": [ 0.3412698412698413, 0.5476190476190477 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.7916666666666666, "selectivity": 0.16666666666666674 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 0, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 0, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 0, "seed": 4, "task_acc": 0.9375, "control_acc": 0.7708333333333334, "selectivity": 0.16666666666666663 }, { "layer": 1, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.6875, "selectivity": 0.27083333333333337 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 1, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3125, "selectivity": 0.6458333333333334 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.7916666666666666, "selectivity": 0.1875 }, { "layer": 2, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 2, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 2, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 3, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 3, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 3, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 4, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 4, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5833333333333333 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 4, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 5, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 5, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 6, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 7, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 8, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.6875, "selectivity": 0.27083333333333337 }, { "layer": 8, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 8, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 9, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 9, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6875, "selectivity": 0.29166666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 10, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 10, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 10, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 11, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 11, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 11, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 11, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 12, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 12, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 12, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 12, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.3125 }, { "layer": 13, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 13, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 13, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 14, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 14, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 14, "seed": 2, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 14, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 15, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 15, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 15, "seed": 2, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 15, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.33333333333333326 }, { "layer": 16, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 16, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 2, "task_acc": 0.9375, "control_acc": 0.6666666666666666, "selectivity": 0.27083333333333337 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 16, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 17, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 17, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 18, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 19, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 20, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 20, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 20, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 21, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 21, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 21, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 22, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 22, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 23, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 23, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.33333333333333326 }, { "layer": 24, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 24, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 24, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 25, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 25, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 25, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 26, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 26, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 26, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 27, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 27, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 27, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 } ] }, "word_order_B_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.9625, "task_acc_seed_sd": 0.017430417219459884, "selectivity_mean": 0.45, "selectivity_ci": [ 0.4208333333333334, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.9625, "task_acc_seed_sd": 0.017430417219459884, "selectivity_mean": 0.39166666666666666, "selectivity_ci": [ 0.35, 0.425 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4624999999999999, "selectivity_ci": [ 0.4291666666666666, 0.4958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9833333333333334, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4291666666666667, 0.5166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9833333333333334, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4416666666666666, "selectivity_ci": [ 0.4, 0.4833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4, 0.5166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4374999999999999, 0.49999999999999983 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9958333333333333, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.5125, "selectivity_ci": [ 0.475, 0.55 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4333333333333333, 0.5208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.5041666666666665, "selectivity_ci": [ 0.4833333333333333, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.4541666666666666, 0.5625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9833333333333332, "task_acc_seed_sd": 0.027163343355011037, "selectivity_mean": 0.475, "selectivity_ci": [ 0.4041666666666667, 0.5458333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.4625, 0.5333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.475, "selectivity_ci": [ 0.45, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.4583333333333333, 0.5166666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4833333333333333, "selectivity_ci": [ 0.4416666666666666, 0.5333333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.4458333333333332, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.47916666666666663, "selectivity_ci": [ 0.4166666666666667, 0.5417708333333319 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4791666666666667, "selectivity_ci": [ 0.4333333333333333, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.4583333333333333, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4708333333333334, "selectivity_ci": [ 0.4458333333333334, 0.5083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5166666666666666, "selectivity_ci": [ 0.5, 0.55 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9958333333333333, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4916666666666667, "selectivity_ci": [ 0.4625, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9958333333333333, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.4624999999999999, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9958333333333333, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4916666666666667, "selectivity_ci": [ 0.4625, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5125, "selectivity_ci": [ 0.475, 0.5583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.425, 0.5541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9958333333333333, "task_acc_seed_sd": 0.009316949906249141, "selectivity_mean": 0.4833333333333332, "selectivity_ci": [ 0.4375, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.19444444444444445, "ci": [ 0.06666666666666668, 0.3861111111111111 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 0, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 0, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 0, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 0, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 1, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.3125 }, { "layer": 1, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 1, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 1, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 1, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 2, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 2, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 2, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 3, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 3, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 4, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 4, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 4, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 5, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 5, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 5, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 6, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 7, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 8, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 9, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 9, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 10, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 10, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 10, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 11, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 11, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 12, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 12, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 13, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 13, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 14, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 14, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 15, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 15, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 16, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 16, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 17, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 17, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 18, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 18, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 19, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 22, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 23, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 24, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 27, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 } ] }, "word_order_B_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.9291666666666666, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.3125, 0.5875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.9666666666666666, "task_acc_seed_sd": 0.02795084971874737, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.3333333333333333, 0.5666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.975, "task_acc_seed_sd": 0.022821773229381916, "selectivity_mean": 0.375, "selectivity_ci": [ 0.325, 0.425 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9875, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4375, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9791666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.35416666666666663, 0.5166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5166666666666667, "selectivity_ci": [ 0.4458333333333333, 0.5875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4291666666666667, 0.5124999999999998 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4499999999999999, "selectivity_ci": [ 0.4208333333333333, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5, "selectivity_ci": [ 0.4416666666666667, 0.5708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5375000000000001, "selectivity_ci": [ 0.4708333333333334, 0.6041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5291666666666666, "selectivity_ci": [ 0.4583333333333333, 0.6 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5166666666666666, "selectivity_ci": [ 0.47916666666666663, 0.5541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.3833333333333334, 0.5374999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5083333333333334, "selectivity_ci": [ 0.4083333333333334, 0.5791666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5166666666666666, "selectivity_ci": [ 0.4833333333333333, 0.5708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4083333333333333, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.425, 0.5499999999999998 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3916666666666666, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.3708333333333333, 0.4749999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.3958333333333333, 0.5333333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.3874999999999999, 0.4958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.3916666666666667, 0.5458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4666666666666667, "selectivity_ci": [ 0.4041666666666667, 0.5416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.4, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4083333333333332, 0.5541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.45833333333333337, "selectivity_ci": [ 0.41666666666666663, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.475, "selectivity_ci": [ 0.45, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9916666666666666, "task_acc_seed_sd": 0.01141088661469098, "selectivity_mean": 0.5083333333333334, "selectivity_ci": [ 0.475, 0.5416666666666667 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.2996031746031746, "ci": [ 0.17063492063492064, 0.4424603174603174 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.6875, "selectivity": 0.22916666666666663 }, { "layer": 0, "seed": 1, "task_acc": 0.9375, "control_acc": 0.3333333333333333, "selectivity": 0.6041666666666667 }, { "layer": 0, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3125, "selectivity": 0.6458333333333334 }, { "layer": 0, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 0, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 1, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6875, "selectivity": 0.29166666666666663 }, { "layer": 1, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3125, "selectivity": 0.6666666666666666 }, { "layer": 1, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 1, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 1, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 2, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 2, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 2, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.6875, "selectivity": 0.29166666666666663 }, { "layer": 2, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 3, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 4, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.3125 }, { "layer": 4, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 4, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.33333333333333326 }, { "layer": 4, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 6, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 7, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 7, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 8, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 8, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 9, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 10, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5833333333333333 }, { "layer": 10, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 11, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 11, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5833333333333333 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 12, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 12, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 13, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 13, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 14, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 14, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 15, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 15, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 16, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 16, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 17, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 18, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 19, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.375, "selectivity": 0.6041666666666666 }, { "layer": 19, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 20, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 20, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 21, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 21, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 22, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.375, "selectivity": 0.6041666666666666 }, { "layer": 22, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 23, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 23, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 24, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.625 }, { "layer": 24, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 25, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 25, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 26, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 26, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 27, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 27, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 } ] }, "agreement_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.5125, "task_acc_seed_sd": 0.056288567025442895, "selectivity_mean": -1.1102230246251566e-17, "selectivity_ci": [ -0.054166666666666675, 0.049999999999999954 ], "p_boot": 0.5248, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.6958333333333333, "task_acc_seed_sd": 0.05628856702544291, "selectivity_mean": 0.10416666666666667, "selectivity_ci": [ 0.054166666666666655, 0.17083333333333336 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.6458333333333333, "task_acc_seed_sd": 0.057054433073454786, "selectivity_mean": 0.13749999999999998, "selectivity_ci": [ 0.0833333333333333, 0.19999999999999996 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9125, "task_acc_seed_sd": 0.049738901609638835, "selectivity_mean": 0.3833333333333333, "selectivity_ci": [ 0.3458333333333333, 0.41666666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.8916666666666666, "task_acc_seed_sd": 0.04516559039308086, "selectivity_mean": 0.33749999999999997, "selectivity_ci": [ 0.3208333333333333, 0.3583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9666666666666666, "task_acc_seed_sd": 0.0315953143502148, "selectivity_mean": 0.39166666666666666, "selectivity_ci": [ 0.3625, 0.4208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9666666666666666, "task_acc_seed_sd": 0.027950849718747377, "selectivity_mean": 0.42499999999999993, "selectivity_ci": [ 0.37916666666666654, 0.4749999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9625, "task_acc_seed_sd": 0.02716334335501103, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.3666666666666667, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.3791666666666666, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9416666666666667, "task_acc_seed_sd": 0.03090082702956524, "selectivity_mean": 0.425, "selectivity_ci": [ 0.4083333333333332, 0.4458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9333333333333333, "task_acc_seed_sd": 0.0342326598440729, "selectivity_mean": 0.425, "selectivity_ci": [ 0.35, 0.4958333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9083333333333334, "task_acc_seed_sd": 0.0315953143502148, "selectivity_mean": 0.3916666666666667, "selectivity_ci": [ 0.3416666666666667, 0.4416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.05392574627310327, "selectivity_mean": 0.39166666666666666, "selectivity_ci": [ 0.3416666666666667, 0.4416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9041666666666668, "task_acc_seed_sd": 0.060020251212033075, "selectivity_mean": 0.38750000000000007, "selectivity_ci": [ 0.3458333333333333, 0.4375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.045165590393080816, "selectivity_mean": 0.37083333333333335, "selectivity_ci": [ 0.3166666666666667, 0.4333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9125, "task_acc_seed_sd": 0.022821773229381916, "selectivity_mean": 0.3708333333333333, "selectivity_ci": [ 0.32499999999999996, 0.4208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.03423265984407289, "selectivity_mean": 0.36249999999999993, "selectivity_ci": [ 0.29166666666666663, 0.4374999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9375, "task_acc_seed_sd": 0.032940392293420606, "selectivity_mean": 0.4083333333333333, "selectivity_ci": [ 0.3541666666666667, 0.4708333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.03159531435021481, "selectivity_mean": 0.3958333333333333, "selectivity_ci": [ 0.3416666666666666, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9291666666666668, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.3833333333333334, "selectivity_ci": [ 0.3375, 0.4291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.03486083443891978, "selectivity_mean": 0.3791666666666666, "selectivity_ci": [ 0.3416666666666666, 0.41666666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9333333333333333, "task_acc_seed_sd": 0.03726779962499648, "selectivity_mean": 0.4041666666666667, "selectivity_ci": [ 0.3291666666666667, 0.4875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9166666666666666, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.4041666666666666, "selectivity_ci": [ 0.35, 0.4583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9208333333333334, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.375, "selectivity_ci": [ 0.2958333333333333, 0.4416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9166666666666667, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.3833333333333334, "selectivity_ci": [ 0.31250000000000006, 0.4541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9083333333333334, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.3583333333333333, "selectivity_ci": [ 0.2791666666666667, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9166666666666666, "task_acc_seed_sd": 0.044194173824159244, "selectivity_mean": 0.39583333333333337, "selectivity_ci": [ 0.33333333333333337, 0.4583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.037845629426218635, "selectivity_mean": 0.3875, "selectivity_ci": [ 0.3333333333333333, 0.4416666666666666 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.33134920634920634, "ci": [ 0.24007936507936511, 0.42857142857142855 ] }, "n_fdr_significant": 27, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 0, "seed": 1, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 0, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 0, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 0, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 1, "seed": 0, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 1, "seed": 1, "task_acc": 0.7708333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.22916666666666674 }, { "layer": 1, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.625, "selectivity": 0.04166666666666663 }, { "layer": 1, "seed": 3, "task_acc": 0.6875, "control_acc": 0.625, "selectivity": 0.0625 }, { "layer": 1, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.125 }, { "layer": 2, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.24999999999999994 }, { "layer": 2, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 2, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 2, "seed": 3, "task_acc": 0.7291666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.08333333333333326 }, { "layer": 2, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 3, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.37499999999999994 }, { "layer": 3, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 3, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 3, "seed": 3, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 3, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 4, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 4, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 4, "seed": 2, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 4, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 4, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 5, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 5, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 5, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 5, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 6, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 6, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 6, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 6, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 7, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 7, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 7, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 7, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 8, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 8, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 8, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 8, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 9, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 9, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 9, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 9, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 9, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 10, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 10, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 10, "seed": 2, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 10, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 10, "seed": 4, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 11, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 11, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 11, "seed": 2, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 11, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 11, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.4375, "selectivity": 0.45833333333333337 }, { "layer": 12, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 12, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 12, "seed": 2, "task_acc": 0.8125, "control_acc": 0.5, "selectivity": 0.3125 }, { "layer": 12, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 12, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 13, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 13, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 13, "seed": 2, "task_acc": 0.8125, "control_acc": 0.5, "selectivity": 0.3125 }, { "layer": 13, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 13, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 14, "seed": 0, "task_acc": 0.875, "control_acc": 0.4583333333333333, "selectivity": 0.4166666666666667 }, { "layer": 14, "seed": 1, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 14, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.3125 }, { "layer": 14, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 14, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 15, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 15, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 15, "seed": 2, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 15, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 15, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 16, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 16, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.625, "selectivity": 0.29166666666666663 }, { "layer": 16, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.5625, "selectivity": 0.29166666666666663 }, { "layer": 16, "seed": 3, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 16, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 17, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 17, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.5625, "selectivity": 0.35416666666666663 }, { "layer": 17, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5625, "selectivity": 0.33333333333333337 }, { "layer": 17, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 17, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 18, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 18, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 18, "seed": 2, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 18, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 18, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 19, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5625, "selectivity": 0.33333333333333337 }, { "layer": 19, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.3125 }, { "layer": 19, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 20, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 20, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 20, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 20, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.625, "selectivity": 0.35416666666666663 }, { "layer": 20, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 21, "seed": 0, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 21, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 21, "seed": 2, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 21, "seed": 3, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 21, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 22, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 22, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 22, "seed": 2, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 22, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 22, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 23, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4791666666666667 }, { "layer": 23, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 23, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 23, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.6875, "selectivity": 0.22916666666666663 }, { "layer": 23, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 24, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 24, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 24, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.29166666666666674 }, { "layer": 24, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.29166666666666674 }, { "layer": 24, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 25, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.375, "selectivity": 0.5416666666666666 }, { "layer": 25, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 25, "seed": 2, "task_acc": 0.875, "control_acc": 0.6041666666666666, "selectivity": 0.27083333333333337 }, { "layer": 25, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.25 }, { "layer": 25, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 26, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 26, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 26, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.3125 }, { "layer": 26, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 26, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 27, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 27, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 27, "seed": 2, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 27, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 27, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 } ] }, "agreement_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.4625, "task_acc_seed_sd": 0.11636866703140783, "selectivity_mean": -0.0625, "selectivity_ci": [ -0.17083333333333334, 0.029166666666666684 ], "p_boot": 0.8726, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.051874581658286394, "selectivity_mean": 0.02083333333333336, "selectivity_ci": [ 0.004166666666666674, 0.041666666666666706 ], "p_boot": 0.0095, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.6083333333333333, "task_acc_seed_sd": 0.07569125885243731, "selectivity_mean": 0.03749999999999999, "selectivity_ci": [ -0.04166666666666672, 0.14166666666666666 ], "p_boot": 0.2327, "fdr_significant": false }, { "layer": 3, "task_acc_mean": 0.6541666666666667, "task_acc_seed_sd": 0.09947780321927768, "selectivity_mean": 0.06250000000000003, "selectivity_ci": [ -0.0125, 0.13333333333333336 ], "p_boot": 0.0589, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.7749999999999999, "task_acc_seed_sd": 0.0756912588524373, "selectivity_mean": 0.20416666666666666, "selectivity_ci": [ 0.15416666666666665, 0.2541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.875, "task_acc_seed_sd": 0.07064927065755484, "selectivity_mean": 0.3125, "selectivity_ci": [ 0.2666666666666667, 0.3666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.8625, "task_acc_seed_sd": 0.045643546458763846, "selectivity_mean": 0.29166666666666663, "selectivity_ci": [ 0.2374999999999999, 0.3458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9166666666666667, "task_acc_seed_sd": 0.04419417382415925, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.2875, 0.41666666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.8625, "task_acc_seed_sd": 0.03486083443891979, "selectivity_mean": 0.3083333333333333, "selectivity_ci": [ 0.2125, 0.4041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.8666666666666666, "task_acc_seed_sd": 0.06002025121203309, "selectivity_mean": 0.3416666666666666, "selectivity_ci": [ 0.2833333333333333, 0.39166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.8708333333333332, "task_acc_seed_sd": 0.03090082702956524, "selectivity_mean": 0.31666666666666665, "selectivity_ci": [ 0.27499999999999997, 0.3583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.8958333333333333, "task_acc_seed_sd": 0.038975597778895234, "selectivity_mean": 0.30416666666666664, "selectivity_ci": [ 0.24583333333333326, 0.3625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.8916666666666668, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.3166666666666667, "selectivity_ci": [ 0.27083333333333337, 0.35416666666666674 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.8708333333333333, "task_acc_seed_sd": 0.045165590393080816, "selectivity_mean": 0.2958333333333333, "selectivity_ci": [ 0.225, 0.3625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9125, "task_acc_seed_sd": 0.017430417219459884, "selectivity_mean": 0.38333333333333336, "selectivity_ci": [ 0.3166666666666667, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9291666666666668, "task_acc_seed_sd": 0.03486083443891983, "selectivity_mean": 0.4208333333333334, "selectivity_ci": [ 0.3666666666666667, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.39583333333333337, "selectivity_ci": [ 0.3500000000000001, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9208333333333334, "task_acc_seed_sd": 0.047507309379130745, "selectivity_mean": 0.4041666666666666, "selectivity_ci": [ 0.35, 0.4666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9416666666666668, "task_acc_seed_sd": 0.03090082702956524, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.3708333333333333, 0.4666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9458333333333332, "task_acc_seed_sd": 0.03486083443891984, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.3708333333333333, 0.4666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9458333333333332, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.41666666666666663, "selectivity_ci": [ 0.3916666666666666, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9333333333333333, "task_acc_seed_sd": 0.027163343355011044, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.37916666666666676, 0.4375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9375, "task_acc_seed_sd": 0.03897559777889522, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.3916666666666667, 0.4416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9166666666666666, "task_acc_seed_sd": 0.014731391274719726, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.3833333333333333, 0.4375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.047507309379130745, "selectivity_mean": 0.3708333333333334, "selectivity_ci": [ 0.35416666666666663, 0.39583333333333337 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.8916666666666666, "task_acc_seed_sd": 0.040073716795148664, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.2916666666666667, 0.4083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9083333333333334, "task_acc_seed_sd": 0.018633899812498224, "selectivity_mean": 0.3458333333333334, "selectivity_ci": [ 0.2916666666666667, 0.4000000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9041666666666668, "task_acc_seed_sd": 0.031595314350214794, "selectivity_mean": 0.3499999999999999, "selectivity_ci": [ 0.2875, 0.4125 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.3333333333333333, "ci": [ 0.12222222222222223, 0.5555555555555556 ] }, "n_fdr_significant": 25, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.3541666666666667, "control_acc": 0.625, "selectivity": -0.2708333333333333 }, { "layer": 0, "seed": 1, "task_acc": 0.375, "control_acc": 0.4791666666666667, "selectivity": -0.10416666666666669 }, { "layer": 0, "seed": 2, "task_acc": 0.4166666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0 }, { "layer": 0, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 0, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 1, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 1, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 1, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 1, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.625, "selectivity": 0.02083333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 2, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.625, "selectivity": -0.08333333333333337 }, { "layer": 2, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.22916666666666669 }, { "layer": 2, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 2, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 2, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.625, "selectivity": 0.04166666666666663 }, { "layer": 3, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.6041666666666666, "selectivity": -0.0625 }, { "layer": 3, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 3, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 3, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.0 }, { "layer": 3, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.125 }, { "layer": 4, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 4, "seed": 1, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 4, "seed": 2, "task_acc": 0.7916666666666666, "control_acc": 0.5625, "selectivity": 0.22916666666666663 }, { "layer": 4, "seed": 3, "task_acc": 0.75, "control_acc": 0.5416666666666666, "selectivity": 0.20833333333333337 }, { "layer": 4, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.625, "selectivity": 0.16666666666666663 }, { "layer": 5, "seed": 0, "task_acc": 0.7708333333333334, "control_acc": 0.5, "selectivity": 0.27083333333333337 }, { "layer": 5, "seed": 1, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 5, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 5, "seed": 3, "task_acc": 0.8333333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.25 }, { "layer": 5, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 6, "seed": 0, "task_acc": 0.875, "control_acc": 0.5, "selectivity": 0.375 }, { "layer": 6, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 6, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 6, "seed": 3, "task_acc": 0.7916666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.20833333333333326 }, { "layer": 6, "seed": 4, "task_acc": 0.875, "control_acc": 0.6458333333333334, "selectivity": 0.22916666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.3125 }, { "layer": 7, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.7083333333333334, "selectivity": 0.25 }, { "layer": 7, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 7, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 7, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 8, "seed": 0, "task_acc": 0.875, "control_acc": 0.4583333333333333, "selectivity": 0.4166666666666667 }, { "layer": 8, "seed": 1, "task_acc": 0.8541666666666666, "control_acc": 0.6875, "selectivity": 0.16666666666666663 }, { "layer": 8, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 8, "seed": 3, "task_acc": 0.8333333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.3125 }, { "layer": 8, "seed": 4, "task_acc": 0.8333333333333334, "control_acc": 0.625, "selectivity": 0.20833333333333337 }, { "layer": 9, "seed": 0, "task_acc": 0.875, "control_acc": 0.4583333333333333, "selectivity": 0.4166666666666667 }, { "layer": 9, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 9, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 9, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5, "selectivity": 0.35416666666666663 }, { "layer": 9, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.5625, "selectivity": 0.22916666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.27083333333333326 }, { "layer": 10, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 10, "seed": 2, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 10, "seed": 3, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 10, "seed": 4, "task_acc": 0.8333333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.25 }, { "layer": 11, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5625, "selectivity": 0.35416666666666663 }, { "layer": 11, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.25 }, { "layer": 11, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 11, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.3125 }, { "layer": 11, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.20833333333333326 }, { "layer": 12, "seed": 0, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 12, "seed": 1, "task_acc": 0.8958333333333334, "control_acc": 0.6666666666666666, "selectivity": 0.22916666666666674 }, { "layer": 12, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 12, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 12, "seed": 4, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 13, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 13, "seed": 1, "task_acc": 0.8541666666666666, "control_acc": 0.5, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5625, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 3, "task_acc": 0.8125, "control_acc": 0.625, "selectivity": 0.1875 }, { "layer": 13, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.20833333333333326 }, { "layer": 14, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 14, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 14, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 14, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.29166666666666674 }, { "layer": 14, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 15, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 15, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 15, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 15, "seed": 3, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 15, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 16, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 16, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 16, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 16, "seed": 3, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 16, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 17, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 17, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 17, "seed": 2, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 17, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 17, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.3125 }, { "layer": 18, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 18, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 18, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 18, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 18, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 19, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 19, "seed": 3, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 19, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 20, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 20, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 20, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 20, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 20, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 21, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 21, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 21, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 21, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 21, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 22, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 22, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 22, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 22, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 23, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.43750000000000006 }, { "layer": 23, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 23, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 23, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 24, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 24, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 24, "seed": 2, "task_acc": 0.875, "control_acc": 0.5208333333333334, "selectivity": 0.35416666666666663 }, { "layer": 24, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 24, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.5, "selectivity": 0.35416666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.875, "control_acc": 0.6041666666666666, "selectivity": 0.27083333333333337 }, { "layer": 25, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 25, "seed": 3, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 25, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 26, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.625, "selectivity": 0.27083333333333337 }, { "layer": 26, "seed": 1, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 26, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.43750000000000006 }, { "layer": 26, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.625, "selectivity": 0.29166666666666663 }, { "layer": 26, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5625, "selectivity": 0.33333333333333337 }, { "layer": 27, "seed": 0, "task_acc": 0.875, "control_acc": 0.625, "selectivity": 0.25 }, { "layer": 27, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 27, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 27, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 27, "seed": 4, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 } ] }, "agreement_B_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.5708333333333333, "task_acc_seed_sd": 0.09501461875826149, "selectivity_mean": 0.05, "selectivity_ci": [ -0.00833333333333336, 0.10833333333333335 ], "p_boot": 0.0361, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.7, "task_acc_seed_sd": 0.061801654059130545, "selectivity_mean": 0.18333333333333335, "selectivity_ci": [ 0.14166666666666666, 0.2333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.7041666666666667, "task_acc_seed_sd": 0.05392574627310328, "selectivity_mean": 0.2041666666666667, "selectivity_ci": [ 0.12916666666666668, 0.26666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9208333333333334, "task_acc_seed_sd": 0.04516559039308084, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.4083333333333334, 0.5833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.05432668671002205, "selectivity_mean": 0.4375000000000001, "selectivity_ci": [ 0.3375, 0.5375000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9916666666666668, "task_acc_seed_sd": 0.01863389981249823, "selectivity_mean": 0.5125, "selectivity_ci": [ 0.4708333333333333, 0.5541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.975, "task_acc_seed_sd": 0.022821773229381916, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.3833333333333332, 0.5666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9625, "task_acc_seed_sd": 0.03726779962499651, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.3625000000000001, 0.5666666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.975, "task_acc_seed_sd": 0.027163343355011027, "selectivity_mean": 0.5, "selectivity_ci": [ 0.4375, 0.5708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9666666666666666, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4041666666666667, 0.5375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9416666666666668, "task_acc_seed_sd": 0.027163343355011037, "selectivity_mean": 0.4291666666666667, "selectivity_ci": [ 0.3625, 0.4916666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9375, "task_acc_seed_sd": 0.03608439182435163, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.3625, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9291666666666666, "task_acc_seed_sd": 0.04796193513842222, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.36666666666666664, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9166666666666667, "task_acc_seed_sd": 0.038975597778895234, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.3791666666666667, 0.4541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9416666666666668, "task_acc_seed_sd": 0.045165590393080816, "selectivity_mean": 0.4958333333333334, "selectivity_ci": [ 0.4375, 0.5666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9333333333333332, "task_acc_seed_sd": 0.045165590393080816, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3833333333333334, 0.5083333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.03726779962499647, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4041666666666667, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.049738901609638835, "selectivity_mean": 0.4458333333333334, "selectivity_ci": [ 0.3791666666666667, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9416666666666667, "task_acc_seed_sd": 0.04516559039308083, "selectivity_mean": 0.425, "selectivity_ci": [ 0.3625, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.37083333333333324, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.041666666666666644, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4291666666666667, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342063, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.4166666666666667, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9541666666666668, "task_acc_seed_sd": 0.03423265984407286, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.39166666666666666, 0.4833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342063, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.39999999999999997, 0.5166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.047961935138422236, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.3833333333333334, 0.4958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9416666666666668, "task_acc_seed_sd": 0.05392574627310326, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.4166666666666667, 0.4875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9333333333333333, "task_acc_seed_sd": 0.037267799624996475, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.4125, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9041666666666666, "task_acc_seed_sd": 0.040611643103370704, "selectivity_mean": 0.41666666666666663, "selectivity_ci": [ 0.39166666666666666, 0.4416666666666666 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.25793650793650796, "ci": [ 0.19444444444444448, 0.32142857142857145 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 0, "seed": 1, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 0, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 0, "seed": 3, "task_acc": 0.7291666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.125 }, { "layer": 0, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 1, "seed": 0, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 1, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 1, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.4375, "selectivity": 0.27083333333333337 }, { "layer": 1, "seed": 3, "task_acc": 0.7708333333333334, "control_acc": 0.5625, "selectivity": 0.20833333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5625, "selectivity": 0.16666666666666663 }, { "layer": 2, "seed": 0, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 2, "seed": 1, "task_acc": 0.6875, "control_acc": 0.4375, "selectivity": 0.25 }, { "layer": 2, "seed": 2, "task_acc": 0.7291666666666666, "control_acc": 0.4375, "selectivity": 0.29166666666666663 }, { "layer": 2, "seed": 3, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 2, "seed": 4, "task_acc": 0.7708333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.25 }, { "layer": 3, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.3958333333333333 }, { "layer": 3, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.6458333333333333 }, { "layer": 3, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.5833333333333333 }, { "layer": 3, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 3, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 4, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.3125 }, { "layer": 4, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 4, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3333333333333333, "selectivity": 0.6041666666666667 }, { "layer": 4, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 4, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 5, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 0, "task_acc": 0.9791666666666666, "control_acc": 0.6875, "selectivity": 0.29166666666666663 }, { "layer": 6, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.375, "selectivity": 0.6041666666666666 }, { "layer": 6, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 6, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 7, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 7, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 8, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.375, "selectivity": 0.625 }, { "layer": 8, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 8, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 9, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 9, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 10, "seed": 1, "task_acc": 0.8958333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4791666666666667 }, { "layer": 10, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 10, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 10, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 11, "seed": 0, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 11, "seed": 1, "task_acc": 0.875, "control_acc": 0.375, "selectivity": 0.5 }, { "layer": 11, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 11, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 11, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 12, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 12, "seed": 1, "task_acc": 0.875, "control_acc": 0.4166666666666667, "selectivity": 0.4583333333333333 }, { "layer": 12, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 12, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 12, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 13, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 13, "seed": 1, "task_acc": 0.875, "control_acc": 0.3958333333333333, "selectivity": 0.4791666666666667 }, { "layer": 13, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 13, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 13, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 14, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 14, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.3333333333333333, "selectivity": 0.625 }, { "layer": 14, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.43750000000000006 }, { "layer": 14, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 15, "seed": 0, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 15, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 15, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 15, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 15, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 16, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 16, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 16, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 16, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 16, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.5625 }, { "layer": 17, "seed": 0, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 17, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 17, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 17, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 18, "seed": 0, "task_acc": 0.875, "control_acc": 0.5625, "selectivity": 0.3125 }, { "layer": 18, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 18, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 18, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 18, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 19, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 19, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 19, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 19, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 19, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 20, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 20, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 20, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 20, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 21, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 21, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 21, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 21, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 22, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 22, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 22, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 22, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 22, "seed": 4, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 23, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 23, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 23, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 23, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 24, "seed": 0, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 24, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 24, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 24, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.875, "control_acc": 0.4791666666666667, "selectivity": 0.3958333333333333 }, { "layer": 25, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 25, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4791666666666667 }, { "layer": 25, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 26, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.43750000000000006 }, { "layer": 26, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 26, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.43750000000000006 }, { "layer": 26, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 26, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 27, "seed": 0, "task_acc": 0.875, "control_acc": 0.4791666666666667, "selectivity": 0.3958333333333333 }, { "layer": 27, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 27, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.43749999999999994 }, { "layer": 27, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 27, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 } ] }, "agreement_B_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.5333333333333333, "task_acc_seed_sd": 0.056288567025442895, "selectivity_mean": -0.008333333333333349, "selectivity_ci": [ -0.029166666666666684, 0.008333333333333326 ], "p_boot": 0.864, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.575, "task_acc_seed_sd": 0.06353312784157043, "selectivity_mean": 0.08749999999999998, "selectivity_ci": [ 0.054166666666666655, 0.1208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.6083333333333334, "task_acc_seed_sd": 0.03726779962499647, "selectivity_mean": 0.13333333333333333, "selectivity_ci": [ 0.0875, 0.18333333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.6958333333333333, "task_acc_seed_sd": 0.07306532465312575, "selectivity_mean": 0.22916666666666666, "selectivity_ci": [ 0.19583333333333336, 0.26249999999999996 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.825, "task_acc_seed_sd": 0.09614983966011938, "selectivity_mean": 0.3791666666666667, "selectivity_ci": [ 0.2791666666666667, 0.4916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.8666666666666668, "task_acc_seed_sd": 0.04796193513842223, "selectivity_mean": 0.4083333333333334, "selectivity_ci": [ 0.3416666666666667, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.8875, "task_acc_seed_sd": 0.04796193513842227, "selectivity_mean": 0.4083333333333333, "selectivity_ci": [ 0.325, 0.4916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9166666666666666, "task_acc_seed_sd": 0.05705443307345478, "selectivity_mean": 0.45, "selectivity_ci": [ 0.35, 0.5875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.8916666666666666, "task_acc_seed_sd": 0.06144950501563595, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.3583333333333333, 0.5416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.8833333333333332, "task_acc_seed_sd": 0.06180165405913054, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.3291666666666667, 0.5583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.8958333333333333, "task_acc_seed_sd": 0.06073908223797189, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.37499999999999994, 0.47916666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9041666666666666, "task_acc_seed_sd": 0.04796193513842228, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4041666666666666, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9125, "task_acc_seed_sd": 0.017430417219459884, "selectivity_mean": 0.4666666666666667, "selectivity_ci": [ 0.41666666666666663, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.8958333333333334, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.45833333333333337, "selectivity_ci": [ 0.3875, 0.5291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9291666666666666, "task_acc_seed_sd": 0.04796193513842226, "selectivity_mean": 0.4749999999999999, "selectivity_ci": [ 0.3999999999999999, 0.55 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9166666666666666, "task_acc_seed_sd": 0.053114786599924815, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.39583333333333337, 0.5127083333333302 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9166666666666667, "task_acc_seed_sd": 0.048858497498160715, "selectivity_mean": 0.4708333333333334, "selectivity_ci": [ 0.4208333333333333, 0.5208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.03486083443891979, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.425, 0.4875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.925, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3916666666666666, 0.5083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9291666666666668, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.4791666666666667, "selectivity_ci": [ 0.4541666666666666, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.049738901609638835, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.4208333333333334, 0.5708333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9166666666666667, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.5083333333333333, "selectivity_ci": [ 0.4541666666666667, 0.5625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.8958333333333334, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.3916666666666667, 0.5416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.8833333333333332, "task_acc_seed_sd": 0.031595314350214794, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3916666666666666, 0.5166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.8833333333333332, "task_acc_seed_sd": 0.04320091948609941, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.3875, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.9, "task_acc_seed_sd": 0.027163343355011027, "selectivity_mean": 0.4666666666666667, "selectivity_ci": [ 0.41666666666666663, 0.5208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.8875, "task_acc_seed_sd": 0.045643546458763846, "selectivity_mean": 0.4708333333333334, "selectivity_ci": [ 0.4083333333333334, 0.5458333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.8708333333333333, "task_acc_seed_sd": 0.057810153856298375, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.3625, 0.5291666666666668 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.11944444444444444, "ci": [ 0.05833333333333333, 0.180624999999999 ] }, "n_fdr_significant": 27, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 0, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0 }, { "layer": 0, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 0, "seed": 3, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 0, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 1, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 1, "seed": 1, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.14583333333333331 }, { "layer": 1, "seed": 3, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 2, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 2, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.4375, "selectivity": 0.22916666666666663 }, { "layer": 2, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.16666666666666669 }, { "layer": 2, "seed": 3, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 2, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 3, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 3, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.2708333333333333 }, { "layer": 3, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.18750000000000006 }, { "layer": 3, "seed": 3, "task_acc": 0.7708333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.22916666666666674 }, { "layer": 3, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.2708333333333333 }, { "layer": 4, "seed": 0, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 4, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.5833333333333333 }, { "layer": 4, "seed": 2, "task_acc": 0.8125, "control_acc": 0.3958333333333333, "selectivity": 0.4166666666666667 }, { "layer": 4, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 4, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.5, "selectivity": 0.29166666666666663 }, { "layer": 5, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.3125 }, { "layer": 5, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 5, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4791666666666667 }, { "layer": 5, "seed": 3, "task_acc": 0.8333333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.3541666666666667 }, { "layer": 5, "seed": 4, "task_acc": 0.8333333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.37500000000000006 }, { "layer": 6, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.3125 }, { "layer": 6, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 6, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.37499999999999994 }, { "layer": 6, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 6, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.5208333333333333 }, { "layer": 7, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 7, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.25, "selectivity": 0.7083333333333334 }, { "layer": 7, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.3541666666666667 }, { "layer": 7, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 7, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 8, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.27083333333333326 }, { "layer": 8, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.3125, "selectivity": 0.6041666666666666 }, { "layer": 8, "seed": 2, "task_acc": 0.875, "control_acc": 0.375, "selectivity": 0.5 }, { "layer": 8, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 9, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.25 }, { "layer": 9, "seed": 1, "task_acc": 0.9375, "control_acc": 0.2916666666666667, "selectivity": 0.6458333333333333 }, { "layer": 9, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.4375, "selectivity": 0.41666666666666663 }, { "layer": 9, "seed": 3, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 9, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 10, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.3333333333333333 }, { "layer": 10, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 10, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 10, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 10, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 11, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4375, "selectivity": 0.41666666666666663 }, { "layer": 11, "seed": 1, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 11, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 11, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 11, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.37499999999999994 }, { "layer": 12, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4791666666666667 }, { "layer": 12, "seed": 1, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 12, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4375, "selectivity": 0.45833333333333337 }, { "layer": 12, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 12, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 13, "seed": 0, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 13, "seed": 1, "task_acc": 0.8958333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.5416666666666667 }, { "layer": 13, "seed": 2, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 13, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 13, "seed": 4, "task_acc": 0.875, "control_acc": 0.5, "selectivity": 0.375 }, { "layer": 14, "seed": 0, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 14, "seed": 1, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 14, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.4375, "selectivity": 0.41666666666666663 }, { "layer": 14, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 14, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.5625, "selectivity": 0.35416666666666663 }, { "layer": 15, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 15, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.5625 }, { "layer": 15, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.3541666666666667 }, { "layer": 15, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 15, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 16, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.5625 }, { "layer": 16, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.4375, "selectivity": 0.39583333333333337 }, { "layer": 16, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 16, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 17, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 17, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 17, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.4375, "selectivity": 0.45833333333333337 }, { "layer": 17, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 17, "seed": 4, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 18, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 18, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4166666666666667, "selectivity": 0.5208333333333333 }, { "layer": 18, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.5416666666666667 }, { "layer": 18, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 18, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 19, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 19, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 19, "seed": 2, "task_acc": 0.8958333333333334, "control_acc": 0.375, "selectivity": 0.5208333333333334 }, { "layer": 19, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 19, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 20, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 20, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.3333333333333333, "selectivity": 0.625 }, { "layer": 20, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.2916666666666667, "selectivity": 0.5416666666666667 }, { "layer": 20, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 20, "seed": 4, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 21, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4375, "selectivity": 0.45833333333333337 }, { "layer": 21, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.375, "selectivity": 0.5833333333333334 }, { "layer": 21, "seed": 2, "task_acc": 0.875, "control_acc": 0.2916666666666667, "selectivity": 0.5833333333333333 }, { "layer": 21, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 21, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 22, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 22, "seed": 1, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 22, "seed": 2, "task_acc": 0.875, "control_acc": 0.2916666666666667, "selectivity": 0.5833333333333333 }, { "layer": 22, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 22, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.4375, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 0, "task_acc": 0.875, "control_acc": 0.4791666666666667, "selectivity": 0.3958333333333333 }, { "layer": 23, "seed": 1, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 23, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.2916666666666667, "selectivity": 0.5625 }, { "layer": 23, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 4, "task_acc": 0.8541666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.37499999999999994 }, { "layer": 24, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.3958333333333333 }, { "layer": 24, "seed": 1, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 24, "seed": 2, "task_acc": 0.875, "control_acc": 0.3333333333333333, "selectivity": 0.5416666666666667 }, { "layer": 24, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 24, "seed": 4, "task_acc": 0.8333333333333334, "control_acc": 0.4375, "selectivity": 0.39583333333333337 }, { "layer": 25, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 25, "seed": 1, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 25, "seed": 2, "task_acc": 0.875, "control_acc": 0.375, "selectivity": 0.5 }, { "layer": 25, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 25, "seed": 4, "task_acc": 0.875, "control_acc": 0.4166666666666667, "selectivity": 0.4583333333333333 }, { "layer": 26, "seed": 0, "task_acc": 0.875, "control_acc": 0.3958333333333333, "selectivity": 0.4791666666666667 }, { "layer": 26, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.6041666666666667 }, { "layer": 26, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.375, "selectivity": 0.45833333333333337 }, { "layer": 26, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 26, "seed": 4, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 27, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.3541666666666667, "selectivity": 0.49999999999999994 }, { "layer": 27, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.6041666666666667 }, { "layer": 27, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.37500000000000006 }, { "layer": 27, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.5625, "selectivity": 0.33333333333333337 }, { "layer": 27, "seed": 4, "task_acc": 0.8125, "control_acc": 0.4166666666666667, "selectivity": 0.3958333333333333 } ] }, "arith_valid_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.04419417382415922, "selectivity_mean": -0.029166666666666674, "selectivity_ci": [ -0.05833333333333337, 2.2204460492503132e-17 ], "p_boot": 0.9686, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.06002025121203305, "selectivity_mean": -0.05416666666666664, "selectivity_ci": [ -0.13749999999999996, 0.025000000000000022 ], "p_boot": 0.9124, "fdr_significant": false }, { "layer": 2, "task_acc_mean": 0.5541666666666667, "task_acc_seed_sd": 0.05628856702544288, "selectivity_mean": 0.041666666666666664, "selectivity_ci": [ -0.020833333333333325, 0.10416666666666666 ], "p_boot": 0.1052, "fdr_significant": false }, { "layer": 3, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.06588078458684123, "selectivity_mean": -0.025000000000000022, "selectivity_ci": [ -0.09583333333333335, 0.05416666666666663 ], "p_boot": 0.7483, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.07453559924999299, "selectivity_mean": -0.016666666666666663, "selectivity_ci": [ -0.10416666666666667, 0.07916666666666668 ], "p_boot": 0.6311, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.4625, "task_acc_seed_sd": 0.07276770498572074, "selectivity_mean": -0.054166666666666696, "selectivity_ci": [ -0.13333333333333336, -0.008333333333333349 ], "p_boot": 1.0, "fdr_significant": false }, { "layer": 6, "task_acc_mean": 0.45, "task_acc_seed_sd": 0.07453559924999299, "selectivity_mean": -0.06666666666666668, "selectivity_ci": [ -0.1375, -3.3306690738754695e-17 ], "p_boot": 0.9857, "fdr_significant": false }, { "layer": 7, "task_acc_mean": 0.4833333333333334, "task_acc_seed_sd": 0.05392574627310327, "selectivity_mean": -0.02083333333333336, "selectivity_ci": [ -0.08750000000000004, 0.03749999999999998 ], "p_boot": 0.7587, "fdr_significant": false }, { "layer": 8, "task_acc_mean": 0.4875, "task_acc_seed_sd": 0.0543266867100221, "selectivity_mean": -0.025000000000000012, "selectivity_ci": [ -0.07500000000000004, 0.025000000000000012 ], "p_boot": 0.8295, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.07064927065755487, "selectivity_mean": 0.004166666666666652, "selectivity_ci": [ -0.07083333333333333, 0.06666666666666664 ], "p_boot": 0.4159, "fdr_significant": false }, { "layer": 10, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.08665264309618924, "selectivity_mean": -0.02083333333333335, "selectivity_ci": [ -0.07916666666666668, 0.045833333333333295 ], "p_boot": 0.7538, "fdr_significant": false }, { "layer": 11, "task_acc_mean": 0.4833333333333333, "task_acc_seed_sd": 0.049738901609638835, "selectivity_mean": -0.0375, "selectivity_ci": [ -0.12916666666666665, 0.049999999999999975 ], "p_boot": 0.7931, "fdr_significant": false }, { "layer": 12, "task_acc_mean": 0.4708333333333334, "task_acc_seed_sd": 0.08665264309618924, "selectivity_mean": -0.029166666666666674, "selectivity_ci": [ -0.09583333333333333, 0.029166666666666653 ], "p_boot": 0.8127, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.4625, "task_acc_seed_sd": 0.07424387367168941, "selectivity_mean": -0.04583333333333335, "selectivity_ci": [ -0.12083333333333339, 0.029166666666666664 ], "p_boot": 0.8687, "fdr_significant": false }, { "layer": 14, "task_acc_mean": 0.4875, "task_acc_seed_sd": 0.1047898028329941, "selectivity_mean": 0.004166666666666685, "selectivity_ci": [ -0.07916666666666665, 0.08750000000000002 ], "p_boot": 0.4405, "fdr_significant": false }, { "layer": 15, "task_acc_mean": 0.4833333333333334, "task_acc_seed_sd": 0.09009061796016521, "selectivity_mean": 0.016666666666666663, "selectivity_ci": [ -0.02083333333333335, 0.05416666666666668 ], "p_boot": 0.2377, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.45833333333333337, "task_acc_seed_sd": 0.04885849749816073, "selectivity_mean": -0.012500000000000011, "selectivity_ci": [ -0.09166666666666669, 0.041666666666666664 ], "p_boot": 0.6546, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.4708333333333334, "task_acc_seed_sd": 0.06686169389950505, "selectivity_mean": -0.012499999999999989, "selectivity_ci": [ -0.09166666666666667, 0.07500000000000001 ], "p_boot": 0.6141, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.4791666666666667, "task_acc_seed_sd": 0.03897559777889523, "selectivity_mean": 0.03750000000000002, "selectivity_ci": [ -0.024999999999999967, 0.1041666666666667 ], "p_boot": 0.1238, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.4875, "task_acc_seed_sd": 0.0562885670254429, "selectivity_mean": 0.016666666666666663, "selectivity_ci": [ -0.016666666666666673, 0.06249999999999998 ], "p_boot": 0.2305, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.4666666666666666, "task_acc_seed_sd": 0.06686169389950505, "selectivity_mean": -0.004166666666666674, "selectivity_ci": [ -0.03750000000000001, 0.033333333333333326 ], "p_boot": 0.6388, "fdr_significant": false }, { "layer": 21, "task_acc_mean": 0.4541666666666667, "task_acc_seed_sd": 0.05590169943749474, "selectivity_mean": 0.025000000000000012, "selectivity_ci": [ -0.033333333333333326, 0.09583333333333335 ], "p_boot": 0.2384, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.4708333333333334, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.004166666666666652, "selectivity_ci": [ -0.03750000000000002, 0.04583333333333332 ], "p_boot": 0.4464, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.7833333333333334, "task_acc_seed_sd": 0.0315953143502148, "selectivity_mean": 0.225, "selectivity_ci": [ 0.1375, 0.3166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.7708333333333333, "task_acc_seed_sd": 0.041666666666666685, "selectivity_mean": 0.26666666666666666, "selectivity_ci": [ 0.18749999999999994, 0.3666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.75, "task_acc_seed_sd": 0.032940392293420606, "selectivity_mean": 0.2458333333333333, "selectivity_ci": [ 0.15833333333333335, 0.37083333333333324 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.8583333333333332, "task_acc_seed_sd": 0.040073716795148664, "selectivity_mean": 0.3416666666666666, "selectivity_ci": [ 0.29989583333333336, 0.38333333333333336 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.8416666666666666, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.31666666666666665, "selectivity_ci": [ 0.25416666666666665, 0.37916666666666665 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 5, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 0, "seed": 1, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 0, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 0, "seed": 3, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 0, "seed": 4, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 1, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 1, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.6041666666666666, "selectivity": -0.18749999999999994 }, { "layer": 1, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 1, "seed": 3, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 1, "seed": 4, "task_acc": 0.3958333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.14583333333333331 }, { "layer": 2, "seed": 0, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 2, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 2, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 2, "seed": 3, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 2, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 3, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 3, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 3, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0 }, { "layer": 3, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 3, "seed": 4, "task_acc": 0.4375, "control_acc": 0.5833333333333334, "selectivity": -0.14583333333333337 }, { "layer": 4, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 4, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.3958333333333333, "selectivity": 0.02083333333333337 }, { "layer": 4, "seed": 2, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 4, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.16666666666666669 }, { "layer": 4, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.0625 }, { "layer": 5, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5833333333333334, "selectivity": -0.02083333333333337 }, { "layer": 5, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0 }, { "layer": 5, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 5, "seed": 3, "task_acc": 0.375, "control_acc": 0.5833333333333334, "selectivity": -0.20833333333333337 }, { "layer": 5, "seed": 4, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 6, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 6, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5, "selectivity": -0.0625 }, { "layer": 6, "seed": 2, "task_acc": 0.3958333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.08333333333333337 }, { "layer": 6, "seed": 3, "task_acc": 0.375, "control_acc": 0.5625, "selectivity": -0.1875 }, { "layer": 6, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 7, "seed": 0, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 7, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 7, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 7, "seed": 3, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 7, "seed": 4, "task_acc": 0.3958333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.12500000000000006 }, { "layer": 8, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 8, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.4166666666666667, "selectivity": 0.04166666666666663 }, { "layer": 8, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 8, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 8, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.10416666666666669 }, { "layer": 9, "seed": 0, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 9, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.4166666666666667, "selectivity": 0.04166666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 9, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4166666666666667, "selectivity": 0.04166666666666663 }, { "layer": 9, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.625, "selectivity": -0.14583333333333331 }, { "layer": 10, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 10, "seed": 1, "task_acc": 0.3958333333333333, "control_acc": 0.4583333333333333, "selectivity": -0.0625 }, { "layer": 10, "seed": 2, "task_acc": 0.4166666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.10416666666666669 }, { "layer": 10, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.375, "selectivity": 0.041666666666666685 }, { "layer": 10, "seed": 4, "task_acc": 0.5, "control_acc": 0.5625, "selectivity": -0.0625 }, { "layer": 11, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 11, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 11, "seed": 2, "task_acc": 0.4166666666666667, "control_acc": 0.625, "selectivity": -0.20833333333333331 }, { "layer": 11, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.375, "selectivity": 0.08333333333333331 }, { "layer": 11, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5625, "selectivity": -0.04166666666666663 }, { "layer": 12, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 12, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 12, "seed": 2, "task_acc": 0.4166666666666667, "control_acc": 0.5625, "selectivity": -0.14583333333333331 }, { "layer": 12, "seed": 3, "task_acc": 0.3541666666666667, "control_acc": 0.4166666666666667, "selectivity": -0.0625 }, { "layer": 12, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 13, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 13, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 13, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.6458333333333334, "selectivity": -0.18750000000000006 }, { "layer": 13, "seed": 3, "task_acc": 0.3541666666666667, "control_acc": 0.4583333333333333, "selectivity": -0.10416666666666663 }, { "layer": 13, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 14, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 14, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 14, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 14, "seed": 3, "task_acc": 0.3125, "control_acc": 0.4166666666666667, "selectivity": -0.10416666666666669 }, { "layer": 14, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 15, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 15, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 15, "seed": 2, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 15, "seed": 3, "task_acc": 0.3541666666666667, "control_acc": 0.375, "selectivity": -0.020833333333333315 }, { "layer": 15, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 16, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 16, "seed": 1, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 16, "seed": 2, "task_acc": 0.3958333333333333, "control_acc": 0.5625, "selectivity": -0.16666666666666669 }, { "layer": 16, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0 }, { "layer": 16, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 17, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 17, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 17, "seed": 2, "task_acc": 0.4375, "control_acc": 0.5833333333333334, "selectivity": -0.14583333333333337 }, { "layer": 17, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.0625 }, { "layer": 17, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.4583333333333333, "selectivity": -0.04166666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 18, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.16666666666666669 }, { "layer": 18, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 18, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0 }, { "layer": 18, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 19, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 19, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.4166666666666667, "selectivity": -0.02083333333333337 }, { "layer": 19, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 20, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 20, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.4375, "selectivity": -0.020833333333333315 }, { "layer": 20, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 20, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.4375, "selectivity": -0.041666666666666685 }, { "layer": 20, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 21, "seed": 0, "task_acc": 0.4166666666666667, "control_acc": 0.375, "selectivity": 0.041666666666666685 }, { "layer": 21, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 21, "seed": 2, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 21, "seed": 3, "task_acc": 0.5, "control_acc": 0.3333333333333333, "selectivity": 0.16666666666666669 }, { "layer": 21, "seed": 4, "task_acc": 0.375, "control_acc": 0.4375, "selectivity": -0.0625 }, { "layer": 22, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 22, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 22, "seed": 2, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 22, "seed": 4, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 23, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.1875 }, { "layer": 23, "seed": 1, "task_acc": 0.8333333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.37500000000000006 }, { "layer": 23, "seed": 2, "task_acc": 0.7708333333333334, "control_acc": 0.625, "selectivity": 0.14583333333333337 }, { "layer": 23, "seed": 3, "task_acc": 0.7708333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.31250000000000006 }, { "layer": 23, "seed": 4, "task_acc": 0.75, "control_acc": 0.6458333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 0, "task_acc": 0.75, "control_acc": 0.5208333333333334, "selectivity": 0.22916666666666663 }, { "layer": 24, "seed": 1, "task_acc": 0.8333333333333334, "control_acc": 0.375, "selectivity": 0.45833333333333337 }, { "layer": 24, "seed": 2, "task_acc": 0.7916666666666666, "control_acc": 0.5, "selectivity": 0.29166666666666663 }, { "layer": 24, "seed": 3, "task_acc": 0.75, "control_acc": 0.5416666666666666, "selectivity": 0.20833333333333337 }, { "layer": 24, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.14583333333333326 }, { "layer": 25, "seed": 0, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 25, "seed": 1, "task_acc": 0.7916666666666666, "control_acc": 0.3125, "selectivity": 0.47916666666666663 }, { "layer": 25, "seed": 2, "task_acc": 0.7708333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.25 }, { "layer": 25, "seed": 3, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 25, "seed": 4, "task_acc": 0.75, "control_acc": 0.625, "selectivity": 0.125 }, { "layer": 26, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.27083333333333326 }, { "layer": 26, "seed": 1, "task_acc": 0.875, "control_acc": 0.4583333333333333, "selectivity": 0.4166666666666667 }, { "layer": 26, "seed": 2, "task_acc": 0.875, "control_acc": 0.5208333333333334, "selectivity": 0.35416666666666663 }, { "layer": 26, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5, "selectivity": 0.35416666666666663 }, { "layer": 26, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.3125 }, { "layer": 27, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.5625, "selectivity": 0.22916666666666663 }, { "layer": 27, "seed": 1, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 27, "seed": 2, "task_acc": 0.8125, "control_acc": 0.4791666666666667, "selectivity": 0.3333333333333333 }, { "layer": 27, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 27, "seed": 4, "task_acc": 0.875, "control_acc": 0.625, "selectivity": 0.25 } ] }, "arith_valid_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.4458333333333333, "task_acc_seed_sd": 0.04320091948609943, "selectivity_mean": -0.07499999999999997, "selectivity_ci": [ -0.14166666666666664, 2.2204460492503132e-17 ], "p_boot": 0.9711, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5375, "task_acc_seed_sd": 0.07424387367168941, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.09166666666666665, 0.09583333333333333 ], "p_boot": 0.3789, "fdr_significant": false }, { "layer": 2, "task_acc_mean": 0.5708333333333333, "task_acc_seed_sd": 0.06180165405913052, "selectivity_mean": 0.07499999999999998, "selectivity_ci": [ 0.008333333333333326, 0.15833333333333333 ], "p_boot": 0.0109, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.5458333333333334, "task_acc_seed_sd": 0.04516559039308083, "selectivity_mean": 0.054166666666666696, "selectivity_ci": [ 0.012500000000000056, 0.08750000000000002 ], "p_boot": 0.0042, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.4875, "task_acc_seed_sd": 0.045643546458763826, "selectivity_mean": -0.020833333333333336, "selectivity_ci": [ -0.05000000000000001, 0.02083333333333335 ], "p_boot": 0.8648, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.4791666666666667, "task_acc_seed_sd": 0.10724614730194793, "selectivity_mean": -0.03333333333333334, "selectivity_ci": [ -0.12083333333333335, 0.05000000000000001 ], "p_boot": 0.7987, "fdr_significant": false }, { "layer": 6, "task_acc_mean": 0.4999999999999999, "task_acc_seed_sd": 0.06421264586426018, "selectivity_mean": -0.004166666666666663, "selectivity_ci": [ -0.050000000000000024, 0.04583333333333336 ], "p_boot": 0.5679, "fdr_significant": false }, { "layer": 7, "task_acc_mean": 0.4958333333333333, "task_acc_seed_sd": 0.09704845582376763, "selectivity_mean": -0.004166666666666663, "selectivity_ci": [ -0.06666666666666668, 0.05833333333333335 ], "p_boot": 0.5527, "fdr_significant": false }, { "layer": 8, "task_acc_mean": 0.5333333333333333, "task_acc_seed_sd": 0.05229125165837972, "selectivity_mean": 0.054166666666666675, "selectivity_ci": [ -0.041666666666666685, 0.15000000000000002 ], "p_boot": 0.145, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.4875, "task_acc_seed_sd": 0.06180165405913052, "selectivity_mean": 0.008333333333333304, "selectivity_ci": [ -0.07083333333333339, 0.07916666666666665 ], "p_boot": 0.4132, "fdr_significant": false }, { "layer": 10, "task_acc_mean": 0.5208333333333334, "task_acc_seed_sd": 0.07216878364870323, "selectivity_mean": 0.05833333333333333, "selectivity_ci": [ 0.020833333333333325, 0.10416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.5041666666666667, "task_acc_seed_sd": 0.08122328620674137, "selectivity_mean": 0.029166666666666653, "selectivity_ci": [ -0.008333333333333326, 0.06666666666666664 ], "p_boot": 0.0793, "fdr_significant": false }, { "layer": 12, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.05628856702544291, "selectivity_mean": 0.05, "selectivity_ci": [ 0.004166666666666696, 0.10416666666666666 ], "p_boot": 0.0082, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.05965758776365145, "selectivity_mean": 0.09583333333333334, "selectivity_ci": [ 0.07916666666666666, 0.1125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.5625, "task_acc_seed_sd": 0.06909634979907082, "selectivity_mean": 0.09166666666666665, "selectivity_ci": [ 0.03333333333333331, 0.12916666666666665 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.5416666666666667, "task_acc_seed_sd": 0.06249999999999998, "selectivity_mean": 0.07916666666666666, "selectivity_ci": [ 0.00833333333333336, 0.1333333333333333 ], "p_boot": 0.009, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.5875, "task_acc_seed_sd": 0.07711148134717395, "selectivity_mean": 0.07083333333333336, "selectivity_ci": [ 0.025000000000000012, 0.1166666666666667 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.575, "task_acc_seed_sd": 0.04320091948609941, "selectivity_mean": 0.09999999999999999, "selectivity_ci": [ 0.041666666666666664, 0.15416666666666665 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.5958333333333334, "task_acc_seed_sd": 0.06353312784157046, "selectivity_mean": 0.1, "selectivity_ci": [ 0.06666666666666668, 0.14583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.07711148134717395, "selectivity_mean": 0.0875, "selectivity_ci": [ 0.02083333333333335, 0.15 ], "p_boot": 0.005, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.5666666666666668, "task_acc_seed_sd": 0.07711148134717397, "selectivity_mean": 0.08750000000000004, "selectivity_ci": [ 0.025000000000000057, 0.15416666666666667 ], "p_boot": 0.0023, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.575, "task_acc_seed_sd": 0.06002025121203304, "selectivity_mean": 0.06666666666666667, "selectivity_ci": [ 0.020729166666666743, 0.10833333333333332 ], "p_boot": 0.0023, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.5374999999999999, "task_acc_seed_sd": 0.07987620630283672, "selectivity_mean": 0.033333333333333326, "selectivity_ci": [ -0.004166666666666685, 0.06666666666666667 ], "p_boot": 0.0606, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.8375, "task_acc_seed_sd": 0.030900827029565266, "selectivity_mean": 0.3291666666666667, "selectivity_ci": [ 0.30000000000000004, 0.3625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.825, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.29166666666666663, "selectivity_ci": [ 0.2583333333333333, 0.32499999999999996 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.8416666666666666, "task_acc_seed_sd": 0.04320091948609944, "selectivity_mean": 0.3416666666666667, "selectivity_ci": [ 0.2958333333333333, 0.39583333333333337 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.8916666666666666, "task_acc_seed_sd": 0.03423265984407289, "selectivity_mean": 0.375, "selectivity_ci": [ 0.32083333333333325, 0.4416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.9041666666666666, "task_acc_seed_sd": 0.023753654689565366, "selectivity_mean": 0.37083333333333335, "selectivity_ci": [ 0.3041666666666667, 0.4375 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 18, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 0, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 0, "seed": 2, "task_acc": 0.4375, "control_acc": 0.6041666666666666, "selectivity": -0.16666666666666663 }, { "layer": 0, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4375, "selectivity": 0.0 }, { "layer": 0, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 1, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4375, "selectivity": 0.08333333333333337 }, { "layer": 1, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.16666666666666669 }, { "layer": 1, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 1, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 1, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.625, "selectivity": -0.04166666666666663 }, { "layer": 2, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 2, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.4375, "selectivity": 0.22916666666666663 }, { "layer": 2, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 2, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 2, "seed": 4, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 3, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 3, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 3, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 3, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4375, "selectivity": 0.041666666666666685 }, { "layer": 3, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 4, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 4, "seed": 1, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 4, "seed": 2, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 4, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 4, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.0625 }, { "layer": 5, "seed": 0, "task_acc": 0.5625, "control_acc": 0.625, "selectivity": -0.0625 }, { "layer": 5, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 5, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 5, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 5, "seed": 4, "task_acc": 0.3125, "control_acc": 0.5, "selectivity": -0.1875 }, { "layer": 6, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.625, "selectivity": -0.08333333333333337 }, { "layer": 6, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 6, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 6, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 6, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.3958333333333333, "selectivity": 0.02083333333333337 }, { "layer": 7, "seed": 0, "task_acc": 0.5625, "control_acc": 0.6458333333333334, "selectivity": -0.08333333333333337 }, { "layer": 7, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 7, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 7, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4375, "selectivity": 0.0 }, { "layer": 7, "seed": 4, "task_acc": 0.3541666666666667, "control_acc": 0.4375, "selectivity": -0.08333333333333331 }, { "layer": 8, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.10416666666666669 }, { "layer": 8, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.18750000000000006 }, { "layer": 8, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 8, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 8, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 9, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5833333333333334, "selectivity": -0.12500000000000006 }, { "layer": 9, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 9, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 9, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 9, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.3541666666666667, "selectivity": 0.0625 }, { "layer": 10, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 10, "seed": 1, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 10, "seed": 2, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 10, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4583333333333333, "selectivity": 0.0 }, { "layer": 10, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.3125, "selectivity": 0.14583333333333331 }, { "layer": 11, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 11, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 11, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 11, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 11, "seed": 4, "task_acc": 0.3958333333333333, "control_acc": 0.3958333333333333, "selectivity": 0.0 }, { "layer": 12, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 12, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 12, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 12, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.14583333333333331 }, { "layer": 12, "seed": 4, "task_acc": 0.4375, "control_acc": 0.4583333333333333, "selectivity": -0.020833333333333315 }, { "layer": 13, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 13, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 13, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 13, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 14, "seed": 0, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 14, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 14, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 14, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 14, "seed": 4, "task_acc": 0.5, "control_acc": 0.375, "selectivity": 0.125 }, { "layer": 15, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 15, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.14583333333333331 }, { "layer": 15, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5625, "selectivity": -0.04166666666666663 }, { "layer": 15, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 15, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.3333333333333333, "selectivity": 0.125 }, { "layer": 16, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 16, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 16, "seed": 2, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 16, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 16, "seed": 4, "task_acc": 0.5, "control_acc": 0.4166666666666667, "selectivity": 0.08333333333333331 }, { "layer": 17, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0 }, { "layer": 17, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 17, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 3, "task_acc": 0.625, "control_acc": 0.4375, "selectivity": 0.1875 }, { "layer": 17, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 18, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 18, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 18, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 19, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 19, "seed": 1, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 19, "seed": 3, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 19, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 20, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 20, "seed": 1, "task_acc": 0.625, "control_acc": 0.4166666666666667, "selectivity": 0.20833333333333331 }, { "layer": 20, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 20, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.3958333333333333, "selectivity": 0.0625 }, { "layer": 20, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 21, "seed": 0, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 21, "seed": 1, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 21, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 21, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 21, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 22, "seed": 0, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 22, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 22, "seed": 2, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 22, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 22, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 23, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.29166666666666674 }, { "layer": 23, "seed": 1, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 23, "seed": 2, "task_acc": 0.8333333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.29166666666666674 }, { "layer": 23, "seed": 3, "task_acc": 0.7916666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.3958333333333333 }, { "layer": 23, "seed": 4, "task_acc": 0.875, "control_acc": 0.5416666666666666, "selectivity": 0.33333333333333337 }, { "layer": 24, "seed": 0, "task_acc": 0.7916666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.25 }, { "layer": 24, "seed": 1, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 24, "seed": 2, "task_acc": 0.8125, "control_acc": 0.5625, "selectivity": 0.25 }, { "layer": 24, "seed": 3, "task_acc": 0.7916666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.3333333333333333 }, { "layer": 24, "seed": 4, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.3125 }, { "layer": 25, "seed": 1, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 25, "seed": 2, "task_acc": 0.7916666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.27083333333333326 }, { "layer": 25, "seed": 3, "task_acc": 0.8125, "control_acc": 0.4791666666666667, "selectivity": 0.3333333333333333 }, { "layer": 25, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.35416666666666674 }, { "layer": 26, "seed": 0, "task_acc": 0.875, "control_acc": 0.5208333333333334, "selectivity": 0.35416666666666663 }, { "layer": 26, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 26, "seed": 2, "task_acc": 0.8541666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.3958333333333333 }, { "layer": 26, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 26, "seed": 4, "task_acc": 0.875, "control_acc": 0.5833333333333334, "selectivity": 0.29166666666666663 }, { "layer": 27, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 27, "seed": 1, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 27, "seed": 2, "task_acc": 0.875, "control_acc": 0.4791666666666667, "selectivity": 0.3958333333333333 }, { "layer": 27, "seed": 3, "task_acc": 0.8958333333333334, "control_acc": 0.625, "selectivity": 0.27083333333333337 }, { "layer": 27, "seed": 4, "task_acc": 0.8958333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.29166666666666674 } ] }, "arith_valid_B_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.475, "task_acc_seed_sd": 0.06488504792665599, "selectivity_mean": -0.050000000000000024, "selectivity_ci": [ -0.1791666666666667, 0.07916666666666665 ], "p_boot": 0.7715, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5208333333333334, "task_acc_seed_sd": 0.07216878364870324, "selectivity_mean": 0.03333333333333334, "selectivity_ci": [ -0.05833333333333337, 0.13333333333333336 ], "p_boot": 0.2708, "fdr_significant": false }, { "layer": 2, "task_acc_mean": 0.5166666666666666, "task_acc_seed_sd": 0.08254838648399564, "selectivity_mean": -0.054166666666666675, "selectivity_ci": [ -0.16666666666666666, 0.09583333333333331 ], "p_boot": 0.7841, "fdr_significant": false }, { "layer": 3, "task_acc_mean": 0.5416666666666667, "task_acc_seed_sd": 0.08715208609729955, "selectivity_mean": 0.03333333333333334, "selectivity_ci": [ -0.05833333333333335, 0.17083333333333334 ], "p_boot": 0.2999, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.5125, "task_acc_seed_sd": 0.06002025121203306, "selectivity_mean": -0.008333333333333349, "selectivity_ci": [ -0.03750000000000003, 0.020833333333333315 ], "p_boot": 0.7341, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.06814761347415055, "selectivity_mean": 0.03333333333333335, "selectivity_ci": [ -0.02083333333333335, 0.08750000000000005 ], "p_boot": 0.1421, "fdr_significant": false }, { "layer": 6, "task_acc_mean": 0.5625, "task_acc_seed_sd": 0.08960755486502736, "selectivity_mean": 0.08333333333333334, "selectivity_ci": [ 0.029166666666666684, 0.12083333333333332 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.5374999999999999, "task_acc_seed_sd": 0.07569125885243728, "selectivity_mean": 0.020833333333333325, "selectivity_ci": [ -0.06666666666666665, 0.09583333333333333 ], "p_boot": 0.3114, "fdr_significant": false }, { "layer": 8, "task_acc_mean": 0.5083333333333334, "task_acc_seed_sd": 0.04796193513842225, "selectivity_mean": -0.04583333333333334, "selectivity_ci": [ -0.1, 0.004166666666666685 ], "p_boot": 0.9484, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.5208333333333333, "task_acc_seed_sd": 0.05311478659992485, "selectivity_mean": -0.020833333333333336, "selectivity_ci": [ -0.07916666666666668, 0.0375 ], "p_boot": 0.7713, "fdr_significant": false }, { "layer": 10, "task_acc_mean": 0.5250000000000001, "task_acc_seed_sd": 0.061449505015635945, "selectivity_mean": 0.016666666666666698, "selectivity_ci": [ -0.045833333333333295, 0.07916666666666669 ], "p_boot": 0.2818, "fdr_significant": false }, { "layer": 11, "task_acc_mean": 0.55, "task_acc_seed_sd": 0.07597742720337694, "selectivity_mean": 0.07916666666666669, "selectivity_ci": [ -0.012499999999999978, 0.17083333333333334 ], "p_boot": 0.0528, "fdr_significant": false }, { "layer": 12, "task_acc_mean": 0.4958333333333334, "task_acc_seed_sd": 0.022821773229381937, "selectivity_mean": -0.020833333333333336, "selectivity_ci": [ -0.08333333333333334, 0.04166666666666667 ], "p_boot": 0.7402, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.47916666666666663, "task_acc_seed_sd": 0.07654655446197431, "selectivity_mean": -0.0375, "selectivity_ci": [ -0.09166666666666665, 0.020833333333333294 ], "p_boot": 0.9122, "fdr_significant": false }, { "layer": 14, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.08411095515910978, "selectivity_mean": -0.0375, "selectivity_ci": [ -0.10833333333333332, 0.049999999999999975 ], "p_boot": 0.8532, "fdr_significant": false }, { "layer": 15, "task_acc_mean": 0.5375, "task_acc_seed_sd": 0.10964747805783974, "selectivity_mean": -0.033333333333333326, "selectivity_ci": [ -0.15833333333333335, 0.10833333333333335 ], "p_boot": 0.6808, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.4916666666666667, "task_acc_seed_sd": 0.040611643103370704, "selectivity_mean": -0.06249999999999998, "selectivity_ci": [ -0.12916666666666662, 3.3306690738754695e-17 ], "p_boot": 0.9686, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.5125, "task_acc_seed_sd": 0.08149003006503311, "selectivity_mean": -0.004166666666666663, "selectivity_ci": [ -0.09166666666666665, 0.08333333333333333 ], "p_boot": 0.5338, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.06002025121203304, "selectivity_mean": -0.004166666666666663, "selectivity_ci": [ -0.09166666666666665, 0.07916666666666668 ], "p_boot": 0.5456, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.06002025121203307, "selectivity_mean": 0.008333333333333349, "selectivity_ci": [ -0.09583333333333331, 0.09583333333333335 ], "p_boot": 0.414, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.5708333333333333, "task_acc_seed_sd": 0.09152451098536998, "selectivity_mean": 0.03749999999999998, "selectivity_ci": [ -0.041666666666666685, 0.1375 ], "p_boot": 0.2481, "fdr_significant": false }, { "layer": 21, "task_acc_mean": 0.5166666666666666, "task_acc_seed_sd": 0.08764868319984427, "selectivity_mean": -0.041666666666666685, "selectivity_ci": [ -0.125, 0.07916666666666662 ], "p_boot": 0.7666, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.5166666666666666, "task_acc_seed_sd": 0.09009061796016521, "selectivity_mean": -0.008333333333333326, "selectivity_ci": [ -0.0833333333333333, 0.1 ], "p_boot": 0.6342, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.7416666666666667, "task_acc_seed_sd": 0.07597742720337695, "selectivity_mean": 0.2125, "selectivity_ci": [ 0.1125, 0.32916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.7708333333333333, "task_acc_seed_sd": 0.05103103630798288, "selectivity_mean": 0.2375, "selectivity_ci": [ 0.15833333333333335, 0.3333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.7541666666666667, "task_acc_seed_sd": 0.06814761347415052, "selectivity_mean": 0.24583333333333335, "selectivity_ci": [ 0.14562500000000017, 0.3458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.7916666666666667, "task_acc_seed_sd": 0.04658474953124561, "selectivity_mean": 0.2666666666666667, "selectivity_ci": [ 0.1583333333333333, 0.3708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.8041666666666668, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.2666666666666667, "selectivity_ci": [ 0.2041666666666667, 0.31666666666666665 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.8666666666666668, "ci": [ 0.7666666666666667, 0.9666666666666666 ] }, "n_fdr_significant": 6, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5, "control_acc": 0.375, "selectivity": 0.125 }, { "layer": 0, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 0, "seed": 2, "task_acc": 0.4166666666666667, "control_acc": 0.6458333333333334, "selectivity": -0.22916666666666669 }, { "layer": 0, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5833333333333334, "selectivity": -0.18750000000000006 }, { "layer": 0, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 1, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.4375, "selectivity": 0.20833333333333337 }, { "layer": 1, "seed": 1, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 1, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5833333333333334, "selectivity": -0.12500000000000006 }, { "layer": 1, "seed": 3, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 1, "seed": 4, "task_acc": 0.5, "control_acc": 0.4166666666666667, "selectivity": 0.08333333333333331 }, { "layer": 2, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.22916666666666669 }, { "layer": 2, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 2, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.6458333333333334, "selectivity": -0.18750000000000006 }, { "layer": 2, "seed": 3, "task_acc": 0.5, "control_acc": 0.6666666666666666, "selectivity": -0.16666666666666663 }, { "layer": 2, "seed": 4, "task_acc": 0.4375, "control_acc": 0.5625, "selectivity": -0.125 }, { "layer": 3, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.2916666666666667 }, { "layer": 3, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 3, "seed": 2, "task_acc": 0.625, "control_acc": 0.6875, "selectivity": -0.0625 }, { "layer": 3, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4375, "selectivity": 0.041666666666666685 }, { "layer": 3, "seed": 4, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 4, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 4, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 4, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 4, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4583333333333333, "selectivity": -0.020833333333333315 }, { "layer": 4, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 5, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 5, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 5, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 5, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 6, "seed": 0, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 6, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 6, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5625, "selectivity": 0.08333333333333337 }, { "layer": 6, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4375, "selectivity": -0.020833333333333315 }, { "layer": 6, "seed": 4, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 7, "seed": 0, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 7, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 7, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5833333333333334, "selectivity": -0.04166666666666674 }, { "layer": 7, "seed": 3, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 7, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 8, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 8, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.6041666666666666, "selectivity": -0.14583333333333331 }, { "layer": 8, "seed": 2, "task_acc": 0.5625, "control_acc": 0.625, "selectivity": -0.0625 }, { "layer": 8, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 8, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 9, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 9, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 9, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.625, "selectivity": -0.10416666666666663 }, { "layer": 9, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 9, "seed": 4, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 10, "seed": 0, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 10, "seed": 1, "task_acc": 0.5, "control_acc": 0.3958333333333333, "selectivity": 0.10416666666666669 }, { "layer": 10, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5625, "selectivity": -0.04166666666666663 }, { "layer": 10, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 10, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 11, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.4375, "selectivity": 0.22916666666666663 }, { "layer": 11, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 11, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 11, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.375, "selectivity": 0.10416666666666669 }, { "layer": 11, "seed": 4, "task_acc": 0.5, "control_acc": 0.5625, "selectivity": -0.0625 }, { "layer": 12, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4375, "selectivity": 0.08333333333333337 }, { "layer": 12, "seed": 1, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 12, "seed": 2, "task_acc": 0.5, "control_acc": 0.625, "selectivity": -0.125 }, { "layer": 12, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 12, "seed": 4, "task_acc": 0.5, "control_acc": 0.5625, "selectivity": -0.0625 }, { "layer": 13, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 13, "seed": 1, "task_acc": 0.375, "control_acc": 0.4583333333333333, "selectivity": -0.08333333333333331 }, { "layer": 13, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 13, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 13, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.6041666666666666, "selectivity": -0.12499999999999994 }, { "layer": 14, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.5625, "selectivity": 0.10416666666666663 }, { "layer": 14, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 14, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.6666666666666666, "selectivity": -0.14583333333333326 }, { "layer": 14, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 14, "seed": 4, "task_acc": 0.5, "control_acc": 0.5833333333333334, "selectivity": -0.08333333333333337 }, { "layer": 15, "seed": 0, "task_acc": 0.7083333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.22916666666666669 }, { "layer": 15, "seed": 1, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 15, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.6875, "selectivity": -0.20833333333333331 }, { "layer": 15, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 15, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.6458333333333334, "selectivity": -0.16666666666666669 }, { "layer": 16, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 16, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 16, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.6458333333333334, "selectivity": -0.125 }, { "layer": 16, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 16, "seed": 4, "task_acc": 0.4375, "control_acc": 0.6041666666666666, "selectivity": -0.16666666666666663 }, { "layer": 17, "seed": 0, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 17, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 17, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.10416666666666669 }, { "layer": 17, "seed": 3, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 17, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 18, "seed": 0, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 18, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 18, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 18, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 18, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.625, "selectivity": -0.14583333333333331 }, { "layer": 19, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 19, "seed": 1, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 19, "seed": 2, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 19, "seed": 3, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 19, "seed": 4, "task_acc": 0.4375, "control_acc": 0.625, "selectivity": -0.1875 }, { "layer": 20, "seed": 0, "task_acc": 0.7083333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.22916666666666669 }, { "layer": 20, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 20, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.02083333333333326 }, { "layer": 20, "seed": 3, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 20, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 21, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 21, "seed": 1, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 21, "seed": 2, "task_acc": 0.5, "control_acc": 0.5833333333333334, "selectivity": -0.08333333333333337 }, { "layer": 21, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.625, "selectivity": -0.14583333333333331 }, { "layer": 21, "seed": 4, "task_acc": 0.5, "control_acc": 0.625, "selectivity": -0.125 }, { "layer": 22, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 22, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5416666666666666, "selectivity": -0.10416666666666663 }, { "layer": 22, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 22, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 22, "seed": 4, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 23, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4166666666666667 }, { "layer": 23, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 23, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 23, "seed": 3, "task_acc": 0.7916666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.27083333333333326 }, { "layer": 23, "seed": 4, "task_acc": 0.75, "control_acc": 0.5625, "selectivity": 0.1875 }, { "layer": 24, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.4375, "selectivity": 0.39583333333333337 }, { "layer": 24, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.1875 }, { "layer": 24, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.10416666666666674 }, { "layer": 24, "seed": 3, "task_acc": 0.7916666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.20833333333333326 }, { "layer": 24, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.5, "selectivity": 0.29166666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4375, "selectivity": 0.41666666666666663 }, { "layer": 25, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.2708333333333333 }, { "layer": 25, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0625 }, { "layer": 25, "seed": 3, "task_acc": 0.7708333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.1875 }, { "layer": 25, "seed": 4, "task_acc": 0.75, "control_acc": 0.4583333333333333, "selectivity": 0.2916666666666667 }, { "layer": 26, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.43749999999999994 }, { "layer": 26, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.2708333333333333 }, { "layer": 26, "seed": 2, "task_acc": 0.7916666666666666, "control_acc": 0.7083333333333334, "selectivity": 0.08333333333333326 }, { "layer": 26, "seed": 3, "task_acc": 0.8125, "control_acc": 0.5416666666666666, "selectivity": 0.27083333333333337 }, { "layer": 26, "seed": 4, "task_acc": 0.7708333333333334, "control_acc": 0.5, "selectivity": 0.27083333333333337 }, { "layer": 27, "seed": 0, "task_acc": 0.8125, "control_acc": 0.4791666666666667, "selectivity": 0.3333333333333333 }, { "layer": 27, "seed": 1, "task_acc": 0.7708333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.31250000000000006 }, { "layer": 27, "seed": 2, "task_acc": 0.8125, "control_acc": 0.6666666666666666, "selectivity": 0.14583333333333337 }, { "layer": 27, "seed": 3, "task_acc": 0.8333333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.29166666666666674 }, { "layer": 27, "seed": 4, "task_acc": 0.7916666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.25 } ] }, "arith_valid_B_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.4833333333333333, "task_acc_seed_sd": 0.07987620630283673, "selectivity_mean": -1.1102230246251566e-17, "selectivity_ci": [ -0.05833333333333336, 0.0875 ], "p_boot": 0.5834, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5041666666666667, "task_acc_seed_sd": 0.057810153856298355, "selectivity_mean": -0.004166666666666663, "selectivity_ci": [ -0.07916666666666664, 0.08333333333333333 ], "p_boot": 0.5869, "fdr_significant": false }, { "layer": 2, "task_acc_mean": 0.5291666666666666, "task_acc_seed_sd": 0.027950849718747364, "selectivity_mean": 0.03749999999999999, "selectivity_ci": [ 0.016666666666666663, 0.054166666666666655 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.5166666666666667, "task_acc_seed_sd": 0.07569125885243728, "selectivity_mean": 0.05833333333333333, "selectivity_ci": [ -0.012500000000000011, 0.13333333333333333 ], "p_boot": 0.0616, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.5083333333333334, "task_acc_seed_sd": 0.047961935138422264, "selectivity_mean": 0.03750000000000001, "selectivity_ci": [ -0.041666666666666664, 0.1416666666666667 ], "p_boot": 0.2123, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.07424387367168941, "selectivity_mean": 0.049999999999999975, "selectivity_ci": [ -0.0416666666666667, 0.13333333333333328 ], "p_boot": 0.1582, "fdr_significant": false }, { "layer": 6, "task_acc_mean": 0.5333333333333334, "task_acc_seed_sd": 0.06686169389950505, "selectivity_mean": 0.054166666666666675, "selectivity_ci": [ -0.016666666666666673, 0.12916666666666668 ], "p_boot": 0.0807, "fdr_significant": false }, { "layer": 7, "task_acc_mean": 0.5541666666666666, "task_acc_seed_sd": 0.04061164310337069, "selectivity_mean": 0.05833333333333331, "selectivity_ci": [ -0.004166666666666696, 0.125 ], "p_boot": 0.0444, "fdr_significant": false }, { "layer": 8, "task_acc_mean": 0.5416666666666667, "task_acc_seed_sd": 0.053114786599924864, "selectivity_mean": 0.0666666666666667, "selectivity_ci": [ -0.012499999999999966, 0.12500000000000003 ], "p_boot": 0.0478, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.4916666666666667, "task_acc_seed_sd": 0.08281086214313246, "selectivity_mean": -0.012500000000000011, "selectivity_ci": [ -0.0916666666666667, 0.058333333333333334 ], "p_boot": 0.6447, "fdr_significant": false }, { "layer": 10, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.08665264309618928, "selectivity_mean": 0.025000000000000033, "selectivity_ci": [ -0.08333333333333333, 0.1333333333333334 ], "p_boot": 0.3204, "fdr_significant": false }, { "layer": 11, "task_acc_mean": 0.5333333333333334, "task_acc_seed_sd": 0.09614983966011939, "selectivity_mean": 0.04166666666666665, "selectivity_ci": [ -0.06250000000000003, 0.1375 ], "p_boot": 0.2396, "fdr_significant": false }, { "layer": 12, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.11082863398558657, "selectivity_mean": 0.016666666666666663, "selectivity_ci": [ -0.041666666666666664, 0.075 ], "p_boot": 0.3448, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.525, "task_acc_seed_sd": 0.05392574627310327, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.04166666666666667, 0.06666666666666668 ], "p_boot": 0.3436, "fdr_significant": false }, { "layer": 14, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.05628856702544291, "selectivity_mean": 0.0375, "selectivity_ci": [ 0.004166666666666674, 0.07083333333333333 ], "p_boot": 0.0174, "fdr_significant": false }, { "layer": 15, "task_acc_mean": 0.55, "task_acc_seed_sd": 0.09386566938390672, "selectivity_mean": 0.03333333333333331, "selectivity_ci": [ -0.03750000000000001, 0.10416666666666666 ], "p_boot": 0.1873, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.5166666666666666, "task_acc_seed_sd": 0.05392574627310328, "selectivity_mean": -0.004166666666666696, "selectivity_ci": [ -0.08333333333333337, 0.06666666666666667 ], "p_boot": 0.5614, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.5208333333333333, "task_acc_seed_sd": 0.04166666666666666, "selectivity_mean": -0.016666666666666642, "selectivity_ci": [ -0.07083333333333329, 0.025 ], "p_boot": 0.6928, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.07306532465312576, "selectivity_mean": -0.05416666666666666, "selectivity_ci": [ -0.16666666666666666, 0.07083333333333333 ], "p_boot": 0.7992, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.55, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.03333333333333335, "selectivity_ci": [ -0.016666666666666653, 0.09583333333333335 ], "p_boot": 0.1353, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.10353978033157647, "selectivity_mean": 0.07083333333333335, "selectivity_ci": [ -0.02916666666666664, 0.1833333333333333 ], "p_boot": 0.0784, "fdr_significant": false }, { "layer": 21, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.07597742720337697, "selectivity_mean": -0.012499999999999978, "selectivity_ci": [ -0.08749999999999998, 0.06250000000000003 ], "p_boot": 0.6304, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.525, "task_acc_seed_sd": 0.04750730937913076, "selectivity_mean": 0.03749999999999998, "selectivity_ci": [ -0.04583333333333337, 0.125 ], "p_boot": 0.2351, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.7208333333333333, "task_acc_seed_sd": 0.08014743359029725, "selectivity_mean": 0.18749999999999997, "selectivity_ci": [ 0.13333333333333333, 0.26249999999999996 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.725, "task_acc_seed_sd": 0.08513673642376063, "selectivity_mean": 0.19999999999999998, "selectivity_ci": [ 0.12499999999999997, 0.32083333333333336 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.7125, "task_acc_seed_sd": 0.07850601533923657, "selectivity_mean": 0.19166666666666665, "selectivity_ci": [ 0.07083333333333333, 0.33333333333333337 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.7458333333333333, "task_acc_seed_sd": 0.06972166887783962, "selectivity_mean": 0.2, "selectivity_ci": [ 0.05833333333333333, 0.35 ], "p_boot": 0.0024, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.7708333333333334, "task_acc_seed_sd": 0.05892556509887898, "selectivity_mean": 0.2875, "selectivity_ci": [ 0.2083333333333334, 0.3625 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 6, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5625, "control_acc": 0.3958333333333333, "selectivity": 0.16666666666666669 }, { "layer": 0, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 0, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 0, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 0, "seed": 4, "task_acc": 0.375, "control_acc": 0.4375, "selectivity": -0.0625 }, { "layer": 1, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4166666666666667, "selectivity": 0.14583333333333331 }, { "layer": 1, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 1, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 1, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 1, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.0625 }, { "layer": 2, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 2, "seed": 1, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 2, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 2, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 2, "seed": 4, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 3, "seed": 0, "task_acc": 0.625, "control_acc": 0.4166666666666667, "selectivity": 0.20833333333333331 }, { "layer": 3, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 3, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 3, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 3, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 4, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.22916666666666669 }, { "layer": 4, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 4, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 4, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.08333333333333331 }, { "layer": 4, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 5, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.18749999999999994 }, { "layer": 5, "seed": 1, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 5, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 5, "seed": 3, "task_acc": 0.4375, "control_acc": 0.5625, "selectivity": -0.125 }, { "layer": 5, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 6, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 6, "seed": 1, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 6, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 6, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 6, "seed": 4, "task_acc": 0.625, "control_acc": 0.4583333333333333, "selectivity": 0.16666666666666669 }, { "layer": 7, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.4375, "selectivity": 0.16666666666666663 }, { "layer": 7, "seed": 1, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 7, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 7, "seed": 3, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 7, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 8, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4166666666666667, "selectivity": 0.14583333333333331 }, { "layer": 8, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.08333333333333331 }, { "layer": 8, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 8, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 9, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 9, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.4375, "control_acc": 0.5, "selectivity": -0.0625 }, { "layer": 9, "seed": 3, "task_acc": 0.375, "control_acc": 0.5208333333333334, "selectivity": -0.14583333333333337 }, { "layer": 9, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 10, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 10, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.6041666666666666, "selectivity": -0.14583333333333331 }, { "layer": 10, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.12500000000000006 }, { "layer": 10, "seed": 3, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 10, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 11, "seed": 0, "task_acc": 0.625, "control_acc": 0.4583333333333333, "selectivity": 0.16666666666666669 }, { "layer": 11, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 11, "seed": 2, "task_acc": 0.3958333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.12500000000000006 }, { "layer": 11, "seed": 3, "task_acc": 0.5, "control_acc": 0.375, "selectivity": 0.125 }, { "layer": 11, "seed": 4, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 12, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 12, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 12, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.4583333333333333, "selectivity": 0.0 }, { "layer": 12, "seed": 3, "task_acc": 0.375, "control_acc": 0.4583333333333333, "selectivity": -0.08333333333333331 }, { "layer": 12, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0 }, { "layer": 13, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 13, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 13, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 13, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 14, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 14, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 14, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 14, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 14, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 15, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 15, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 15, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 15, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.0625 }, { "layer": 15, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 16, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 16, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 16, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5833333333333334, "selectivity": -0.12500000000000006 }, { "layer": 16, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 16, "seed": 4, "task_acc": 0.5625, "control_acc": 0.625, "selectivity": -0.0625 }, { "layer": 17, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 17, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 17, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 17, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 17, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.6041666666666666, "selectivity": -0.12499999999999994 }, { "layer": 18, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4166666666666667, "selectivity": 0.14583333333333331 }, { "layer": 18, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 18, "seed": 2, "task_acc": 0.375, "control_acc": 0.5833333333333334, "selectivity": -0.20833333333333337 }, { "layer": 18, "seed": 3, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 18, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.625, "selectivity": -0.14583333333333331 }, { "layer": 19, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 19, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.5625, "selectivity": -0.04166666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 19, "seed": 3, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 19, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 20, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.24999999999999994 }, { "layer": 20, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 20, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 20, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4583333333333333, "selectivity": -0.020833333333333315 }, { "layer": 20, "seed": 4, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 21, "seed": 0, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 21, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5625, "selectivity": -0.125 }, { "layer": 21, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 21, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 21, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 22, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.16666666666666669 }, { "layer": 22, "seed": 1, "task_acc": 0.5, "control_acc": 0.5833333333333334, "selectivity": -0.08333333333333337 }, { "layer": 22, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.14583333333333331 }, { "layer": 22, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 23, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 23, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 23, "seed": 2, "task_acc": 0.7291666666666666, "control_acc": 0.5625, "selectivity": 0.16666666666666663 }, { "layer": 23, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 23, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 24, "seed": 0, "task_acc": 0.875, "control_acc": 0.4375, "selectivity": 0.4375 }, { "layer": 24, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 }, { "layer": 24, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.5625, "selectivity": 0.14583333333333337 }, { "layer": 24, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 24, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5833333333333334, "selectivity": 0.10416666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.375, "selectivity": 0.45833333333333337 }, { "layer": 25, "seed": 1, "task_acc": 0.625, "control_acc": 0.625, "selectivity": 0.0 }, { "layer": 25, "seed": 2, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 25, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 25, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5625, "selectivity": 0.14583333333333337 }, { "layer": 26, "seed": 0, "task_acc": 0.8541666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.4583333333333333 }, { "layer": 26, "seed": 1, "task_acc": 0.6875, "control_acc": 0.7291666666666666, "selectivity": -0.04166666666666663 }, { "layer": 26, "seed": 2, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 26, "seed": 3, "task_acc": 0.6875, "control_acc": 0.4166666666666667, "selectivity": 0.2708333333333333 }, { "layer": 26, "seed": 4, "task_acc": 0.7708333333333334, "control_acc": 0.6666666666666666, "selectivity": 0.10416666666666674 }, { "layer": 27, "seed": 0, "task_acc": 0.8333333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.4166666666666667 }, { "layer": 27, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 27, "seed": 2, "task_acc": 0.75, "control_acc": 0.4375, "selectivity": 0.3125 }, { "layer": 27, "seed": 3, "task_acc": 0.7291666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.3333333333333333 }, { "layer": 27, "seed": 4, "task_acc": 0.8333333333333334, "control_acc": 0.6666666666666666, "selectivity": 0.16666666666666674 } ] } }, "twin": { "word_order_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.9375, "task_acc_seed_sd": 0.02083333333333337, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.3666666666666666, 0.4541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4166666666666667, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.41666666666666663, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.9541666666666668, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.4000000000000001, 0.5583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9541666666666668, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4708333333333334, "selectivity_ci": [ 0.4208333333333334, 0.5333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9541666666666668, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4916666666666666, "selectivity_ci": [ 0.41666666666666663, 0.5833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.3916666666666666, 0.6166666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.38749999999999996, 0.625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.2625, 0.4375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.020833333333333315, "selectivity_mean": 0.3291666666666666, "selectivity_ci": [ 0.17916666666666664, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.02716334335501103, "selectivity_mean": 0.3708333333333333, "selectivity_ci": [ 0.27499999999999997, 0.4708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.29166666666666663, 0.5791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.02716334335501103, "selectivity_mean": 0.55, "selectivity_ci": [ 0.25833333333333336, 0.8 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.5708333333333333, "selectivity_ci": [ 0.375, 0.7666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.1958333333333333, 0.4876041666666651 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.5916666666666667, "selectivity_ci": [ 0.4, 0.7833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.5583333333333333, "selectivity_ci": [ 0.30833333333333335, 0.7916666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.2708333333333333, 0.6547916666666576 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9541666666666668, "task_acc_seed_sd": 0.0174304172194599, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.2166666666666667, 0.6249999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.018633899812498238, "selectivity_mean": 0.5083333333333333, "selectivity_ci": [ 0.3583333333333333, 0.6583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.39583333333333337, "selectivity_ci": [ 0.2333333333333333, 0.5958333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.027950849718747388, "selectivity_mean": 0.3875, "selectivity_ci": [ 0.19999999999999998, 0.5833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.027950849718747388, "selectivity_mean": 0.5625, "selectivity_ci": [ 0.3497916666666668, 0.75 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9416666666666667, "task_acc_seed_sd": 0.027163343355011044, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.26666666666666666, 0.6666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9458333333333334, "task_acc_seed_sd": 0.027950849718747388, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.26249999999999996, 0.6541666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.5208333333333334, "selectivity_ci": [ 0.3208333333333333, 0.7208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4833333333333332, "selectivity_ci": [ 0.31666666666666665, 0.6416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.4291666666666667, "selectivity_ci": [ 0.2333333333333333, 0.625 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.35119047619047616, "ci": [ 0.16651785714285727, 0.5595238095238095 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 0, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 0, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 0, "seed": 3, "task_acc": 0.9166666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.33333333333333326 }, { "layer": 0, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 1, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 1, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 1, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 1, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 2, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 2, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 2, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.375, "selectivity": 0.5833333333333334 }, { "layer": 2, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 2, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 3, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 3, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3125, "selectivity": 0.6458333333333334 }, { "layer": 3, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 3, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 4, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 4, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 4, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.375, "selectivity": 0.5833333333333334 }, { "layer": 4, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 4, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 5, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 5, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 5, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3125, "selectivity": 0.6458333333333334 }, { "layer": 5, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 5, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 6, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4791666666666667, "selectivity": 0.4583333333333333 }, { "layer": 6, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 6, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.22916666666666666, "selectivity": 0.7291666666666667 }, { "layer": 6, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 6, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 7, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.33333333333333326 }, { "layer": 7, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.2708333333333333, "selectivity": 0.6875 }, { "layer": 7, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.6458333333333333 }, { "layer": 7, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 8, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 8, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.7291666666666666, "selectivity": 0.25 }, { "layer": 8, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 8, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 8, "seed": 4, "task_acc": 0.9375, "control_acc": 0.7083333333333334, "selectivity": 0.22916666666666663 }, { "layer": 9, "seed": 0, "task_acc": 0.9375, "control_acc": 0.7708333333333334, "selectivity": 0.16666666666666663 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.75, "selectivity": 0.22916666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 9, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.2916666666666667, "selectivity": 0.6875 }, { "layer": 9, "seed": 4, "task_acc": 0.9375, "control_acc": 0.7708333333333334, "selectivity": 0.16666666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 10, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.33333333333333326 }, { "layer": 10, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 10, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.5208333333333333 }, { "layer": 10, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.7083333333333334, "selectivity": 0.20833333333333326 }, { "layer": 11, "seed": 0, "task_acc": 0.9375, "control_acc": 0.6458333333333334, "selectivity": 0.29166666666666663 }, { "layer": 11, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.25, "selectivity": 0.7291666666666666 }, { "layer": 11, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 11, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 11, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.25 }, { "layer": 12, "seed": 0, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 12, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.10416666666666667, "selectivity": 0.875 }, { "layer": 12, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.1875, "selectivity": 0.7708333333333334 }, { "layer": 12, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.2708333333333333, "selectivity": 0.7083333333333333 }, { "layer": 12, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.8541666666666666, "selectivity": 0.0625 }, { "layer": 13, "seed": 0, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 13, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.14583333333333334, "selectivity": 0.8333333333333333 }, { "layer": 13, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.20833333333333334, "selectivity": 0.75 }, { "layer": 13, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.2916666666666667, "selectivity": 0.6666666666666667 }, { "layer": 13, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.625, "selectivity": 0.29166666666666663 }, { "layer": 14, "seed": 0, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 14, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.375, "selectivity": 0.6041666666666666 }, { "layer": 14, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.3125 }, { "layer": 14, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 14, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.8333333333333334, "selectivity": 0.08333333333333326 }, { "layer": 15, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 15, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.16666666666666666, "selectivity": 0.8125 }, { "layer": 15, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.14583333333333334, "selectivity": 0.8125 }, { "layer": 15, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.2916666666666667, "selectivity": 0.6666666666666667 }, { "layer": 15, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.625, "selectivity": 0.29166666666666663 }, { "layer": 16, "seed": 0, "task_acc": 0.9375, "control_acc": 0.75, "selectivity": 0.1875 }, { "layer": 16, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.0625, "selectivity": 0.9166666666666666 }, { "layer": 16, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.25, "selectivity": 0.7083333333333334 }, { "layer": 16, "seed": 3, "task_acc": 0.9375, "control_acc": 0.22916666666666666, "selectivity": 0.7083333333333334 }, { "layer": 16, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.27083333333333326 }, { "layer": 17, "seed": 0, "task_acc": 0.9375, "control_acc": 0.75, "selectivity": 0.1875 }, { "layer": 17, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.125, "selectivity": 0.8541666666666666 }, { "layer": 17, "seed": 2, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 17, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 17, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 18, "seed": 0, "task_acc": 0.9375, "control_acc": 0.7291666666666666, "selectivity": 0.20833333333333337 }, { "layer": 18, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3333333333333333, "selectivity": 0.6458333333333333 }, { "layer": 18, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.2708333333333333, "selectivity": 0.6875 }, { "layer": 18, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 18, "seed": 4, "task_acc": 0.9375, "control_acc": 0.8333333333333334, "selectivity": 0.10416666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9375, "control_acc": 0.6458333333333334, "selectivity": 0.29166666666666663 }, { "layer": 19, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5833333333333333 }, { "layer": 19, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.3125 }, { "layer": 19, "seed": 3, "task_acc": 0.9375, "control_acc": 0.2916666666666667, "selectivity": 0.6458333333333333 }, { "layer": 19, "seed": 4, "task_acc": 0.9375, "control_acc": 0.22916666666666666, "selectivity": 0.7083333333333334 }, { "layer": 20, "seed": 0, "task_acc": 0.9375, "control_acc": 0.6458333333333334, "selectivity": 0.29166666666666663 }, { "layer": 20, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.20833333333333334, "selectivity": 0.7708333333333333 }, { "layer": 20, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.7083333333333334, "selectivity": 0.25 }, { "layer": 20, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4791666666666667 }, { "layer": 20, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.7291666666666666, "selectivity": 0.1875 }, { "layer": 21, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.25 }, { "layer": 21, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6875, "selectivity": 0.29166666666666663 }, { "layer": 21, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.2708333333333333, "selectivity": 0.6875 }, { "layer": 21, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.6041666666666667 }, { "layer": 21, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.8125, "selectivity": 0.10416666666666663 }, { "layer": 22, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.75, "selectivity": 0.16666666666666663 }, { "layer": 22, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.14583333333333334, "selectivity": 0.8333333333333333 }, { "layer": 22, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.22916666666666666, "selectivity": 0.7291666666666667 }, { "layer": 22, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5, "selectivity": 0.45833333333333337 }, { "layer": 22, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.2916666666666667, "selectivity": 0.625 }, { "layer": 23, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.7083333333333334, "selectivity": 0.20833333333333326 }, { "layer": 23, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.75, "selectivity": 0.22916666666666663 }, { "layer": 23, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.16666666666666666, "selectivity": 0.7916666666666667 }, { "layer": 23, "seed": 3, "task_acc": 0.9375, "control_acc": 0.2916666666666667, "selectivity": 0.6458333333333333 }, { "layer": 23, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 24, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.7291666666666666, "selectivity": 0.1875 }, { "layer": 24, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.7708333333333334, "selectivity": 0.20833333333333326 }, { "layer": 24, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.25, "selectivity": 0.7083333333333334 }, { "layer": 24, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.2916666666666667, "selectivity": 0.6666666666666667 }, { "layer": 24, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5208333333333333 }, { "layer": 25, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.25 }, { "layer": 25, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.75, "selectivity": 0.22916666666666663 }, { "layer": 25, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.22916666666666666, "selectivity": 0.7291666666666667 }, { "layer": 25, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.20833333333333334, "selectivity": 0.75 }, { "layer": 25, "seed": 4, "task_acc": 0.9375, "control_acc": 0.2916666666666667, "selectivity": 0.6458333333333333 }, { "layer": 26, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.7083333333333334, "selectivity": 0.20833333333333326 }, { "layer": 26, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6666666666666666, "selectivity": 0.3125 }, { "layer": 26, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3125, "selectivity": 0.6458333333333334 }, { "layer": 26, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.3125, "selectivity": 0.6666666666666666 }, { "layer": 26, "seed": 4, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 27, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.75, "selectivity": 0.16666666666666663 }, { "layer": 27, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.7708333333333334, "selectivity": 0.20833333333333326 }, { "layer": 27, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.2708333333333333, "selectivity": 0.6875 }, { "layer": 27, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.2916666666666667, "selectivity": 0.6666666666666667 }, { "layer": 27, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 } ] }, "word_order_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.9291666666666666, "task_acc_seed_sd": 0.01863389981249828, "selectivity_mean": 0.4041666666666666, "selectivity_ci": [ 0.3333333333333333, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.9291666666666668, "task_acc_seed_sd": 0.02375365468956538, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.375, 0.4708333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.9375, "task_acc_seed_sd": 0.032940392293420606, "selectivity_mean": 0.4, "selectivity_ci": [ 0.35, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.03486083443891979, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.3958333333333332, 0.525 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.3708333333333333, 0.475 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.3916666666666667, 0.4833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.9416666666666668, "task_acc_seed_sd": 0.03090082702956524, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.3791666666666667, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.9458333333333332, "task_acc_seed_sd": 0.03486083443891979, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.3833333333333333, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.45, "selectivity_ci": [ 0.38750000000000007, 0.5249999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.027950849718747364, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.3916666666666666, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.02551551815399144, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.39166666666666666, 0.5541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.3833333333333333, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.4, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.029462782549439473, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.375, 0.5333333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.03423265984407289, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.3791666666666667, 0.5083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.03423265984407289, "selectivity_mean": 0.45, "selectivity_ci": [ 0.3958333333333333, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.03423265984407289, "selectivity_mean": 0.4541666666666666, "selectivity_ci": [ 0.4083333333333333, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.029462782549439473, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.4041666666666666, 0.5166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.4041666666666666, 0.5458333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.9625, "task_acc_seed_sd": 0.02716334335501103, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.3833333333333333, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4208333333333334, "selectivity_ci": [ 0.3625, 0.4916666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.3458333333333333, 0.4792708333333318 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.38749999999999996, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.425, "selectivity_ci": [ 0.37916666666666665, 0.4958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.9583333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.375, 0.5 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.375, 0.4625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.9541666666666666, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.3916666666666666, 0.5041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.95, "task_acc_seed_sd": 0.023753654689565383, "selectivity_mean": 0.425, "selectivity_ci": [ 0.35, 0.5125 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.1261904761904762, "ci": [ 0.04722222222222222, 0.21468253968253972 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.49999999999999994 }, { "layer": 0, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 0, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 0, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 0, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6458333333333334, "selectivity": 0.27083333333333326 }, { "layer": 1, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 1, "seed": 1, "task_acc": 0.9583333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.41666666666666674 }, { "layer": 1, "seed": 2, "task_acc": 0.9166666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.5208333333333333 }, { "layer": 1, "seed": 3, "task_acc": 0.9375, "control_acc": 0.5416666666666666, "selectivity": 0.39583333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 2, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.375 }, { "layer": 2, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 2, "seed": 2, "task_acc": 0.9375, "control_acc": 0.4375, "selectivity": 0.5 }, { "layer": 2, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.4375 }, { "layer": 2, "seed": 4, "task_acc": 0.9166666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.3125 }, { "layer": 3, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.4166666666666667 }, { "layer": 3, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 3, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.375, "selectivity": 0.5833333333333334 }, { "layer": 3, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 3, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 4, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 4, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 4, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 4, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 4, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 5, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 5, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 5, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4375, "selectivity": 0.5208333333333334 }, { "layer": 5, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 5, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 6, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.5, "selectivity": 0.39583333333333337 }, { "layer": 6, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 6, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 6, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5625, "selectivity": 0.39583333333333337 }, { "layer": 6, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 7, "seed": 0, "task_acc": 0.8958333333333334, "control_acc": 0.4375, "selectivity": 0.45833333333333337 }, { "layer": 7, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 7, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 7, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 7, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 8, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 8, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 8, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 8, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.4375 }, { "layer": 8, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 9, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 9, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 9, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 9, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 10, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 10, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.6041666666666667 }, { "layer": 10, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.4375, "selectivity": 0.5416666666666666 }, { "layer": 10, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.35416666666666674 }, { "layer": 11, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5, "selectivity": 0.41666666666666663 }, { "layer": 11, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 11, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 11, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 11, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.625, "selectivity": 0.33333333333333337 }, { "layer": 12, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 12, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 12, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 12, "seed": 4, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 13, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 13, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 13, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3541666666666667, "selectivity": 0.5833333333333333 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 13, "seed": 4, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 14, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.4583333333333333 }, { "layer": 14, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 14, "seed": 2, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 14, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 15, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 15, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 15, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 15, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 16, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4375, "selectivity": 0.47916666666666663 }, { "layer": 16, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.45833333333333326 }, { "layer": 16, "seed": 2, "task_acc": 0.9375, "control_acc": 0.3958333333333333, "selectivity": 0.5416666666666667 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 16, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 17, "seed": 0, "task_acc": 0.9375, "control_acc": 0.4583333333333333, "selectivity": 0.4791666666666667 }, { "layer": 17, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5, "selectivity": 0.47916666666666663 }, { "layer": 17, "seed": 2, "task_acc": 0.9375, "control_acc": 0.375, "selectivity": 0.5625 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 17, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.43749999999999994 }, { "layer": 18, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.49999999999999994 }, { "layer": 18, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3541666666666667, "selectivity": 0.6041666666666667 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 18, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 19, "seed": 0, "task_acc": 0.9375, "control_acc": 0.5208333333333334, "selectivity": 0.41666666666666663 }, { "layer": 19, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 19, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 20, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 20, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 20, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 20, "seed": 4, "task_acc": 0.9375, "control_acc": 0.6041666666666666, "selectivity": 0.33333333333333337 }, { "layer": 21, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5625, "selectivity": 0.35416666666666663 }, { "layer": 21, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 21, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.5416666666666667 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 21, "seed": 4, "task_acc": 0.9375, "control_acc": 0.625, "selectivity": 0.3125 }, { "layer": 22, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.39583333333333326 }, { "layer": 22, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 22, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 22, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 23, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 23, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 23, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 23, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 23, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5625, "selectivity": 0.375 }, { "layer": 24, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 24, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 24, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 24, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5833333333333334, "selectivity": 0.35416666666666663 }, { "layer": 25, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 25, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.375 }, { "layer": 25, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.5 }, { "layer": 25, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.375 }, { "layer": 25, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 26, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 26, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 26, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.3958333333333333, "selectivity": 0.5625 }, { "layer": 26, "seed": 3, "task_acc": 0.9791666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.39583333333333326 }, { "layer": 26, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 }, { "layer": 27, "seed": 0, "task_acc": 0.9166666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.375 }, { "layer": 27, "seed": 1, "task_acc": 0.9791666666666666, "control_acc": 0.5625, "selectivity": 0.41666666666666663 }, { "layer": 27, "seed": 2, "task_acc": 0.9583333333333334, "control_acc": 0.375, "selectivity": 0.5833333333333334 }, { "layer": 27, "seed": 3, "task_acc": 0.9583333333333334, "control_acc": 0.6458333333333334, "selectivity": 0.3125 }, { "layer": 27, "seed": 4, "task_acc": 0.9375, "control_acc": 0.5, "selectivity": 0.4375 } ] }, "agreement_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.7291666666666667, "task_acc_seed_sd": 0.07933096985274903, "selectivity_mean": 0.22916666666666666, "selectivity_ci": [ 0.16666666666666666, 0.29166666666666663 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.05590169943749473, "selectivity_mean": 0.12500000000000003, "selectivity_ci": [ 0.050000000000000024, 0.20833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.6291666666666667, "task_acc_seed_sd": 0.05187458165828639, "selectivity_mean": 0.1333333333333334, "selectivity_ci": [ 0.07083333333333339, 0.2041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.6875, "task_acc_seed_sd": 0.02083333333333337, "selectivity_mean": 0.17083333333333334, "selectivity_ci": [ 0.1375, 0.20833333333333331 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.6708333333333334, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": 0.14166666666666666, "selectivity_ci": [ 0.10833333333333331, 0.18333333333333335 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.6833333333333333, "task_acc_seed_sd": 0.03726779962499648, "selectivity_mean": 0.16249999999999998, "selectivity_ci": [ 0.14166666666666666, 0.18333333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.675, "task_acc_seed_sd": 0.05628856702544288, "selectivity_mean": 0.14999999999999997, "selectivity_ci": [ 0.10833333333333332, 0.19166666666666662 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.65, "task_acc_seed_sd": 0.08640183897219883, "selectivity_mean": 0.13333333333333333, "selectivity_ci": [ 0.054166666666666655, 0.2 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.6375, "task_acc_seed_sd": 0.07597742720337695, "selectivity_mean": 0.11666666666666665, "selectivity_ci": [ 0.05000000000000001, 0.175 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.6208333333333333, "task_acc_seed_sd": 0.08254838648399564, "selectivity_mean": 0.10416666666666666, "selectivity_ci": [ 0.03333333333333334, 0.1875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.6333333333333334, "task_acc_seed_sd": 0.06353312784157046, "selectivity_mean": 0.11249999999999998, "selectivity_ci": [ 0.058333333333333307, 0.17083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.6166666666666666, "task_acc_seed_sd": 0.07306532465312575, "selectivity_mean": 0.0833333333333333, "selectivity_ci": [ 0.01666666666666663, 0.15416666666666665 ], "p_boot": 0.0037, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.6125, "task_acc_seed_sd": 0.08411095515910978, "selectivity_mean": 0.05000000000000001, "selectivity_ci": [ -0.020833333333333294, 0.1208333333333333 ], "p_boot": 0.0868, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.6333333333333333, "task_acc_seed_sd": 0.08411095515910981, "selectivity_mean": 0.06250000000000003, "selectivity_ci": [ -0.004166666666666652, 0.1291666666666667 ], "p_boot": 0.0284, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.6125, "task_acc_seed_sd": 0.0773923984208613, "selectivity_mean": 0.050000000000000044, "selectivity_ci": [ -0.02083333333333328, 0.12500000000000003 ], "p_boot": 0.0807, "fdr_significant": false }, { "layer": 15, "task_acc_mean": 0.6208333333333333, "task_acc_seed_sd": 0.07850601533923653, "selectivity_mean": 0.054166666666666655, "selectivity_ci": [ -0.016666666666666673, 0.1208333333333333 ], "p_boot": 0.0812, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.6125, "task_acc_seed_sd": 0.09727181274940629, "selectivity_mean": 0.05416666666666668, "selectivity_ci": [ -0.02916666666666664, 0.1375 ], "p_boot": 0.0961, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.6041666666666667, "task_acc_seed_sd": 0.07654655446197431, "selectivity_mean": 0.041666666666666685, "selectivity_ci": [ -0.01666666666666663, 0.1 ], "p_boot": 0.0838, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.5833333333333334, "task_acc_seed_sd": 0.06421264586426018, "selectivity_mean": 0.016666666666666684, "selectivity_ci": [ -0.05416666666666663, 0.08333333333333334 ], "p_boot": 0.3085, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.6, "task_acc_seed_sd": 0.06814761347415052, "selectivity_mean": 0.0375, "selectivity_ci": [ -0.029166666666666674, 0.10416666666666666 ], "p_boot": 0.1597, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.6, "task_acc_seed_sd": 0.06319062870042957, "selectivity_mean": 0.04166666666666665, "selectivity_ci": [ 0.004166666666666674, 0.0833333333333333 ], "p_boot": 0.0163, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.5916666666666667, "task_acc_seed_sd": 0.07739239842086129, "selectivity_mean": 0.03333333333333334, "selectivity_ci": [ -0.02083333333333335, 0.09583333333333335 ], "p_boot": 0.1485, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.5833333333333333, "task_acc_seed_sd": 0.09316949906249124, "selectivity_mean": 0.025, "selectivity_ci": [ -0.03333333333333335, 0.09583333333333335 ], "p_boot": 0.2574, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.5875, "task_acc_seed_sd": 0.06972166887783961, "selectivity_mean": 0.045833333333333316, "selectivity_ci": [ -0.0125, 0.10833333333333328 ], "p_boot": 0.0675, "fdr_significant": false }, { "layer": 24, "task_acc_mean": 0.5958333333333334, "task_acc_seed_sd": 0.09947780321927768, "selectivity_mean": 0.04583333333333335, "selectivity_ci": [ -0.04583333333333332, 0.1291666666666667 ], "p_boot": 0.1548, "fdr_significant": false }, { "layer": 25, "task_acc_mean": 0.6041666666666667, "task_acc_seed_sd": 0.08333333333333334, "selectivity_mean": 0.08333333333333334, "selectivity_ci": [ 0.008333333333333326, 0.14166666666666672 ], "p_boot": 0.0105, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.6083333333333333, "task_acc_seed_sd": 0.09009061796016521, "selectivity_mean": 0.09166666666666665, "selectivity_ci": [ 0.008333333333333293, 0.15416666666666665 ], "p_boot": 0.0067, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.5916666666666667, "task_acc_seed_sd": 0.09727181274940627, "selectivity_mean": 0.05833333333333335, "selectivity_ci": [ -0.02916666666666663, 0.13333333333333333 ], "p_boot": 0.0897, "fdr_significant": false } ], "replication_rate_topk": { "k": 5, "point": 0.34404761904761905, "ci": [ 0.22738095238095238, 0.47023809523809523 ] }, "n_fdr_significant": 16, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 0, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 0, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.22916666666666669 }, { "layer": 0, "seed": 3, "task_acc": 0.8541666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.33333333333333326 }, { "layer": 0, "seed": 4, "task_acc": 0.75, "control_acc": 0.4791666666666667, "selectivity": 0.2708333333333333 }, { "layer": 1, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 1, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 1, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 1, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5625, "selectivity": 0.08333333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.2708333333333333 }, { "layer": 2, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 2, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 2, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 2, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 2, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.25000000000000006 }, { "layer": 3, "seed": 0, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 3, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5625, "selectivity": 0.14583333333333337 }, { "layer": 3, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 3, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 3, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.4375, "selectivity": 0.22916666666666663 }, { "layer": 4, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 4, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 4, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 4, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 4, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 5, "seed": 0, "task_acc": 0.625, "control_acc": 0.4791666666666667, "selectivity": 0.14583333333333331 }, { "layer": 5, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.1875 }, { "layer": 5, "seed": 2, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 5, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 5, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 }, { "layer": 6, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 6, "seed": 1, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 6, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 6, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5833333333333334, "selectivity": 0.10416666666666663 }, { "layer": 6, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 7, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0 }, { "layer": 7, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 7, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 7, "seed": 3, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 7, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5, "selectivity": 0.22916666666666663 }, { "layer": 8, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 8, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 8, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 8, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 9, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 9, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 9, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 9, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.04166666666666674 }, { "layer": 9, "seed": 4, "task_acc": 0.75, "control_acc": 0.4791666666666667, "selectivity": 0.2708333333333333 }, { "layer": 10, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 10, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 10, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 10, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 10, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 11, "seed": 0, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 11, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 11, "seed": 2, "task_acc": 0.625, "control_acc": 0.5833333333333334, "selectivity": 0.04166666666666663 }, { "layer": 11, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 11, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 12, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 12, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 12, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.5625, "selectivity": 0.10416666666666663 }, { "layer": 12, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 12, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 }, { "layer": 13, "seed": 0, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 13, "seed": 1, "task_acc": 0.6875, "control_acc": 0.625, "selectivity": 0.0625 }, { "layer": 13, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 13, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0 }, { "layer": 13, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 14, "seed": 0, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 14, "seed": 1, "task_acc": 0.625, "control_acc": 0.6041666666666666, "selectivity": 0.02083333333333337 }, { "layer": 14, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 14, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 14, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 15, "seed": 0, "task_acc": 0.5, "control_acc": 0.5625, "selectivity": -0.0625 }, { "layer": 15, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0625 }, { "layer": 15, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.5625, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 15, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 }, { "layer": 16, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.08333333333333331 }, { "layer": 16, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0625 }, { "layer": 16, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 16, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 16, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 17, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 17, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.04166666666666674 }, { "layer": 17, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 17, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 17, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5625, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.10416666666666669 }, { "layer": 18, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 18, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 18, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 18, "seed": 4, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 19, "seed": 0, "task_acc": 0.5, "control_acc": 0.5625, "selectivity": -0.0625 }, { "layer": 19, "seed": 1, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 19, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 19, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.625, "selectivity": -0.04166666666666663 }, { "layer": 19, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 20, "seed": 0, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 20, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 20, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 20, "seed": 3, "task_acc": 0.625, "control_acc": 0.6041666666666666, "selectivity": 0.02083333333333337 }, { "layer": 20, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 21, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 21, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 21, "seed": 2, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 21, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.625, "selectivity": -0.02083333333333337 }, { "layer": 21, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 22, "seed": 0, "task_acc": 0.4375, "control_acc": 0.5, "selectivity": -0.0625 }, { "layer": 22, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 22, "seed": 2, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 22, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.625, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 23, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 23, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 23, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 23, "seed": 3, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 23, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 24, "seed": 0, "task_acc": 0.4375, "control_acc": 0.5625, "selectivity": -0.125 }, { "layer": 24, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 24, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 3, "task_acc": 0.625, "control_acc": 0.6041666666666666, "selectivity": 0.02083333333333337 }, { "layer": 24, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 25, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 25, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 25, "seed": 2, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 25, "seed": 3, "task_acc": 0.625, "control_acc": 0.5833333333333334, "selectivity": 0.04166666666666663 }, { "layer": 25, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 26, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 26, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 26, "seed": 2, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 26, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5625, "selectivity": 0.10416666666666663 }, { "layer": 26, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 27, "seed": 0, "task_acc": 0.4375, "control_acc": 0.5416666666666666, "selectivity": -0.10416666666666663 }, { "layer": 27, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 27, "seed": 2, "task_acc": 0.625, "control_acc": 0.5, "selectivity": 0.125 }, { "layer": 27, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5625, "selectivity": 0.08333333333333337 }, { "layer": 27, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 } ] }, "agreement_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.6500000000000001, "task_acc_seed_sd": 0.037267799624996524, "selectivity_mean": 0.125, "selectivity_ci": [ 0.07916666666666665, 0.17500000000000002 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 0.6666666666666667, "task_acc_seed_sd": 0.05103103630798288, "selectivity_mean": 0.1333333333333333, "selectivity_ci": [ 0.07499999999999998, 0.19166666666666662 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.6666666666666667, "task_acc_seed_sd": 0.06588078458684123, "selectivity_mean": 0.1166666666666667, "selectivity_ci": [ 0.04583333333333339, 0.1875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.6583333333333333, "task_acc_seed_sd": 0.07306532465312578, "selectivity_mean": 0.125, "selectivity_ci": [ 0.04999999999999997, 0.19583333333333328 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 0.6833333333333333, "task_acc_seed_sd": 0.06144950501563596, "selectivity_mean": 0.14166666666666666, "selectivity_ci": [ 0.07916666666666664, 0.2166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 0.6541666666666667, "task_acc_seed_sd": 0.0501733107449679, "selectivity_mean": 0.12916666666666665, "selectivity_ci": [ 0.06666666666666665, 0.19166666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.6458333333333333, "task_acc_seed_sd": 0.03294039229342062, "selectivity_mean": 0.1125, "selectivity_ci": [ 0.07916666666666664, 0.1625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 0.65, "task_acc_seed_sd": 0.047507309379130745, "selectivity_mean": 0.1333333333333333, "selectivity_ci": [ 0.06249999999999998, 0.20416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.6708333333333334, "task_acc_seed_sd": 0.05187458165828639, "selectivity_mean": 0.14583333333333334, "selectivity_ci": [ 0.07083333333333336, 0.21666666666666665 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 0.6708333333333333, "task_acc_seed_sd": 0.027163343355011037, "selectivity_mean": 0.15416666666666665, "selectivity_ci": [ 0.10416666666666666, 0.2 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.6583333333333334, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.11250000000000004, "selectivity_ci": [ 0.05000000000000001, 0.16250000000000003 ], "p_boot": 0.0005, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.6499999999999999, "task_acc_seed_sd": 0.042695628191498344, "selectivity_mean": 0.12499999999999996, "selectivity_ci": [ 0.06666666666666661, 0.1833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.6458333333333333, "task_acc_seed_sd": 0.05103103630798288, "selectivity_mean": 0.10416666666666666, "selectivity_ci": [ 0.058333333333333307, 0.15010416666666515 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 0.6583333333333333, "task_acc_seed_sd": 0.047961935138422236, "selectivity_mean": 0.12499999999999996, "selectivity_ci": [ 0.0708333333333333, 0.1708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 0.65, "task_acc_seed_sd": 0.04516559039308085, "selectivity_mean": 0.10833333333333331, "selectivity_ci": [ 0.07083333333333329, 0.14166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.6458333333333333, "task_acc_seed_sd": 0.04658474953124561, "selectivity_mean": 0.12083333333333335, "selectivity_ci": [ 0.075, 0.16666666666666669 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 0.6333333333333334, "task_acc_seed_sd": 0.045643546458763846, "selectivity_mean": 0.11250000000000002, "selectivity_ci": [ 0.025000000000000033, 0.1916666666666667 ], "p_boot": 0.0032, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 0.6375, "task_acc_seed_sd": 0.03486083443891979, "selectivity_mean": 0.12083333333333335, "selectivity_ci": [ 0.06666666666666668, 0.17916666666666664 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.053925746273103245, "selectivity_mean": 0.12083333333333335, "selectivity_ci": [ 0.05833333333333337, 0.1916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.03726779962499651, "selectivity_mean": 0.11666666666666665, "selectivity_ci": [ 0.06249999999999998, 0.175 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 0.6333333333333334, "task_acc_seed_sd": 0.04061164310337068, "selectivity_mean": 0.10833333333333332, "selectivity_ci": [ 0.033333333333333326, 0.18333333333333332 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.05392574627310328, "selectivity_mean": 0.12083333333333335, "selectivity_ci": [ 0.050000000000000024, 0.19583333333333336 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 0.6333333333333333, "task_acc_seed_sd": 0.056288567025442916, "selectivity_mean": 0.11666666666666665, "selectivity_ci": [ 0.04166666666666667, 0.18333333333333335 ], "p_boot": 0.0018, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.05187458165828639, "selectivity_mean": 0.12500000000000003, "selectivity_ci": [ 0.05000000000000001, 0.19583333333333336 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 0.6541666666666667, "task_acc_seed_sd": 0.0501733107449679, "selectivity_mean": 0.12083333333333332, "selectivity_ci": [ 0.03333333333333337, 0.1958333333333333 ], "p_boot": 0.0011, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 0.6416666666666666, "task_acc_seed_sd": 0.049738901609638835, "selectivity_mean": 0.1125, "selectivity_ci": [ 0.025000000000000022, 0.18749999999999994 ], "p_boot": 0.0038, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 0.6500000000000001, "task_acc_seed_sd": 0.04973890160963884, "selectivity_mean": 0.1291666666666667, "selectivity_ci": [ 0.04583333333333339, 0.20833333333333334 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 0.6416666666666667, "task_acc_seed_sd": 0.047507309379130745, "selectivity_mean": 0.10833333333333335, "selectivity_ci": [ 0.020833333333333336, 0.1875 ], "p_boot": 0.0111, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 0.16904761904761906, "ci": [ 0.07619047619047618, 0.26865079365079364 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 0, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 0, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4375, "selectivity": 0.20833333333333337 }, { "layer": 0, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 0, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.10416666666666674 }, { "layer": 1, "seed": 0, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 1, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0625 }, { "layer": 1, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 1, "seed": 3, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.20833333333333326 }, { "layer": 2, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5416666666666666, "selectivity": 0.02083333333333337 }, { "layer": 2, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.6666666666666666, "selectivity": 0.04166666666666674 }, { "layer": 2, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 2, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 2, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5, "selectivity": 0.22916666666666663 }, { "layer": 3, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 3, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.6041666666666666, "selectivity": 0.10416666666666674 }, { "layer": 3, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 3, "seed": 3, "task_acc": 0.7291666666666666, "control_acc": 0.5, "selectivity": 0.22916666666666663 }, { "layer": 3, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 4, "seed": 0, "task_acc": 0.625, "control_acc": 0.5833333333333334, "selectivity": 0.04166666666666663 }, { "layer": 4, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5833333333333334, "selectivity": 0.10416666666666663 }, { "layer": 4, "seed": 2, "task_acc": 0.625, "control_acc": 0.4583333333333333, "selectivity": 0.16666666666666669 }, { "layer": 4, "seed": 3, "task_acc": 0.7083333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.125 }, { "layer": 4, "seed": 4, "task_acc": 0.7708333333333334, "control_acc": 0.5, "selectivity": 0.27083333333333337 }, { "layer": 5, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.125 }, { "layer": 5, "seed": 2, "task_acc": 0.625, "control_acc": 0.3958333333333333, "selectivity": 0.22916666666666669 }, { "layer": 5, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 5, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 6, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 6, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.6041666666666666, "selectivity": 0.0625 }, { "layer": 6, "seed": 2, "task_acc": 0.625, "control_acc": 0.4166666666666667, "selectivity": 0.20833333333333331 }, { "layer": 6, "seed": 3, "task_acc": 0.6875, "control_acc": 0.5833333333333334, "selectivity": 0.10416666666666663 }, { "layer": 6, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 7, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 7, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5625, "selectivity": 0.10416666666666663 }, { "layer": 7, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4375, "selectivity": 0.22916666666666663 }, { "layer": 7, "seed": 3, "task_acc": 0.625, "control_acc": 0.5833333333333334, "selectivity": 0.04166666666666663 }, { "layer": 7, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.22916666666666669 }, { "layer": 8, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 8, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 8, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4166666666666667, "selectivity": 0.2708333333333333 }, { "layer": 8, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 8, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 9, "seed": 0, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 9, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5208333333333334, "selectivity": 0.16666666666666663 }, { "layer": 9, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 9, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 9, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 10, "seed": 0, "task_acc": 0.625, "control_acc": 0.625, "selectivity": 0.0 }, { "layer": 10, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 10, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 10, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 10, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.16666666666666674 }, { "layer": 11, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.02083333333333326 }, { "layer": 11, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 11, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 11, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 11, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5625, "selectivity": 0.125 }, { "layer": 12, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 12, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 12, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 12, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 12, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5625, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 13, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 13, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 13, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 4, "task_acc": 0.7291666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.14583333333333326 }, { "layer": 14, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5833333333333334, "selectivity": 0.08333333333333326 }, { "layer": 14, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.14583333333333331 }, { "layer": 14, "seed": 3, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 14, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5625, "selectivity": 0.14583333333333337 }, { "layer": 15, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 15, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 15, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 15, "seed": 3, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 15, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 16, "seed": 0, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 16, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 16, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 16, "seed": 3, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 16, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 17, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 17, "seed": 1, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 17, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 17, "seed": 4, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 18, "seed": 1, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 18, "seed": 2, "task_acc": 0.7291666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.24999999999999994 }, { "layer": 18, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5, "selectivity": 0.14583333333333337 }, { "layer": 19, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 19, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.125 }, { "layer": 19, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 19, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 19, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 20, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 20, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 20, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4375, "selectivity": 0.25 }, { "layer": 20, "seed": 3, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 20, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 21, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 21, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 21, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.25000000000000006 }, { "layer": 21, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 21, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 22, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 22, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 22, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 22, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5, "selectivity": 0.14583333333333337 }, { "layer": 23, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 23, "seed": 1, "task_acc": 0.6875, "control_acc": 0.5416666666666666, "selectivity": 0.14583333333333337 }, { "layer": 23, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4583333333333333, "selectivity": 0.22916666666666669 }, { "layer": 23, "seed": 3, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 23, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.18750000000000006 }, { "layer": 24, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 24, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.1875 }, { "layer": 24, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 24, "seed": 3, "task_acc": 0.625, "control_acc": 0.5833333333333334, "selectivity": 0.04166666666666663 }, { "layer": 24, "seed": 4, "task_acc": 0.6875, "control_acc": 0.4791666666666667, "selectivity": 0.20833333333333331 }, { "layer": 25, "seed": 0, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 25, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 25, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 25, "seed": 3, "task_acc": 0.625, "control_acc": 0.5625, "selectivity": 0.0625 }, { "layer": 25, "seed": 4, "task_acc": 0.6875, "control_acc": 0.5, "selectivity": 0.1875 }, { "layer": 26, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 26, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 26, "seed": 2, "task_acc": 0.6875, "control_acc": 0.4375, "selectivity": 0.25 }, { "layer": 26, "seed": 3, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 26, "seed": 4, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 27, "seed": 0, "task_acc": 0.5625, "control_acc": 0.625, "selectivity": -0.0625 }, { "layer": 27, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 27, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.20833333333333331 }, { "layer": 27, "seed": 3, "task_acc": 0.6458333333333334, "control_acc": 0.5625, "selectivity": 0.08333333333333337 }, { "layer": 27, "seed": 4, "task_acc": 0.6875, "control_acc": 0.4791666666666667, "selectivity": 0.20833333333333331 } ] }, "arith_valid_A_mean": { "layers": [ { "layer": 0, "task_acc_mean": 0.4833333333333334, "task_acc_seed_sd": 0.027163343355011034, "selectivity_mean": -0.033333333333333326, "selectivity_ci": [ -0.0875, 0.024999999999999988 ], "p_boot": 0.8925, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5541666666666667, "task_acc_seed_sd": 0.09838099127597996, "selectivity_mean": 0.008333333333333314, "selectivity_ci": [ -0.07083333333333335, 0.08749999999999998 ], "p_boot": 0.4055, "fdr_significant": false }, { "layer": 2, "task_acc_mean": 0.5125, "task_acc_seed_sd": 0.10056265321789307, "selectivity_mean": -0.029166666666666695, "selectivity_ci": [ -0.11250000000000002, 0.0458333333333333 ], "p_boot": 0.7526, "fdr_significant": false }, { "layer": 3, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.0814900300650331, "selectivity_mean": 0.029166666666666664, "selectivity_ci": [ -0.04999999999999999, 0.11249999999999996 ], "p_boot": 0.2359, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.5416666666666666, "task_acc_seed_sd": 0.10206207261596574, "selectivity_mean": 0.008333333333333326, "selectivity_ci": [ -0.1208333333333333, 0.13749999999999996 ], "p_boot": 0.4353, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.4958333333333334, "task_acc_seed_sd": 0.09704845582376763, "selectivity_mean": 0.004166666666666685, "selectivity_ci": [ -0.06666666666666665, 0.05833333333333336 ], "p_boot": 0.3954, "fdr_significant": false }, { "layer": 6, "task_acc_mean": 0.4916666666666666, "task_acc_seed_sd": 0.1047898028329941, "selectivity_mean": -0.05000000000000003, "selectivity_ci": [ -0.14583333333333334, 0.02916666666666663 ], "p_boot": 0.8609, "fdr_significant": false }, { "layer": 7, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.07276770498572073, "selectivity_mean": 0.07499999999999997, "selectivity_ci": [ 0.008333333333333304, 0.16666666666666663 ], "p_boot": 0.0052, "fdr_significant": false }, { "layer": 8, "task_acc_mean": 0.4791666666666667, "task_acc_seed_sd": 0.029462782549439483, "selectivity_mean": -0.075, "selectivity_ci": [ -0.12083333333333338, -0.012499999999999989 ], "p_boot": 0.9919, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.4916666666666666, "task_acc_seed_sd": 0.0841109551591098, "selectivity_mean": 0.0, "selectivity_ci": [ -0.07916666666666666, 0.06666666666666665 ], "p_boot": 0.4841, "fdr_significant": false }, { "layer": 10, "task_acc_mean": 0.4958333333333334, "task_acc_seed_sd": 0.04007371679514864, "selectivity_mean": 0.016666666666666684, "selectivity_ci": [ -0.05833333333333333, 0.09166666666666669 ], "p_boot": 0.3269, "fdr_significant": false }, { "layer": 11, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.08838834764831846, "selectivity_mean": -0.016666666666666653, "selectivity_ci": [ -0.09999999999999996, 0.06250000000000004 ], "p_boot": 0.6504, "fdr_significant": false }, { "layer": 12, "task_acc_mean": 0.4791666666666667, "task_acc_seed_sd": 0.05892556509887897, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.04583333333333336, 0.05000000000000001 ], "p_boot": 0.2673, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.4666666666666666, "task_acc_seed_sd": 0.037845629426218656, "selectivity_mean": 0.004166666666666685, "selectivity_ci": [ -0.025, 0.03750000000000003 ], "p_boot": 0.3596, "fdr_significant": false }, { "layer": 14, "task_acc_mean": 0.4916666666666666, "task_acc_seed_sd": 0.06002025121203304, "selectivity_mean": 0.025000000000000012, "selectivity_ci": [ -0.016666666666666653, 0.06666666666666668 ], "p_boot": 0.085, "fdr_significant": false }, { "layer": 15, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.05392574627310326, "selectivity_mean": 0.025000000000000012, "selectivity_ci": [ -0.0625, 0.10416666666666667 ], "p_boot": 0.2665, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.054326686710022075, "selectivity_mean": -0.041666666666666685, "selectivity_ci": [ -0.15, 0.03749999999999999 ], "p_boot": 0.7695, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.4458333333333333, "task_acc_seed_sd": 0.0315953143502148, "selectivity_mean": -0.05, "selectivity_ci": [ -0.08333333333333331, -0.016666666666666684 ], "p_boot": 1.0, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.5125, "task_acc_seed_sd": 0.06521864934374387, "selectivity_mean": 0.016666666666666663, "selectivity_ci": [ -0.03749999999999998, 0.08749999999999998 ], "p_boot": 0.3192, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.4958333333333334, "task_acc_seed_sd": 0.06488504792665599, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.05000000000000001, 0.0625 ], "p_boot": 0.328, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.4708333333333333, "task_acc_seed_sd": 0.01863389981249826, "selectivity_mean": -0.008333333333333349, "selectivity_ci": [ -0.05833333333333335, 0.03749999999999999 ], "p_boot": 0.6417, "fdr_significant": false }, { "layer": 21, "task_acc_mean": 0.4916666666666666, "task_acc_seed_sd": 0.04796193513842225, "selectivity_mean": -0.04166666666666665, "selectivity_ci": [ -0.10416666666666666, 0.025000000000000012 ], "p_boot": 0.912, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.47916666666666663, "task_acc_seed_sd": 0.04885849749816073, "selectivity_mean": 0.020833333333333325, "selectivity_ci": [ -0.016666666666666673, 0.05833333333333333 ], "p_boot": 0.1645, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.4666666666666667, "task_acc_seed_sd": 0.0787819600049543, "selectivity_mean": -0.04999999999999999, "selectivity_ci": [ -0.12499999999999996, 0.041666666666666644 ], "p_boot": 0.8902, "fdr_significant": false }, { "layer": 24, "task_acc_mean": 0.5041666666666667, "task_acc_seed_sd": 0.064885047926656, "selectivity_mean": 0.008333333333333349, "selectivity_ci": [ -0.0875, 0.1041666666666667 ], "p_boot": 0.4212, "fdr_significant": false }, { "layer": 25, "task_acc_mean": 0.5083333333333333, "task_acc_seed_sd": 0.07306532465312576, "selectivity_mean": 0.029166666666666664, "selectivity_ci": [ -0.025, 0.0875 ], "p_boot": 0.1883, "fdr_significant": false }, { "layer": 26, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.03294039229342061, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.04583333333333332, 0.06666666666666668 ], "p_boot": 0.3908, "fdr_significant": false }, { "layer": 27, "task_acc_mean": 0.475, "task_acc_seed_sd": 0.0812232862067414, "selectivity_mean": -0.0125, "selectivity_ci": [ -0.1, 0.07916666666666669 ], "p_boot": 0.6451, "fdr_significant": false } ], "replication_rate_topk": { "k": 5, "point": 0.1484126984126984, "ci": [ 0.07777777777777779, 0.23015873015873015 ] }, "n_fdr_significant": 0, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 0, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 0, "seed": 2, "task_acc": 0.5, "control_acc": 0.4375, "selectivity": 0.0625 }, { "layer": 0, "seed": 3, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 0, "seed": 4, "task_acc": 0.5, "control_acc": 0.6041666666666666, "selectivity": -0.10416666666666663 }, { "layer": 1, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.625, "selectivity": 0.02083333333333337 }, { "layer": 1, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 3, "task_acc": 0.4375, "control_acc": 0.5208333333333334, "selectivity": -0.08333333333333337 }, { "layer": 1, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 2, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.02083333333333326 }, { "layer": 2, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.10416666666666669 }, { "layer": 2, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 2, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5625, "selectivity": -0.16666666666666669 }, { "layer": 2, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 3, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 3, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 3, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 3, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 3, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 4, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 4, "seed": 1, "task_acc": 0.4375, "control_acc": 0.6041666666666666, "selectivity": -0.16666666666666663 }, { "layer": 4, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 4, "seed": 3, "task_acc": 0.4375, "control_acc": 0.6041666666666666, "selectivity": -0.16666666666666663 }, { "layer": 4, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 5, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 5, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 5, "seed": 3, "task_acc": 0.3541666666666667, "control_acc": 0.4791666666666667, "selectivity": -0.125 }, { "layer": 5, "seed": 4, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 6, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 6, "seed": 1, "task_acc": 0.375, "control_acc": 0.5833333333333334, "selectivity": -0.20833333333333337 }, { "layer": 6, "seed": 2, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 6, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5, "selectivity": -0.10416666666666669 }, { "layer": 6, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 7, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 7, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 7, "seed": 2, "task_acc": 0.6666666666666666, "control_acc": 0.4166666666666667, "selectivity": 0.24999999999999994 }, { "layer": 7, "seed": 3, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 7, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 8, "seed": 0, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 8, "seed": 1, "task_acc": 0.5, "control_acc": 0.5833333333333334, "selectivity": -0.08333333333333337 }, { "layer": 8, "seed": 2, "task_acc": 0.4375, "control_acc": 0.5833333333333334, "selectivity": -0.14583333333333337 }, { "layer": 8, "seed": 3, "task_acc": 0.5, "control_acc": 0.6041666666666666, "selectivity": -0.10416666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.08333333333333331 }, { "layer": 9, "seed": 0, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 9, "seed": 1, "task_acc": 0.3958333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.14583333333333331 }, { "layer": 9, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 9, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 9, "seed": 4, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 10, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 10, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 10, "seed": 2, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 10, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.3958333333333333, "selectivity": 0.08333333333333337 }, { "layer": 10, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 11, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 11, "seed": 1, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 11, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 11, "seed": 3, "task_acc": 0.4375, "control_acc": 0.6041666666666666, "selectivity": -0.16666666666666663 }, { "layer": 11, "seed": 4, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 12, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4375, "selectivity": 0.041666666666666685 }, { "layer": 12, "seed": 1, "task_acc": 0.3958333333333333, "control_acc": 0.5, "selectivity": -0.10416666666666669 }, { "layer": 12, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 12, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 12, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 13, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 13, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 13, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.4583333333333333, "selectivity": 0.0 }, { "layer": 13, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 13, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.4375, "selectivity": -0.020833333333333315 }, { "layer": 14, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 14, "seed": 1, "task_acc": 0.4166666666666667, "control_acc": 0.4375, "selectivity": -0.020833333333333315 }, { "layer": 14, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.4375, "selectivity": 0.08333333333333337 }, { "layer": 14, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4583333333333333, "selectivity": -0.020833333333333315 }, { "layer": 14, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 15, "seed": 0, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 1, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 15, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.12500000000000006 }, { "layer": 15, "seed": 3, "task_acc": 0.5, "control_acc": 0.625, "selectivity": -0.125 }, { "layer": 15, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 16, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 16, "seed": 1, "task_acc": 0.3958333333333333, "control_acc": 0.6458333333333334, "selectivity": -0.25000000000000006 }, { "layer": 16, "seed": 2, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 16, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 16, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4375, "selectivity": 0.041666666666666685 }, { "layer": 17, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 17, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5416666666666666, "selectivity": -0.10416666666666663 }, { "layer": 17, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 17, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.4166666666666667, "selectivity": -0.02083333333333337 }, { "layer": 17, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.08333333333333331 }, { "layer": 18, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 18, "seed": 1, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 18, "seed": 2, "task_acc": 0.625, "control_acc": 0.4791666666666667, "selectivity": 0.14583333333333331 }, { "layer": 18, "seed": 3, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 18, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 19, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4166666666666667, "selectivity": 0.0625 }, { "layer": 19, "seed": 1, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 19, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 19, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.3958333333333333, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 20, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 20, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 20, "seed": 2, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 20, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 20, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.3958333333333333, "selectivity": 0.0625 }, { "layer": 21, "seed": 0, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 21, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5625, "selectivity": -0.10416666666666669 }, { "layer": 21, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 21, "seed": 3, "task_acc": 0.5, "control_acc": 0.6041666666666666, "selectivity": -0.10416666666666663 }, { "layer": 21, "seed": 4, "task_acc": 0.4375, "control_acc": 0.5416666666666666, "selectivity": -0.10416666666666663 }, { "layer": 22, "seed": 0, "task_acc": 0.4375, "control_acc": 0.3958333333333333, "selectivity": 0.041666666666666685 }, { "layer": 22, "seed": 1, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 22, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4791666666666667, "selectivity": 0.08333333333333331 }, { "layer": 22, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 22, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 23, "seed": 0, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 23, "seed": 1, "task_acc": 0.4375, "control_acc": 0.5625, "selectivity": -0.125 }, { "layer": 23, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 23, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 23, "seed": 4, "task_acc": 0.4166666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.12499999999999994 }, { "layer": 24, "seed": 0, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 24, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.5625, "selectivity": -0.08333333333333331 }, { "layer": 24, "seed": 2, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 24, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.6041666666666666, "selectivity": -0.14583333333333331 }, { "layer": 24, "seed": 4, "task_acc": 0.4375, "control_acc": 0.4166666666666667, "selectivity": 0.020833333333333315 }, { "layer": 25, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.4166666666666667, "selectivity": 0.04166666666666663 }, { "layer": 25, "seed": 1, "task_acc": 0.5, "control_acc": 0.5416666666666666, "selectivity": -0.04166666666666663 }, { "layer": 25, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 25, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 25, "seed": 4, "task_acc": 0.625, "control_acc": 0.4791666666666667, "selectivity": 0.14583333333333331 }, { "layer": 26, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 26, "seed": 1, "task_acc": 0.5, "control_acc": 0.6041666666666666, "selectivity": -0.10416666666666663 }, { "layer": 26, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 26, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4375, "selectivity": 0.041666666666666685 }, { "layer": 26, "seed": 4, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 27, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0 }, { "layer": 27, "seed": 1, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 27, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.4375, "selectivity": 0.14583333333333337 }, { "layer": 27, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5625, "selectivity": -0.16666666666666669 }, { "layer": 27, "seed": 4, "task_acc": 0.3958333333333333, "control_acc": 0.4375, "selectivity": -0.041666666666666685 } ] }, "arith_valid_A_last": { "layers": [ { "layer": 0, "task_acc_mean": 0.5333333333333334, "task_acc_seed_sd": 0.027950849718747364, "selectivity_mean": 0.04583333333333335, "selectivity_ci": [ -0.020833333333333315, 0.10833333333333335 ], "p_boot": 0.0836, "fdr_significant": false }, { "layer": 1, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.053925746273103266, "selectivity_mean": 0.09999999999999999, "selectivity_ci": [ 0.045833333333333316, 0.1583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 0.55, "task_acc_seed_sd": 0.08014743359029726, "selectivity_mean": 0.12083333333333335, "selectivity_ci": [ 0.04166666666666667, 0.2166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.0742438736716894, "selectivity_mean": 0.04583333333333332, "selectivity_ci": [ -0.020833333333333304, 0.12499999999999996 ], "p_boot": 0.1013, "fdr_significant": false }, { "layer": 4, "task_acc_mean": 0.5625, "task_acc_seed_sd": 0.07064927065755486, "selectivity_mean": 0.04583333333333332, "selectivity_ci": [ -0.03750000000000001, 0.12916666666666665 ], "p_boot": 0.1461, "fdr_significant": false }, { "layer": 5, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.03423265984407287, "selectivity_mean": 0.04166666666666667, "selectivity_ci": [ 0.016666666666666653, 0.075 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.06814761347415055, "selectivity_mean": 0.041666666666666664, "selectivity_ci": [ -0.016666666666666698, 0.09583333333333335 ], "p_boot": 0.1018, "fdr_significant": false }, { "layer": 7, "task_acc_mean": 0.5791666666666667, "task_acc_seed_sd": 0.06488504792665596, "selectivity_mean": 0.062499999999999986, "selectivity_ci": [ 0.012499999999999978, 0.11249999999999996 ], "p_boot": 0.0064, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.1056149321303048, "selectivity_mean": 0.06250000000000003, "selectivity_ci": [ -0.033333333333333284, 0.15833333333333335 ], "p_boot": 0.0934, "fdr_significant": false }, { "layer": 9, "task_acc_mean": 0.5708333333333333, "task_acc_seed_sd": 0.06353312784157045, "selectivity_mean": 0.08333333333333334, "selectivity_ci": [ 0.029166666666666695, 0.1375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 0.575, "task_acc_seed_sd": 0.07453559924999298, "selectivity_mean": 0.06666666666666668, "selectivity_ci": [ 0.016666666666666708, 0.11249999999999996 ], "p_boot": 0.0011, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 0.5791666666666667, "task_acc_seed_sd": 0.0959238702768445, "selectivity_mean": 0.08333333333333334, "selectivity_ci": [ 0.024999999999999988, 0.15 ], "p_boot": 0.0005, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 0.5791666666666667, "task_acc_seed_sd": 0.08254838648399562, "selectivity_mean": 0.07500000000000001, "selectivity_ci": [ 0.004166666666666685, 0.14583333333333331 ], "p_boot": 0.0212, "fdr_significant": false }, { "layer": 13, "task_acc_mean": 0.5583333333333333, "task_acc_seed_sd": 0.05392574627310326, "selectivity_mean": 0.04583333333333332, "selectivity_ci": [ -0.012500000000000011, 0.09166666666666666 ], "p_boot": 0.0752, "fdr_significant": false }, { "layer": 14, "task_acc_mean": 0.5666666666666667, "task_acc_seed_sd": 0.05392574627310329, "selectivity_mean": 0.04583333333333335, "selectivity_ci": [ 0.008333333333333326, 0.09583333333333337 ], "p_boot": 0.0111, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 0.5458333333333333, "task_acc_seed_sd": 0.045165590393080816, "selectivity_mean": 0.03333333333333331, "selectivity_ci": [ -0.008333333333333326, 0.07499999999999996 ], "p_boot": 0.0787, "fdr_significant": false }, { "layer": 16, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.08149003006503311, "selectivity_mean": 0.020833333333333315, "selectivity_ci": [ -0.025000000000000022, 0.0708333333333333 ], "p_boot": 0.2279, "fdr_significant": false }, { "layer": 17, "task_acc_mean": 0.5333333333333333, "task_acc_seed_sd": 0.06180165405913052, "selectivity_mean": 0.004166666666666685, "selectivity_ci": [ -0.033333333333333326, 0.04583333333333337 ], "p_boot": 0.4258, "fdr_significant": false }, { "layer": 18, "task_acc_mean": 0.5375, "task_acc_seed_sd": 0.06488504792665598, "selectivity_mean": 0.008333333333333337, "selectivity_ci": [ -0.04166666666666667, 0.05833333333333335 ], "p_boot": 0.4031, "fdr_significant": false }, { "layer": 19, "task_acc_mean": 0.5, "task_acc_seed_sd": 0.07933096985274905, "selectivity_mean": -0.03749999999999999, "selectivity_ci": [ -0.09583333333333334, 0.02083333333333337 ], "p_boot": 0.8309, "fdr_significant": false }, { "layer": 20, "task_acc_mean": 0.5416666666666667, "task_acc_seed_sd": 0.05103103630798286, "selectivity_mean": 0.016666666666666698, "selectivity_ci": [ -0.041666666666666616, 0.07083333333333335 ], "p_boot": 0.2631, "fdr_significant": false }, { "layer": 21, "task_acc_mean": 0.5375, "task_acc_seed_sd": 0.0681476134741505, "selectivity_mean": 0.02916666666666663, "selectivity_ci": [ -0.03333333333333337, 0.09999999999999996 ], "p_boot": 0.2247, "fdr_significant": false }, { "layer": 22, "task_acc_mean": 0.5291666666666667, "task_acc_seed_sd": 0.09838099127597996, "selectivity_mean": 0.020833333333333304, "selectivity_ci": [ -0.07083333333333333, 0.09999999999999995 ], "p_boot": 0.3196, "fdr_significant": false }, { "layer": 23, "task_acc_mean": 0.5375000000000001, "task_acc_seed_sd": 0.10561493213030482, "selectivity_mean": 0.02916666666666664, "selectivity_ci": [ -0.05833333333333337, 0.12916666666666665 ], "p_boot": 0.3023, "fdr_significant": false }, { "layer": 24, "task_acc_mean": 0.5250000000000001, "task_acc_seed_sd": 0.09363418772601763, "selectivity_mean": 0.008333333333333304, "selectivity_ci": [ -0.06666666666666668, 0.09166666666666665 ], "p_boot": 0.4351, "fdr_significant": false }, { "layer": 25, "task_acc_mean": 0.5166666666666666, "task_acc_seed_sd": 0.09925941041309663, "selectivity_mean": 0.0125, "selectivity_ci": [ -0.09166666666666666, 0.125 ], "p_boot": 0.4142, "fdr_significant": false }, { "layer": 26, "task_acc_mean": 0.5333333333333334, "task_acc_seed_sd": 0.09386566938390677, "selectivity_mean": 0.016666666666666684, "selectivity_ci": [ -0.06666666666666665, 0.1041666666666667 ], "p_boot": 0.3511, "fdr_significant": false }, { "layer": 27, "task_acc_mean": 0.525, "task_acc_seed_sd": 0.07424387367168943, "selectivity_mean": 0.012500000000000034, "selectivity_ci": [ -0.049999999999999954, 0.07500000000000002 ], "p_boot": 0.3261, "fdr_significant": false } ], "replication_rate_topk": { "k": 5, "point": 0.13015873015873014, "ci": [ 0.04444444444444444, 0.23650793650793647 ] }, "n_fdr_significant": 8, "cells": [ { "layer": 0, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 0, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 0, "seed": 2, "task_acc": 0.5208333333333334, "control_acc": 0.5416666666666666, "selectivity": -0.02083333333333326 }, { "layer": 0, "seed": 3, "task_acc": 0.5, "control_acc": 0.4166666666666667, "selectivity": 0.08333333333333331 }, { "layer": 0, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 1, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.062499999999999944 }, { "layer": 1, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.20833333333333331 }, { "layer": 1, "seed": 2, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 1, "seed": 3, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 1, "seed": 4, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 2, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 2, "seed": 1, "task_acc": 0.6875, "control_acc": 0.3958333333333333, "selectivity": 0.2916666666666667 }, { "layer": 2, "seed": 2, "task_acc": 0.5416666666666666, "control_acc": 0.4375, "selectivity": 0.10416666666666663 }, { "layer": 2, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 2, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.4166666666666667, "selectivity": 0.10416666666666669 }, { "layer": 3, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 3, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 3, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 3, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 3, "seed": 4, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 4, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 4, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.18749999999999994 }, { "layer": 4, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 4, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 4, "seed": 4, "task_acc": 0.4791666666666667, "control_acc": 0.5833333333333334, "selectivity": -0.10416666666666669 }, { "layer": 5, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 5, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 5, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 5, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 6, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 6, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 6, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.125 }, { "layer": 6, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 6, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5833333333333334, "selectivity": -0.04166666666666674 }, { "layer": 7, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 7, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 7, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 7, "seed": 3, "task_acc": 0.5208333333333334, "control_acc": 0.4583333333333333, "selectivity": 0.06250000000000006 }, { "layer": 7, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5833333333333334, "selectivity": -0.02083333333333337 }, { "layer": 8, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4375, "selectivity": 0.125 }, { "layer": 8, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 2, "task_acc": 0.7083333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.22916666666666669 }, { "layer": 8, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.4583333333333333, "selectivity": -0.04166666666666663 }, { "layer": 8, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 9, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.3958333333333333, "selectivity": 0.14583333333333331 }, { "layer": 9, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.16666666666666669 }, { "layer": 9, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5625, "selectivity": 0.02083333333333337 }, { "layer": 9, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 9, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 10, "seed": 0, "task_acc": 0.5, "control_acc": 0.4166666666666667, "selectivity": 0.08333333333333331 }, { "layer": 10, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.14583333333333326 }, { "layer": 10, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 10, "seed": 3, "task_acc": 0.5, "control_acc": 0.4583333333333333, "selectivity": 0.041666666666666685 }, { "layer": 10, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.02083333333333326 }, { "layer": 11, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4375, "selectivity": 0.08333333333333337 }, { "layer": 11, "seed": 1, "task_acc": 0.7083333333333334, "control_acc": 0.5, "selectivity": 0.20833333333333337 }, { "layer": 11, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 11, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4375, "selectivity": 0.020833333333333315 }, { "layer": 11, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 12, "seed": 0, "task_acc": 0.5625, "control_acc": 0.4166666666666667, "selectivity": 0.14583333333333331 }, { "layer": 12, "seed": 1, "task_acc": 0.6666666666666666, "control_acc": 0.5, "selectivity": 0.16666666666666663 }, { "layer": 12, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.10416666666666674 }, { "layer": 12, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.4583333333333333, "selectivity": 0.0 }, { "layer": 12, "seed": 4, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 13, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 13, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.5, "selectivity": 0.10416666666666663 }, { "layer": 13, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 3, "task_acc": 0.5, "control_acc": 0.4791666666666667, "selectivity": 0.020833333333333315 }, { "layer": 13, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 14, "seed": 0, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 14, "seed": 2, "task_acc": 0.6458333333333334, "control_acc": 0.5, "selectivity": 0.14583333333333337 }, { "layer": 14, "seed": 3, "task_acc": 0.5, "control_acc": 0.5, "selectivity": 0.0 }, { "layer": 14, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0 }, { "layer": 15, "seed": 0, "task_acc": 0.5416666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.08333333333333331 }, { "layer": 15, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 15, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 15, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 15, "seed": 4, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 16, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 16, "seed": 1, "task_acc": 0.5, "control_acc": 0.5208333333333334, "selectivity": -0.02083333333333337 }, { "layer": 16, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 16, "seed": 3, "task_acc": 0.4375, "control_acc": 0.4791666666666667, "selectivity": -0.041666666666666685 }, { "layer": 16, "seed": 4, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 17, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4583333333333333, "selectivity": 0.02083333333333337 }, { "layer": 17, "seed": 1, "task_acc": 0.5208333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0 }, { "layer": 17, "seed": 2, "task_acc": 0.625, "control_acc": 0.5416666666666666, "selectivity": 0.08333333333333337 }, { "layer": 17, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 17, "seed": 4, "task_acc": 0.5625, "control_acc": 0.6041666666666666, "selectivity": -0.04166666666666663 }, { "layer": 18, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.041666666666666685 }, { "layer": 18, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5625, "selectivity": 0.04166666666666663 }, { "layer": 18, "seed": 3, "task_acc": 0.4375, "control_acc": 0.5, "selectivity": -0.0625 }, { "layer": 18, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.6041666666666666, "selectivity": -0.0625 }, { "layer": 19, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 19, "seed": 1, "task_acc": 0.5416666666666666, "control_acc": 0.5, "selectivity": 0.04166666666666663 }, { "layer": 19, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 }, { "layer": 19, "seed": 3, "task_acc": 0.375, "control_acc": 0.5208333333333334, "selectivity": -0.14583333333333337 }, { "layer": 19, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 20, "seed": 0, "task_acc": 0.5208333333333334, "control_acc": 0.5, "selectivity": 0.02083333333333337 }, { "layer": 20, "seed": 1, "task_acc": 0.5833333333333334, "control_acc": 0.4791666666666667, "selectivity": 0.10416666666666669 }, { "layer": 20, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5416666666666666, "selectivity": 0.0625 }, { "layer": 20, "seed": 3, "task_acc": 0.4791666666666667, "control_acc": 0.5, "selectivity": -0.020833333333333315 }, { "layer": 20, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.6041666666666666, "selectivity": -0.08333333333333326 }, { "layer": 21, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.4791666666666667, "selectivity": 0.0 }, { "layer": 21, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4583333333333333, "selectivity": 0.14583333333333331 }, { "layer": 21, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 21, "seed": 3, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 21, "seed": 4, "task_acc": 0.5416666666666666, "control_acc": 0.5625, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.02083333333333337 }, { "layer": 22, "seed": 1, "task_acc": 0.6041666666666666, "control_acc": 0.4791666666666667, "selectivity": 0.12499999999999994 }, { "layer": 22, "seed": 2, "task_acc": 0.625, "control_acc": 0.5208333333333334, "selectivity": 0.10416666666666663 }, { "layer": 22, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5416666666666666, "selectivity": -0.14583333333333331 }, { "layer": 22, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5208333333333334, "selectivity": 0.04166666666666663 }, { "layer": 23, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5208333333333334, "selectivity": -0.06250000000000006 }, { "layer": 23, "seed": 1, "task_acc": 0.6458333333333334, "control_acc": 0.4375, "selectivity": 0.20833333333333337 }, { "layer": 23, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 23, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.08333333333333337 }, { "layer": 23, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 24, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5208333333333334, "selectivity": -0.041666666666666685 }, { "layer": 24, "seed": 1, "task_acc": 0.625, "control_acc": 0.4791666666666667, "selectivity": 0.14583333333333331 }, { "layer": 24, "seed": 2, "task_acc": 0.6041666666666666, "control_acc": 0.5208333333333334, "selectivity": 0.08333333333333326 }, { "layer": 24, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.4791666666666667, "selectivity": -0.08333333333333337 }, { "layer": 24, "seed": 4, "task_acc": 0.5208333333333334, "control_acc": 0.5833333333333334, "selectivity": -0.0625 }, { "layer": 25, "seed": 0, "task_acc": 0.4583333333333333, "control_acc": 0.5, "selectivity": -0.041666666666666685 }, { "layer": 25, "seed": 1, "task_acc": 0.625, "control_acc": 0.4166666666666667, "selectivity": 0.20833333333333331 }, { "layer": 25, "seed": 2, "task_acc": 0.5625, "control_acc": 0.5, "selectivity": 0.0625 }, { "layer": 25, "seed": 3, "task_acc": 0.375, "control_acc": 0.5416666666666666, "selectivity": -0.16666666666666663 }, { "layer": 25, "seed": 4, "task_acc": 0.5625, "control_acc": 0.5625, "selectivity": 0.0 }, { "layer": 26, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 26, "seed": 1, "task_acc": 0.625, "control_acc": 0.4583333333333333, "selectivity": 0.16666666666666669 }, { "layer": 26, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5, "selectivity": 0.08333333333333337 }, { "layer": 26, "seed": 3, "task_acc": 0.3958333333333333, "control_acc": 0.5, "selectivity": -0.10416666666666669 }, { "layer": 26, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5833333333333334, "selectivity": 0.0 }, { "layer": 27, "seed": 0, "task_acc": 0.4791666666666667, "control_acc": 0.5416666666666666, "selectivity": -0.062499999999999944 }, { "layer": 27, "seed": 1, "task_acc": 0.5625, "control_acc": 0.4583333333333333, "selectivity": 0.10416666666666669 }, { "layer": 27, "seed": 2, "task_acc": 0.5833333333333334, "control_acc": 0.5208333333333334, "selectivity": 0.0625 }, { "layer": 27, "seed": 3, "task_acc": 0.4166666666666667, "control_acc": 0.5, "selectivity": -0.08333333333333331 }, { "layer": 27, "seed": 4, "task_acc": 0.5833333333333334, "control_acc": 0.5416666666666666, "selectivity": 0.04166666666666674 } ] } }, "positive_control": { "lang_id_A_mean": { "max_task_acc": 1.0 } } }, "wall_seconds": 88.6 }