{ "experiment": "expA_probe_reliability", "run": 1, "scope": "probe noise floor, 3 properties x 2 sets x 28 layers x 5 seeds + twin null", "commit": "3935e7933294b9c1293cd31b887126402fc53115", "config": { "model": "mlx-community/Qwen3-0.6B-4bit", "seeds": [ 0, 1, 2, 3, 4 ], "top_k": 5, "fdr_q": 0.05, "promptsets": { "version": "v1", "seed": 12345, "n_per_class": 120, "author": "Simon-Pierre Boucher", "contact": "contact@spboucher.ai", "website": "https://modelmap.io", "limitation": "template-generated v1; natural-corpus v2 registered", "files": { "arith_A.jsonl": { "sha256": "2fd80600d8a1b4ad89fed0cdeba2d5d6c33e795f7000553c08addc361305e074", "n": 240 }, "arith_B.jsonl": { "sha256": "04bb0eceb4b9262e090cd45b11d77487e438d14859a809d98377ac1807e3a502", "n": 240 }, "code_prose_A.jsonl": { "sha256": "dfbfb13dade0fd0be1202b0a745cfd03dfa796f2de4e22c6eca116abab71415c", "n": 240 }, "code_prose_B.jsonl": { "sha256": "e9c3f78d8754b0ad5c8921ed361fd4a4a8e824a3c116d2cb3f372417793fd4d7", "n": 240 }, "lang_id_A.jsonl": { "sha256": "43bd7ed12d2d9f95d643556a1a05a75623f32201b6f47fdc7d580b5f0cdce30a", "n": 240 }, "lang_id_B.jsonl": { "sha256": "833435dae9a61ae04cf354484693c821f6a88dfceaf19865b9da2947c9d71b52", "n": 240 } } } }, "manifest": { "author": "Simon-Pierre Boucher", "contact": "contact@spboucher.ai", "website": "https://modelmap.io", "chip": { "brand": "Apple M5 Max", "cores_total": 18, "cores_performance": 6, "cores_efficiency": 12 }, "memory": { "unified_gb": 48.0, "pagesize": 16384 }, "os": { "system": "Darwin", "version": "27.0", "arch": "arm64" }, "software": { "python": "3.14.4", "numpy": "2.5.2", "mlx": "0.32.0", "torch": "2.13.0", "safetensors": "0.8.0" } }, "summary": { "lang_id": { "mean_seed_sd": 0.0, "mean_dataset_shift": 0.0, "layers_shift_gt_seed_sd": 0, "n_layers": 28, "max_task_acc_A": 1.0, "max_task_acc_B": 1.0, "twin_max_selectivity": 0.8083333333333333, "replication_topk_A": 1.0, "replication_topk_B": 1.0 }, "code_prose": { "mean_seed_sd": 0.0, "mean_dataset_shift": 0.0, "layers_shift_gt_seed_sd": 0, "n_layers": 28, "max_task_acc_A": 1.0, "max_task_acc_B": 1.0, "twin_max_selectivity": 0.8833333333333332, "replication_topk_A": 1.0, "replication_topk_B": 1.0 }, "arith": { "mean_seed_sd": 0.0, "mean_dataset_shift": 0.0, "layers_shift_gt_seed_sd": 0, "n_layers": 28, "max_task_acc_A": 1.0, "max_task_acc_B": 1.0, "twin_max_selectivity": 0.5583333333333333, "replication_topk_A": 1.0, "replication_topk_B": 1.0 } }, "results": { "real": { "lang_id_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3166666666666667, "selectivity_ci": [ 0.14166666666666666, 0.5750000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3, "selectivity_ci": [ 0.13333333333333336, 0.5416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.16666666666666669, 0.7583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2875, "selectivity_ci": [ 0.11250000000000002, 0.575 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333334, "selectivity_ci": [ 0.14166666666666666, 0.7333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7291666666666667, "selectivity_ci": [ 0.4000000000000001, 0.9125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.625, "selectivity_ci": [ 0.325, 0.9 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.675, "selectivity_ci": [ 0.3666666666666667, 0.8708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6875, "selectivity_ci": [ 0.4458333333333333, 0.9 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5791666666666667, "selectivity_ci": [ 0.3166666666666666, 0.8416666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7708333333333334, "selectivity_ci": [ 0.6458333333333334, 0.8958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7458333333333333, "selectivity_ci": [ 0.4958333333333334, 0.8875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6458333333333333, "selectivity_ci": [ 0.5083333333333333, 0.7666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.475, "selectivity_ci": [ 0.3125, 0.6375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.475, "selectivity_ci": [ 0.275, 0.6791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.55, "selectivity_ci": [ 0.3375, 0.7458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6791666666666666, "selectivity_ci": [ 0.4708333333333333, 0.8291666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6166666666666668, "selectivity_ci": [ 0.4333333333333334, 0.75 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5916666666666666, "selectivity_ci": [ 0.3375, 0.8083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.20833333333333334, 0.7 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.625, "selectivity_ci": [ 0.3375, 0.825 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5624999999999999, "selectivity_ci": [ 0.2833333333333333, 0.8416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5166666666666666, "selectivity_ci": [ 0.22916666666666669, 0.7916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3833333333333334, "selectivity_ci": [ 0.16250000000000003, 0.6875000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.19583333333333333, "selectivity_ci": [ 0.09166666666666667, 0.36249999999999993 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.14999999999999997, "selectivity_ci": [ 0.0833333333333333, 0.225 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.15416666666666667, "selectivity_ci": [ 0.08750000000000002, 0.19583333333333336 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4, "selectivity_ci": [ 0.10416666666666666, 0.6958333333333334 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.375, "selectivity": 0.625 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 } ] }, "lang_id_B": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.10833333333333331, 0.7833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5833333333333334, "selectivity_ci": [ 0.2833333333333333, 0.8833333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3916666666666666, "selectivity_ci": [ 0.04583333333333332, 0.7374999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.55, "selectivity_ci": [ 0.20833333333333331, 0.8916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6208333333333333, "selectivity_ci": [ 0.3583333333333333, 0.8666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6083333333333333, "selectivity_ci": [ 0.3291666666666667, 0.85 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2791666666666667, "selectivity_ci": [ 0.03750000000000002, 0.5791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4250000000000001, "selectivity_ci": [ 0.1416666666666667, 0.7208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.48749999999999993, "selectivity_ci": [ 0.21666666666666662, 0.7583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.1958333333333333, 0.6874999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.20416666666666666, 0.7249999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.27083333333333337, "selectivity_ci": [ 0.07916666666666668, 0.5583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5625, "selectivity_ci": [ 0.2625, 0.8583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4583333333333333, "selectivity_ci": [ 0.15416666666666665, 0.7625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5458333333333333, "selectivity_ci": [ 0.3041666666666666, 0.8041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333334, "selectivity_ci": [ 0.11666666666666667, 0.7500000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6625, "selectivity_ci": [ 0.375, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7125, "selectivity_ci": [ 0.4039583333333335, 0.9041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7625, "selectivity_ci": [ 0.4833333333333334, 0.9083333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4708333333333334, "selectivity_ci": [ 0.19583333333333336, 0.7458333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2791666666666667, "selectivity_ci": [ 0.07916666666666668, 0.5416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333334, "selectivity_ci": [ 0.11250000000000002, 0.7583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6083333333333334, "selectivity_ci": [ 0.3541666666666667, 0.8416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.2375, 0.7708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2458333333333333, "selectivity_ci": [ 0.054166666666666675, 0.5375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.12916666666666665, 0.7125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333333, "selectivity_ci": [ 0.2541666666666666, 0.7666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3124999999999999, "selectivity_ci": [ 0.09166666666666663, 0.6333333333333333 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.5625, "selectivity": 0.4375 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 } ] }, "code_prose_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333333, "selectivity_ci": [ 0.2, 0.775 ], "p_boot": 0.0006, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.2541666666666666, 0.7291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4291666666666666, "selectivity_ci": [ 0.14583333333333331, 0.7208333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6708333333333333, "selectivity_ci": [ 0.4, 0.8916666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333334, "selectivity_ci": [ 0.275, 0.7416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5291666666666666, "selectivity_ci": [ 0.2583333333333333, 0.8 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3541666666666667, "selectivity_ci": [ 0.1166666666666667, 0.6085416666666635 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3999999999999999, "selectivity_ci": [ 0.10416666666666666, 0.6958333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.45, "selectivity_ci": [ 0.175, 0.7250000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5625000000000001, "selectivity_ci": [ 0.27083333333333337, 0.8541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4208333333333334, "selectivity_ci": [ 0.16250000000000003, 0.6791666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4958333333333334, "selectivity_ci": [ 0.225, 0.7666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.2208333333333333, 0.7166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5416666666666667, "selectivity_ci": [ 0.31666666666666665, 0.7666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.475, "selectivity_ci": [ 0.2458333333333333, 0.7000000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4541666666666667, "selectivity_ci": [ 0.2, 0.7000000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.425, "selectivity_ci": [ 0.15000000000000002, 0.7124999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.1375, 0.6958333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.13333333333333333, 0.775 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7916666666666666, "selectivity_ci": [ 0.5416666666666666, 0.9625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.8625, "selectivity_ci": [ 0.8208333333333332, 0.9125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6791666666666667, "selectivity_ci": [ 0.425, 0.8541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5791666666666666, "selectivity_ci": [ 0.2875, 0.8416666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.675, "selectivity_ci": [ 0.4083333333333334, 0.8416666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.8041666666666666, "selectivity_ci": [ 0.7041666666666666, 0.9 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.675, "selectivity_ci": [ 0.3416666666666667, 0.8791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5958333333333333, "selectivity_ci": [ 0.3416666666666666, 0.85 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6291666666666667, "selectivity_ci": [ 0.3875, 0.7999999999999999 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.4375, "selectivity": 0.5625 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 } ] }, "code_prose_B": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5666666666666667, "selectivity_ci": [ 0.3, 0.8333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.39583333333333337, "selectivity_ci": [ 0.10833333333333332, 0.7250000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.1, 0.775 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4958333333333333, "selectivity_ci": [ 0.2041666666666667, 0.7749999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4208333333333334, "selectivity_ci": [ 0.10416666666666667, 0.7583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4208333333333333, "selectivity_ci": [ 0.14999999999999997, 0.7208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.475, "selectivity_ci": [ 0.2333333333333333, 0.7375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2666666666666667, "selectivity_ci": [ 0.08333333333333334, 0.5166666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2666666666666667, "selectivity_ci": [ 0.07916666666666668, 0.5333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5666666666666667, "selectivity_ci": [ 0.2666666666666666, 0.8666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333333, "selectivity_ci": [ 0.19583333333333333, 0.6708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3916666666666667, "selectivity_ci": [ 0.1125, 0.675 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5416666666666666, "selectivity_ci": [ 0.3208333333333334, 0.7625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.09166666666666667, 0.7416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3749999999999999, "selectivity_ci": [ 0.14166666666666664, 0.6791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2291666666666666, "selectivity_ci": [ 0.07500000000000002, 0.4749999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4041666666666667, "selectivity_ci": [ 0.14583333333333334, 0.6625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3125, "selectivity_ci": [ 0.12916666666666668, 0.6125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5375, "selectivity_ci": [ 0.2083333333333334, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4833333333333333, "selectivity_ci": [ 0.15833333333333335, 0.8208333333333334 ], "p_boot": 0.0006, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5166666666666667, "selectivity_ci": [ 0.2541666666666667, 0.7791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6875, "selectivity_ci": [ 0.39583333333333337, 0.8958333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5666666666666667, "selectivity_ci": [ 0.2875000000000001, 0.8458333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6416666666666667, "selectivity_ci": [ 0.3166666666666667, 0.8583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5458333333333334, "selectivity_ci": [ 0.2833333333333334, 0.8083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6875000000000001, "selectivity_ci": [ 0.4625000000000001, 0.8666666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6499999999999999, "selectivity_ci": [ 0.3125000000000001, 0.8875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5208333333333334, "selectivity_ci": [ 0.2041666666666667, 0.8375 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.6041666666666666, "selectivity": 0.39583333333333337 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.375, "selectivity": 0.625 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 } ] }, "arith_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7250000000000001, "selectivity_ci": [ 0.4208333333333334, 0.9291666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5375, "selectivity_ci": [ 0.22916666666666669, 0.8458333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5541666666666667, "selectivity_ci": [ 0.2375, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.35833333333333334, "selectivity_ci": [ 0.06666666666666668, 0.6583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2583333333333333, "selectivity_ci": [ 0.09166666666666665, 0.5166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3708333333333333, "selectivity_ci": [ 0.1625, 0.5874999999999998 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2958333333333333, "selectivity_ci": [ 0.1708333333333333, 0.5083333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2833333333333333, "selectivity_ci": [ 0.12916666666666668, 0.5291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.14583333333333331, 0.5916666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3791666666666667, "selectivity_ci": [ 0.17083333333333336, 0.6125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2875, "selectivity_ci": [ 0.12083333333333332, 0.5375000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4416666666666667, "selectivity_ci": [ 0.19583333333333333, 0.6958333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3875, "selectivity_ci": [ 0.22916666666666669, 0.5791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3291666666666667, "selectivity_ci": [ 0.16666666666666669, 0.55 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5458333333333334, "selectivity_ci": [ 0.375, 0.7 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5708333333333332, "selectivity_ci": [ 0.2708333333333333, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3791666666666667, "selectivity_ci": [ 0.1375, 0.6208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4958333333333334, "selectivity_ci": [ 0.29166666666666663, 0.7 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.375, "selectivity_ci": [ 0.16666666666666669, 0.6041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5541666666666666, "selectivity_ci": [ 0.29166666666666663, 0.8166666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.38333333333333336, "selectivity_ci": [ 0.1375, 0.6625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5291666666666666, "selectivity_ci": [ 0.2583333333333333, 0.8 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5, "selectivity_ci": [ 0.2333333333333334, 0.7666666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3666666666666667, "selectivity_ci": [ 0.16666666666666669, 0.5666666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.37916666666666665, "selectivity_ci": [ 0.19166666666666668, 0.5874999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333334, "selectivity_ci": [ 0.2541666666666667, 0.7625000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5333333333333334, "selectivity_ci": [ 0.3125, 0.7541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.20833333333333331, 0.7333333333333334 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.4583333333333333, "selectivity": 0.5416666666666667 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.5, "selectivity": 0.5 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.375, "selectivity": 0.625 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.4166666666666667, "selectivity": 0.5833333333333333 } ] }, "arith_B": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333333, "selectivity_ci": [ 0.19999999999999998, 0.8125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3916666666666667, "selectivity_ci": [ 0.04583333333333332, 0.7375 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6625000000000001, "selectivity_ci": [ 0.38333333333333336, 0.8708333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7125000000000001, "selectivity_ci": [ 0.4208333333333334, 0.9 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5416666666666667, "selectivity_ci": [ 0.19583333333333336, 0.8875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4, "selectivity_ci": [ 0.029166666666666674, 0.7708333333333333 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2375, "selectivity_ci": [ 0.033333333333333326, 0.5708333333333334 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4166666666666667, "selectivity_ci": [ 0.11250000000000002, 0.7291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2208333333333333, "selectivity_ci": [ 0.049999999999999975, 0.5291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5708333333333334, "selectivity_ci": [ 0.2166666666666667, 0.925 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6083333333333333, "selectivity_ci": [ 0.2958333333333333, 0.9083333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.41666666666666663, "selectivity_ci": [ 0.12499999999999997, 0.7291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.15416666666666665, 0.7499999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2916666666666667, "selectivity_ci": [ 0.12916666666666668, 0.5666666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4, "selectivity_ci": [ 0.07916666666666668, 0.7208333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2583333333333333, "selectivity_ci": [ 0.09166666666666667, 0.5791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.05833333333333335, "selectivity_ci": [ 0.02083333333333335, 0.09166666666666667 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3958333333333333, "selectivity_ci": [ 0.054166666666666675, 0.7375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4, "selectivity_ci": [ 0.07500000000000002, 0.7291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2541666666666666, "selectivity_ci": [ 0.05, 0.5875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3791666666666667, "selectivity_ci": [ 0.08333333333333333, 0.6833333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3833333333333333, "selectivity_ci": [ 0.12916666666666665, 0.6375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.25, "selectivity_ci": [ 0.05833333333333333, 0.55 ], "p_boot": 0.0005, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3708333333333333, "selectivity_ci": [ 0.12916666666666662, 0.6166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4083333333333333, "selectivity_ci": [ 0.09166666666666663, 0.7250000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5208333333333334, "selectivity_ci": [ 0.2041666666666667, 0.8333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3625, "selectivity_ci": [ 0.06666666666666665, 0.6791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5166666666666667, "selectivity_ci": [ 0.22083333333333335, 0.8125 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 } ] } }, "twin": { "lang_id_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4458333333333333, "selectivity_ci": [ 0.1791666666666667, 0.7249999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5291666666666667, "selectivity_ci": [ 0.2375, 0.8208333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2625, "selectivity_ci": [ 0.09583333333333333, 0.5541666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4000000000000001, "selectivity_ci": [ 0.0916666666666667, 0.7166666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7833333333333334, "selectivity_ci": [ 0.4416666666666667, 0.975 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.8083333333333333, "selectivity_ci": [ 0.5375, 0.9625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7375, "selectivity_ci": [ 0.4666666666666667, 0.925 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2041666666666667, "selectivity_ci": [ 0.09583333333333337, 0.325 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6416666666666667, "selectivity_ci": [ 0.2875000000000001, 0.9791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6166666666666667, "selectivity_ci": [ 0.29166666666666663, 0.9416666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.35416666666666663, "selectivity_ci": [ 0.1125, 0.6583333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5791666666666666, "selectivity_ci": [ 0.2291666666666666, 0.9083333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5958333333333333, "selectivity_ci": [ 0.24999999999999992, 0.9375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3041666666666666, "selectivity_ci": [ 0.08749999999999998, 0.6041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.22916666666666669, "selectivity_ci": [ 0.0375, 0.5583333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2416666666666666, "selectivity_ci": [ 0.05833333333333333, 0.5291666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4416666666666666, "selectivity_ci": [ 0.13333333333333333, 0.7791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2625, "selectivity_ci": [ 0.0375, 0.6416666666666666 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5916666666666666, "selectivity_ci": [ 0.2833333333333334, 0.9 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4916666666666667, "selectivity_ci": [ 0.15, 0.8333333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2333333333333333, "selectivity_ci": [ 0.02083333333333335, 0.6083333333333333 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4291666666666667, "selectivity_ci": [ 0.1375, 0.7208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.15416666666666665, 0.8041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4083333333333334, "selectivity_ci": [ 0.054166666666666696, 0.7625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.22916666666666669, "selectivity_ci": [ 0.02083333333333335, 0.5625 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6291666666666667, "selectivity_ci": [ 0.2958333333333333, 0.9583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4083333333333333, "selectivity_ci": [ 0.09583333333333333, 0.7541666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4625, "selectivity_ci": [ 0.175, 0.7916666666666667 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.5833333333333334, "selectivity": 0.41666666666666663 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.6458333333333334, "selectivity": 0.35416666666666663 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 } ] }, "code_prose_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.575, "selectivity_ci": [ 0.3125, 0.8041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7, "selectivity_ci": [ 0.3708333333333333, 0.9166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4333333333333334, "selectivity_ci": [ 0.13333333333333333, 0.7375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4375, "selectivity_ci": [ 0.14583333333333331, 0.7625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4791666666666667, "selectivity_ci": [ 0.2166666666666667, 0.7416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2958333333333333, "selectivity_ci": [ 0.07083333333333333, 0.5874999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7291666666666667, "selectivity_ci": [ 0.4875, 0.8791666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6833333333333333, "selectivity_ci": [ 0.3333333333333333, 0.9083333333333334 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5874999999999999, "selectivity_ci": [ 0.2958333333333333, 0.875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.8791666666666667, "selectivity_ci": [ 0.8166666666666667, 0.9416666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6291666666666667, "selectivity_ci": [ 0.3374999999999999, 0.9208333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4666666666666667, "selectivity_ci": [ 0.19999999999999998, 0.7333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5708333333333333, "selectivity_ci": [ 0.2166666666666667, 0.8875 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5666666666666667, "selectivity_ci": [ 0.2625, 0.8708333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7166666666666666, "selectivity_ci": [ 0.45833333333333337, 0.8791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.36250000000000004, "selectivity_ci": [ 0.02083333333333335, 0.75 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6458333333333333, "selectivity_ci": [ 0.3416666666666667, 0.9166666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4666666666666666, "selectivity_ci": [ 0.15416666666666665, 0.7791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7875, "selectivity_ci": [ 0.4916666666666667, 0.9583333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6, "selectivity_ci": [ 0.2958333333333333, 0.9041666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4291666666666667, "selectivity_ci": [ 0.1375, 0.725 ], "p_boot": 0.0002, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6375, "selectivity_ci": [ 0.3208333333333334, 0.8708333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4125, "selectivity_ci": [ 0.029166666666666674, 0.7958333333333333 ], "p_boot": 0.0104, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.6083333333333334, "selectivity_ci": [ 0.2541666666666667, 0.9291666666666668 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5708333333333333, "selectivity_ci": [ 0.2708333333333333, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.8833333333333332, "selectivity_ci": [ 0.7791666666666666, 0.9625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4708333333333333, "selectivity_ci": [ 0.19166666666666665, 0.8 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.7333333333333334, "selectivity_ci": [ 0.425, 0.9041666666666666 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.6666666666666666, "selectivity": 0.33333333333333337 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.5416666666666666, "selectivity": 0.45833333333333337 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.7083333333333334, "selectivity": 0.29166666666666663 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.5208333333333334, "selectivity": 0.47916666666666663 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.7916666666666666, "selectivity": 0.20833333333333337 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.6875, "selectivity": 0.3125 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.125, "selectivity": 0.875 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.0, "selectivity": 1.0 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.08333333333333333, "selectivity": 0.9166666666666666 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 } ] }, "arith_A": { "layers": [ { "layer": 0, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3125, "selectivity_ci": [ 0.12083333333333338, 0.5791666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 1, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5583333333333333, "selectivity_ci": [ 0.25, 0.8625 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 2, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4875, "selectivity_ci": [ 0.25416666666666665, 0.7208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 3, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5375, "selectivity_ci": [ 0.225, 0.85 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 4, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3291666666666667, "selectivity_ci": [ 0.07083333333333333, 0.6041666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 5, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5125, "selectivity_ci": [ 0.225, 0.8 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 6, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3458333333333333, "selectivity_ci": [ 0.07083333333333335, 0.6208333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 7, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3791666666666667, "selectivity_ci": [ 0.06666666666666668, 0.7000000000000001 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 8, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3166666666666667, "selectivity_ci": [ 0.05833333333333337, 0.5791666666666666 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 9, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3875, "selectivity_ci": [ 0.09166666666666665, 0.7249999999999999 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 10, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3291666666666667, "selectivity_ci": [ 0.04166666666666667, 0.6166666666666667 ], "p_boot": 0.0004, "fdr_significant": true }, { "layer": 11, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5041666666666667, "selectivity_ci": [ 0.2, 0.8083333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 12, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.19166666666666665, "selectivity_ci": [ 0.04583333333333335, 0.45 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 13, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.18750000000000003, "selectivity_ci": [ 0.029166666666666674, 0.4625 ], "p_boot": 0.0005, "fdr_significant": true }, { "layer": 14, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.22916666666666666, "selectivity_ci": [ 0.03749999999999998, 0.5083333333333333 ], "p_boot": 0.0006, "fdr_significant": true }, { "layer": 15, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2833333333333334, "selectivity_ci": [ 0.02083333333333335, 0.5625000000000001 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 16, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.4833333333333334, "selectivity_ci": [ 0.1875, 0.7791666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 17, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5, "selectivity_ci": [ 0.1875, 0.8125 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 18, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5083333333333334, "selectivity_ci": [ 0.19583333333333336, 0.8208333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 19, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3666666666666667, "selectivity_ci": [ 0.0458333333333333, 0.7291666666666667 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 20, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5333333333333334, "selectivity_ci": [ 0.1833333333333333, 0.8833333333333332 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 21, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.5208333333333334, "selectivity_ci": [ 0.2041666666666667, 0.8375 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 22, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.525, "selectivity_ci": [ 0.2041666666666667, 0.8458333333333334 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 23, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.3375, "selectivity_ci": [ 0.04166666666666665, 0.6333333333333334 ], "p_boot": 0.0003, "fdr_significant": true }, { "layer": 24, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.09583333333333333, "selectivity_ci": [ 0.06249999999999998, 0.13333333333333333 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 25, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.25, "selectivity_ci": [ 0.10000000000000002, 0.4666666666666668 ], "p_boot": 0.0001, "fdr_significant": true }, { "layer": 26, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.35, "selectivity_ci": [ 0.02083333333333335, 0.7208333333333334 ], "p_boot": 0.0005, "fdr_significant": true }, { "layer": 27, "task_acc_mean": 1.0, "task_acc_seed_sd": 0.0, "selectivity_mean": 0.2583333333333333, "selectivity_ci": [ 0.06249999999999998, 0.5833333333333334 ], "p_boot": 0.0001, "fdr_significant": true } ], "replication_rate_topk": { "k": 5, "point": 1.0, "ci": [ 1.0, 1.0 ] }, "n_fdr_significant": 28, "cells": [ { "layer": 0, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 0, "seed": 1, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 0, "seed": 2, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 0, "seed": 3, "task_acc": 1.0, "control_acc": 0.625, "selectivity": 0.375 }, { "layer": 0, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 1, "seed": 0, "task_acc": 1.0, "control_acc": 0.8541666666666666, "selectivity": 0.14583333333333337 }, { "layer": 1, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 1, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 1, "seed": 3, "task_acc": 1.0, "control_acc": 0.020833333333333332, "selectivity": 0.9791666666666666 }, { "layer": 1, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 2, "seed": 0, "task_acc": 1.0, "control_acc": 0.7291666666666666, "selectivity": 0.27083333333333337 }, { "layer": 2, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 2, "seed": 2, "task_acc": 1.0, "control_acc": 0.4791666666666667, "selectivity": 0.5208333333333333 }, { "layer": 2, "seed": 3, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 2, "seed": 4, "task_acc": 1.0, "control_acc": 0.16666666666666666, "selectivity": 0.8333333333333334 }, { "layer": 3, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 3, "seed": 1, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 3, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 3, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 3, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 4, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 4, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 4, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 4, "seed": 3, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 4, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 5, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 5, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 5, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 5, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 5, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 6, "seed": 0, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 6, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 6, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 6, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 6, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 7, "seed": 0, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 7, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 7, "seed": 2, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 7, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 7, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 8, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 1, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 8, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 8, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 8, "seed": 4, "task_acc": 1.0, "control_acc": 0.3125, "selectivity": 0.6875 }, { "layer": 9, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 9, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 9, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 9, "seed": 3, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 9, "seed": 4, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 10, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 10, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 10, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 10, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 10, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 11, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 11, "seed": 1, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 11, "seed": 2, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 11, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 11, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 12, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 12, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 12, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 12, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 12, "seed": 4, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 13, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 13, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 13, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 13, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 13, "seed": 4, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 14, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 14, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 14, "seed": 2, "task_acc": 1.0, "control_acc": 0.7708333333333334, "selectivity": 0.22916666666666663 }, { "layer": 14, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 14, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 15, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 15, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 15, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 15, "seed": 3, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 15, "seed": 4, "task_acc": 1.0, "control_acc": 0.3958333333333333, "selectivity": 0.6041666666666667 }, { "layer": 16, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 16, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 16, "seed": 2, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 16, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 16, "seed": 4, "task_acc": 1.0, "control_acc": 0.3541666666666667, "selectivity": 0.6458333333333333 }, { "layer": 17, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 17, "seed": 1, "task_acc": 1.0, "control_acc": 0.14583333333333334, "selectivity": 0.8541666666666666 }, { "layer": 17, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 17, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 17, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 18, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 18, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 18, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 18, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 18, "seed": 4, "task_acc": 1.0, "control_acc": 0.25, "selectivity": 0.75 }, { "layer": 19, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 19, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 19, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 19, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 19, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 20, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 20, "seed": 1, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 20, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 20, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 20, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 }, { "layer": 21, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 21, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 21, "seed": 2, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 21, "seed": 3, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 21, "seed": 4, "task_acc": 1.0, "control_acc": 0.22916666666666666, "selectivity": 0.7708333333333334 }, { "layer": 22, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 22, "seed": 1, "task_acc": 1.0, "control_acc": 0.0625, "selectivity": 0.9375 }, { "layer": 22, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 22, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 22, "seed": 4, "task_acc": 1.0, "control_acc": 0.1875, "selectivity": 0.8125 }, { "layer": 23, "seed": 0, "task_acc": 1.0, "control_acc": 0.875, "selectivity": 0.125 }, { "layer": 23, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 23, "seed": 2, "task_acc": 1.0, "control_acc": 0.2708333333333333, "selectivity": 0.7291666666666667 }, { "layer": 23, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 23, "seed": 4, "task_acc": 1.0, "control_acc": 0.20833333333333334, "selectivity": 0.7916666666666666 }, { "layer": 24, "seed": 0, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 24, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 24, "seed": 2, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 24, "seed": 3, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 24, "seed": 4, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 25, "seed": 0, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 25, "seed": 1, "task_acc": 1.0, "control_acc": 0.9166666666666666, "selectivity": 0.08333333333333337 }, { "layer": 25, "seed": 2, "task_acc": 1.0, "control_acc": 0.75, "selectivity": 0.25 }, { "layer": 25, "seed": 3, "task_acc": 1.0, "control_acc": 0.8333333333333334, "selectivity": 0.16666666666666663 }, { "layer": 25, "seed": 4, "task_acc": 1.0, "control_acc": 0.3333333333333333, "selectivity": 0.6666666666666667 }, { "layer": 26, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 26, "seed": 1, "task_acc": 1.0, "control_acc": 1.0, "selectivity": 0.0 }, { "layer": 26, "seed": 2, "task_acc": 1.0, "control_acc": 0.2916666666666667, "selectivity": 0.7083333333333333 }, { "layer": 26, "seed": 3, "task_acc": 1.0, "control_acc": 0.041666666666666664, "selectivity": 0.9583333333333334 }, { "layer": 26, "seed": 4, "task_acc": 1.0, "control_acc": 0.9791666666666666, "selectivity": 0.02083333333333337 }, { "layer": 27, "seed": 0, "task_acc": 1.0, "control_acc": 0.9375, "selectivity": 0.0625 }, { "layer": 27, "seed": 1, "task_acc": 1.0, "control_acc": 0.8958333333333334, "selectivity": 0.10416666666666663 }, { "layer": 27, "seed": 2, "task_acc": 1.0, "control_acc": 0.8125, "selectivity": 0.1875 }, { "layer": 27, "seed": 3, "task_acc": 1.0, "control_acc": 0.9583333333333334, "selectivity": 0.04166666666666663 }, { "layer": 27, "seed": 4, "task_acc": 1.0, "control_acc": 0.10416666666666667, "selectivity": 0.8958333333333334 } ] } } }, "wall_seconds": 48.3 }