Quantization Explorer

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.2.6%22%2C%0A%23%20%20%20%20%20%22sympy%3D%3D1.13.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Quantization%20Explorer%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20textwrap%20as%20tw%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20sympy%20as%20sp%0A%0A%20%20%20%20def%20dedent_md(s)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(tw.dedent(s))%0A%0A%20%20%20%20return%20dedent_md%2C%20mo%2C%20np%2C%20sp%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib%0A%20%20%20%20matplotlib.use(%22agg%22)%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20matplotlib.patches%20as%20mpatches%0A%0A%20%20%20%20return%20mpatches%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Quantization%20Explorer%0A%0A%20%20%20%20%20%20%20%20Large%20language%20models%20store%20billions%20of%20weights%20as%2016-bit%20floats.%0A%20%20%20%20%20%20%20%20A%207-billion-parameter%20model%20at%20FP16%20occupies%20~14%20GB%20%E2%80%94%20just%20the%0A%20%20%20%20%20%20%20%20weights%2C%20before%20any%20working%20memory.%20A%2070B%20model%20needs%20~140%20GB.%0A%0A%20%20%20%20%20%20%20%20**Quantization**%20compresses%20these%20weights%20to%204-8%20bits%2C%20trading%20a%0A%20%20%20%20%20%20%20%20small%20amount%20of%20accuracy%20for%20a%20large%20reduction%20in%20memory.%20This%0A%20%20%20%20%20%20%20%20notebook%20lets%20you%20see%20the%20tradeoffs%20happen%3A%20where%20the%20error%20comes%0A%20%20%20%20%20%20%20%20from%2C%20why%20block%20size%20matters%2C%20and%20how%20K-quant%20beats%20simple%0A%20%20%20%20%20%20%20%20rounding.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md%2C%20sp)%3A%0A%20%20%20%20_w%2C%20_s%2C%20_q%2C%20_m%20%3D%20sp.symbols(%22w%20s%20q%20m%22)%0A%20%20%20%20_quant_expr%20%3D%20sp.Function(%22round%22)(_w%20%2F%20_s)%0A%20%20%20%20_dequant_expr%20%3D%20_q%20*%20_s%0A%0A%20%20%20%20dedent_md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Block%20Quantization%0A%0A%20%20%20%20%20%20%20%20Quantizing%20each%20weight%20independently%20would%20need%20a%20scale%20factor%20per%0A%20%20%20%20%20%20%20%20weight%20%E2%80%94%20defeating%20the%20memory%20savings.%20Instead%2C%20weights%20are%20grouped%0A%20%20%20%20%20%20%20%20into%20**blocks**%20that%20share%20a%20single%20scale%20factor.%0A%0A%20%20%20%20%20%20%20%20**Quantize**%20%E2%80%94%20divide%20each%20weight%20by%20the%20block%20scale%2C%20round%20to%0A%20%20%20%20%20%20%20%20the%20nearest%20integer%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%7Bsp.latex(sp.Eq(_q%2C%20_quant_expr))%7D%24%24%0A%0A%20%20%20%20%20%20%20%20**Dequantize**%20%E2%80%94%20multiply%20back%20to%20approximate%20the%20original%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%7Bsp.latex(sp.Eq(sp.Symbol(r'%5Chat%7Bw%7D')%2C%20_dequant_expr))%7D%24%24%0A%0A%20%20%20%20%20%20%20%20The%20error%20comes%20from%20rounding.%20Use%20the%20sliders%20below%20to%20see%20it%0A%20%20%20%20%20%20%20%20happen%20%E2%80%94%20drag%20bits%20down%20to%202%20and%20watch%20the%20error%20grow.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20bits_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202%2C%208%2C%20value%3D4%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Bits%20per%20weight%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20seed_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%2020%2C%20value%3D7%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%20(change%20to%20see%20different%20blocks)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bbits_slider%2C%20seed_slider%5D)%0A%20%20%20%20return%20bits_slider%2C%20seed_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bits_slider%2C%20mo%2C%20mpatches%2C%20np%2C%20outlier_toggle%2C%20plt%2C%20seed_slider)%3A%0A%20%20%20%20_bits%20%3D%20bits_slider.value%0A%20%20%20%20_seed%20%3D%20seed_slider.value%0A%20%20%20%20_outlier%20%3D%20outlier_toggle.value%0A%20%20%20%20_block_size%20%3D%2032%0A%0A%20%20%20%20%23%20Generate%20a%20realistic%20block%20of%20weights%20(normally%20distributed%2C%20small%20values)%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(_seed)%0A%20%20%20%20_weights%20%3D%20_rng.normal(0%2C%200.3%2C%20_block_size).astype(np.float32)%0A%20%20%20%20if%20_outlier%3A%0A%20%20%20%20%20%20%20%20_weights%5B_rng.integers(0%2C%20_block_size)%5D%20%3D%202.8%20%20%23%20a%20big%20outlier%0A%0A%20%20%20%20%23%20Symmetric%20quantization%0A%20%20%20%20_max_int%20%3D%202%20**%20(_bits%20-%201)%20-%201%20%20%23%20e.g.%2C%207%20for%204-bit%0A%20%20%20%20_absmax%20%3D%20np.max(np.abs(_weights))%0A%20%20%20%20_scale%20%3D%20_absmax%20%2F%20_max_int%20if%20_absmax%20%3E%200%20else%201.0%0A%0A%20%20%20%20%23%20Quantize%20and%20dequantize%0A%20%20%20%20_quantized%20%3D%20np.clip(np.round(_weights%20%2F%20_scale)%2C%20-_max_int%20-%201%2C%20_max_int).astype(int)%0A%20%20%20%20_dequantized%20%3D%20_quantized%20*%20_scale%0A%20%20%20%20_errors%20%3D%20np.abs(_weights%20-%20_dequantized)%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(2%2C%201%2C%20figsize%3D(12%2C%206)%2C%20gridspec_kw%3D%7B%22height_ratios%22%3A%20%5B3%2C%201.5%5D%7D)%0A%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%0A%20%20%20%20_x%20%3D%20np.arange(_block_size)%0A%20%20%20%20_width%20%3D%200.35%0A%0A%20%20%20%20%23%20Top%3A%20original%20vs%20dequantized%0A%20%20%20%20_ax1.set_facecolor(%22white%22)%0A%20%20%20%20_bars_orig%20%3D%20_ax1.bar(_x%20-%20_width%20%2F%202%2C%20_weights%2C%20_width%2C%20color%3D%22%235C6BC0%22%2C%20label%3D%22Original%20(FP16)%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5)%0A%20%20%20%20_bars_deq%20%3D%20_ax1.bar(_x%20%2B%20_width%20%2F%202%2C%20_dequantized%2C%20_width%2C%20color%3D%22%23E57373%22%2C%20label%3D%22Dequantized%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5)%0A%0A%20%20%20%20%23%20Draw%20scale%20lines%0A%20%20%20%20_ax1.axhline(y%3D_absmax%2C%20color%3D%22%23999%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D0.8%2C%20alpha%3D0.7)%0A%20%20%20%20_ax1.axhline(y%3D-_absmax%2C%20color%3D%22%23999%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D0.8%2C%20alpha%3D0.7)%0A%20%20%20%20_ax1.text(_block_size%20-%200.5%2C%20_absmax%2C%20f%22scale%20%3D%20%7B_scale%3A.4f%7D%22%2C%20ha%3D%22right%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D8%2C%20color%3D%22%23666%22)%0A%0A%20%20%20%20_ax1.set_ylabel(%22Weight%20value%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax1.set_title(%0A%20%20%20%20%20%20%20%20f%22%7B_bits%7D-bit%20symmetric%20quantization%20%20%7C%20%20block%20of%20%7B_block_size%7D%20weights%20%20%7C%20%20%22%0A%20%20%20%20%20%20%20%20f%22%7B2%20**%20_bits%7D%20quantization%20levels%20%20%7C%20%20int%20range%20%5B%7B-_max_int%20-%201%7D%2C%20%7B_max_int%7D%5D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D11%2C%20fontweight%3D%22bold%22%2C%20pad%3D10%2C%0A%20%20%20%20)%0A%20%20%20%20_ax1.legend(fontsize%3D9%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20_ax1.set_xticks(_x%5B%3A%3A4%5D)%0A%20%20%20%20_ax1.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20_ax1.spines%5B%22right%22%5D.set_visible(False)%0A%0A%20%20%20%20%23%20Bottom%3A%20per-weight%20error%0A%20%20%20%20_ax2.set_facecolor(%22white%22)%0A%20%20%20%20_error_colors%20%3D%20%5B%22%23f87171%22%20if%20e%20%3E%20np.mean(_errors)%20%2B%20np.std(_errors)%20else%20%22%2386efac%22%20for%20e%20in%20_errors%5D%0A%20%20%20%20_ax2.bar(_x%2C%20_errors%2C%20color%3D_error_colors%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5)%0A%20%20%20%20_ax2.axhline(y%3Dnp.mean(_errors)%2C%20color%3D%22%23333%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.0)%0A%20%20%20%20_ax2.text(_block_size%20-%200.5%2C%20np.mean(_errors)%2C%20f%22mean%20%3D%20%7Bnp.mean(_errors)%3A.4f%7D%22%2C%20ha%3D%22right%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D8%2C%20color%3D%22%23333%22)%0A%20%20%20%20_ax2.set_ylabel(%22Absolute%20error%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax2.set_xlabel(%22Weight%20index%20in%20block%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax2.set_xticks(_x%5B%3A%3A4%5D)%0A%20%20%20%20_ax2.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20_ax2.spines%5B%22right%22%5D.set_visible(False)%0A%0A%20%20%20%20_high_err%20%3D%20mpatches.Patch(color%3D%22%23f87171%22%2C%20label%3D%22Above%20mean%20%2B%201%20std%22)%0A%20%20%20%20_low_err%20%3D%20mpatches.Patch(color%3D%22%2386efac%22%2C%20label%3D%22Below%20threshold%22)%0A%20%20%20%20_ax2.legend(handles%3D%5B_high_err%2C%20_low_err%5D%2C%20fontsize%3D8%2C%20loc%3D%22upper%20left%22)%0A%0A%20%20%20%20_data_bits%20%3D%20_block_size%20*%20_bits%0A%20%20%20%20_meta_bits%20%3D%2016%20%20%23%20FP16%20scale%20factor%0A%20%20%20%20_total_bits%20%3D%20_data_bits%20%2B%20_meta_bits%0A%20%20%20%20_original_bits%20%3D%20_block_size%20*%2016%0A%20%20%20%20_compression%20%3D%20_original_bits%20%2F%20_total_bits%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.as_html(_fig)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Storage%20breakdown**%3A%20%7B_block_size%7D%20weights%20x%20%7B_bits%7D%20bits%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_data_bits%7D%20data%20bits%20%2B%20%7B_meta_bits%7D%20bits%20(FP16%20scale)%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_total_bits%7D%20bits%20total**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Was%20%7B_original_bits%7D%20bits%20at%20FP16.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Compression%3A%20%7B_original_bits%7D%2F%7B_total_bits%7D%20%3D%20**%7B_compression%3A.1f%7Dx**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(not%20%7B_original_bits%20%2F%2F%20(_block_size%20*%20_bits)%3A.0f%7Dx%20%E2%80%94%20the%20scale%20factor%20is%20the%20overhead%20cost%20of%20blocking)%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Why%2032%20Weights%20Per%20Block%3F%0A%0A%20%20%20%20%20%20%20%20The%20block%20size%20is%20a%20tradeoff.%20Larger%20blocks%20amortize%20the%20scale%0A%20%20%20%20%20%20%20%20factor%20overhead%20(better%20compression)%20but%20force%20more%20diverse%20weights%0A%20%20%20%20%20%20%20%20to%20share%20one%20scale%20(higher%20error).%20Drag%20the%20slider%20to%20see%20both%0A%20%20%20%20%20%20%20%20curves%20%E2%80%94%20the%20sweet%20spot%20is%20where%20compression%20is%20high%20but%20error%0A%20%20%20%20%20%20%20%20is%20still%20low.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20block_size_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%208%2C%20256%2C%20value%3D32%2C%20step%3D8%2C%0A%20%20%20%20%20%20%20%20label%3D%22Block%20size%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20block_size_slider%0A%20%20%20%20return%20(block_size_slider%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(block_size_slider%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_bits%20%3D%204%0A%20%20%20%20_block_sizes%20%3D%20np.arange(8%2C%20264%2C%208)%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(42)%0A%20%20%20%20_weights%20%3D%20_rng.normal(0%2C%200.3%2C%20256).astype(np.float32)%0A%0A%20%20%20%20_compressions%20%3D%20%5B%5D%0A%20%20%20%20_errors%20%3D%20%5B%5D%0A%20%20%20%20for%20_bs%20in%20_block_sizes%3A%0A%20%20%20%20%20%20%20%20%23%20Compression%3A%20original%20bits%20%2F%20(data%20bits%20%2B%20one%20FP16%20scale%20per%20block)%0A%20%20%20%20%20%20%20%20_n_blocks%20%3D%20256%20%2F%2F%20_bs%0A%20%20%20%20%20%20%20%20_original%20%3D%20256%20*%2016%0A%20%20%20%20%20%20%20%20_quantized%20%3D%20256%20*%20_bits%20%2B%20_n_blocks%20*%2016%0A%20%20%20%20%20%20%20%20_compressions.append(_original%20%2F%20_quantized)%0A%0A%20%20%20%20%20%20%20%20%23%20Error%3A%20quantize%20256%20weights%20in%20blocks%20of%20_bs%2C%20measure%20mean%20abs%20error%0A%20%20%20%20%20%20%20%20_max_int%20%3D%202%20**%20(_bits%20-%201)%20-%201%0A%20%20%20%20%20%20%20%20_errs%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_b%20in%20range(_n_blocks)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_block%20%3D%20_weights%5B_b%20*%20_bs%20%3A%20(_b%20%2B%201)%20*%20_bs%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_absmax%20%3D%20np.max(np.abs(_block))%0A%20%20%20%20%20%20%20%20%20%20%20%20_scale%20%3D%20_absmax%20%2F%20_max_int%20if%20_absmax%20%3E%200%20else%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_q%20%3D%20np.clip(np.round(_block%20%2F%20_scale)%2C%20-_max_int%20-%201%2C%20_max_int)%0A%20%20%20%20%20%20%20%20%20%20%20%20_deq%20%3D%20_q%20*%20_scale%0A%20%20%20%20%20%20%20%20%20%20%20%20_errs.extend(np.abs(_block%20-%20_deq))%0A%20%20%20%20%20%20%20%20_errors.append(np.mean(_errs))%0A%0A%20%20%20%20_fig%2C%20_ax1%20%3D%20plt.subplots(figsize%3D(12%2C%205))%0A%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%20%20%20%20_ax1.set_facecolor(%22white%22)%0A%0A%20%20%20%20_color_comp%20%3D%20%22%235C6BC0%22%0A%20%20%20%20_color_err%20%3D%20%22%23E57373%22%0A%0A%20%20%20%20_ax1.plot(_block_sizes%2C%20_compressions%2C%20color%3D_color_comp%2C%20linewidth%3D2%2C%20label%3D%22Compression%20ratio%22)%0A%20%20%20%20_ax1.set_xlabel(%22Block%20size%20(weights%20per%20block)%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax1.set_ylabel(%22Compression%20ratio%20(vs%20FP16)%22%2C%20fontsize%3D10%2C%20color%3D_color_comp)%0A%20%20%20%20_ax1.tick_params(axis%3D%22y%22%2C%20labelcolor%3D_color_comp)%0A%0A%20%20%20%20_ax2%20%3D%20_ax1.twinx()%0A%20%20%20%20_ax2.plot(_block_sizes%2C%20_errors%2C%20color%3D_color_err%2C%20linewidth%3D2%2C%20label%3D%22Mean%20abs%20error%22)%0A%20%20%20%20_ax2.set_ylabel(%22Mean%20absolute%20quantization%20error%22%2C%20fontsize%3D10%2C%20color%3D_color_err)%0A%20%20%20%20_ax2.tick_params(axis%3D%22y%22%2C%20labelcolor%3D_color_err)%0A%0A%20%20%20%20%23%20Highlight%20selected%20block%20size%0A%20%20%20%20_sel%20%3D%20block_size_slider.value%0A%20%20%20%20_sel_idx%20%3D%20list(_block_sizes).index(_sel)%20if%20_sel%20in%20_block_sizes%20else%200%0A%20%20%20%20_ax1.axvline(x%3D_sel%2C%20color%3D%22%23333%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.5%2C%20alpha%3D0.7)%0A%20%20%20%20_ax1.text(_sel%20%2B%204%2C%20_compressions%5B_sel_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_compressions%5B_sel_idx%5D%3A.2f%7Dx%22%2C%20fontsize%3D9%2C%20color%3D_color_comp%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax2.text(_sel%20%2B%204%2C%20_errors%5B_sel_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_errors%5B_sel_idx%5D%3A.5f%7D%22%2C%20fontsize%3D9%2C%20color%3D_color_err%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20_ax1.set_title(%22Block%20Size%20Tradeoff%3A%20Compression%20vs%20Error%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_fig.legend(loc%3D%22upper%20center%22%2C%20ncol%3D2%2C%20fontsize%3D9%2C%20framealpha%3D0.9)%0A%20%20%20%20_ax1.spines%5B%22top%22%5D.set_visible(False)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.as_html(_fig)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20block%20size%20**%7B_sel%7D**%3A%20compression%20%3D%20**%7B_compressions%5B_sel_idx%5D%3A.2f%7Dx**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22mean%20error%20%3D%20**%7B_errors%5B_sel_idx%5D%3A.5f%7D**%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20RTN's%20Outlier%20Problem%0A%0A%20%20%20%20%20%20%20%20Round-to-Nearest%20treats%20all%20weights%20equally.%20But%20LLM%20weight%0A%20%20%20%20%20%20%20%20distributions%20have%20**outliers**%20%E2%80%94%20rare%20large%20values%20that%20dominate%0A%20%20%20%20%20%20%20%20the%20block's%20scale%20factor.%0A%0A%20%20%20%20%20%20%20%20Toggle%20the%20outlier%20switch%20below.%20One%20large%20weight%20forces%20the%20scale%0A%20%20%20%20%20%20%20%20up%2C%20crushing%20all%20the%20small%20weights%20into%20fewer%20quantization%20levels.%0A%20%20%20%20%20%20%20%20The%20small%20weights%20%E2%80%94%20which%20collectively%20matter%20%E2%80%94%20lose%20most%20of%20their%0A%20%20%20%20%20%20%20%20information.%20This%20is%20the%20fundamental%20problem%20that%20motivates%20K-quant.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20outlier_toggle%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20label%3D%22Inject%20an%20outlier%20weight%22%2C%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20)%0A%20%20%20%20outlier_toggle%0A%20%20%20%20return%20(outlier_toggle%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20K-Quant%3A%20Shifting%20the%20Levels%0A%0A%20%20%20%20%20%20%20%20**RTN**%20spaces%20quantization%20levels%20uniformly%20from%20%24-%5C%5Ctext%7Bmax%7D%24%0A%20%20%20%20%20%20%20%20to%20%24%2B%5C%5Ctext%7Bmax%7D%24.%20Half%20the%20levels%20may%20cover%20values%20that%20don't%0A%20%20%20%20%20%20%20%20exist%20in%20the%20block.%0A%0A%20%20%20%20%20%20%20%20**K-quant**%20adds%20a%20**block%20minimum**%20(%24m%24)%20alongside%20the%20scale%0A%20%20%20%20%20%20%20%20(%24s%24)%2C%20shifting%20levels%20to%20where%20the%20weights%20actually%20cluster%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%5C%5Chat%7Bw%7D_i%20%3D%20q_i%20%5C%5Ctimes%20s%20%2B%20m%24%24%0A%0A%20%20%20%20%20%20%20%20The%20cost%20is%20small%20(two%20parameters%20per%20block%20instead%20of%20one)%2C%20but%0A%20%20%20%20%20%20%20%20the%20error%20drops%20significantly%20when%20weights%20aren't%20centered%20at%0A%20%20%20%20%20%20%20%20zero%20%E2%80%94%20which%20is%20common%20in%20LLM%20layers.%20Drag%20the%20center%20slider%0A%20%20%20%20%20%20%20%20below%20to%20see%20the%20difference.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20kq_seed_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%2020%2C%20value%3D3%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20kq_offset_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-1.0%2C%201.0%2C%20value%3D0.4%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22Weight%20distribution%20center%20(simulates%20biased%20layers)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bkq_seed_slider%2C%20kq_offset_slider%5D)%0A%20%20%20%20return%20kq_offset_slider%2C%20kq_seed_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(kq_offset_slider%2C%20kq_seed_slider%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_seed%20%3D%20kq_seed_slider.value%0A%20%20%20%20_center%20%3D%20kq_offset_slider.value%0A%20%20%20%20_block_size%20%3D%2032%0A%20%20%20%20_bits%20%3D%204%0A%20%20%20%20_max_int%20%3D%202%20**%20(_bits%20-%201)%20-%201%0A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(_seed)%0A%20%20%20%20_weights%20%3D%20(_rng.normal(_center%2C%200.25%2C%20_block_size)).astype(np.float32)%0A%0A%20%20%20%20%23%20---%20RTN%20(symmetric%2C%20no%20offset)%20---%0A%20%20%20%20_absmax_rtn%20%3D%20np.max(np.abs(_weights))%0A%20%20%20%20_scale_rtn%20%3D%20_absmax_rtn%20%2F%20_max_int%20if%20_absmax_rtn%20%3E%200%20else%201.0%0A%20%20%20%20_q_rtn%20%3D%20np.clip(np.round(_weights%20%2F%20_scale_rtn)%2C%20-_max_int%20-%201%2C%20_max_int).astype(int)%0A%20%20%20%20_deq_rtn%20%3D%20_q_rtn%20*%20_scale_rtn%0A%20%20%20%20_err_rtn%20%3D%20np.abs(_weights%20-%20_deq_rtn)%0A%0A%20%20%20%20%23%20---%20K-quant%20(asymmetric%2C%20with%20offset)%20---%0A%20%20%20%20_wmin%20%3D%20np.min(_weights)%0A%20%20%20%20_wmax%20%3D%20np.max(_weights)%0A%20%20%20%20_num_levels%20%3D%202%20**%20_bits%0A%20%20%20%20_scale_kq%20%3D%20(_wmax%20-%20_wmin)%20%2F%20(_num_levels%20-%201)%20if%20_wmax%20%3E%20_wmin%20else%201.0%0A%20%20%20%20_min_kq%20%3D%20_wmin%0A%20%20%20%20_q_kq%20%3D%20np.clip(np.round((_weights%20-%20_min_kq)%20%2F%20_scale_kq)%2C%200%2C%20_num_levels%20-%201).astype(int)%0A%20%20%20%20_deq_kq%20%3D%20_q_kq%20*%20_scale_kq%20%2B%20_min_kq%0A%20%20%20%20_err_kq%20%3D%20np.abs(_weights%20-%20_deq_kq)%0A%0A%20%20%20%20_fig%2C%20axes%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(14%2C%207))%0A%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%20%20%20%20_x%20%3D%20np.arange(_block_size)%0A%20%20%20%20_width%20%3D%200.35%0A%0A%20%20%20%20for%20_col%2C%20(_label%2C%20_deq%2C%20_err%2C%20_scale_val%2C%20_extra)%20in%20enumerate(%5B%0A%20%20%20%20%20%20%20%20(%22RTN%20(symmetric)%22%2C%20_deq_rtn%2C%20_err_rtn%2C%20_scale_rtn%2C%20f%22scale%20%3D%20%7B_scale_rtn%3A.4f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22K-quant%20(with%20offset)%22%2C%20_deq_kq%2C%20_err_kq%2C%20_scale_kq%2C%20f%22scale%20%3D%20%7B_scale_kq%3A.4f%7D%2C%20min%20%3D%20%7B_min_kq%3A.4f%7D%22)%2C%0A%20%20%20%20%5D)%3A%0A%20%20%20%20%20%20%20%20_ax_top%20%3D%20axes%5B0%5D%5B_col%5D%0A%20%20%20%20%20%20%20%20_ax_bot%20%3D%20axes%5B1%5D%5B_col%5D%0A%20%20%20%20%20%20%20%20_ax_top.set_facecolor(%22white%22)%0A%20%20%20%20%20%20%20%20_ax_bot.set_facecolor(%22white%22)%0A%0A%20%20%20%20%20%20%20%20_ax_top.bar(_x%20-%20_width%20%2F%202%2C%20_weights%2C%20_width%2C%20color%3D%22%235C6BC0%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5%2C%20label%3D%22Original%22)%0A%20%20%20%20%20%20%20%20_ax_top.bar(_x%20%2B%20_width%20%2F%202%2C%20_deq%2C%20_width%2C%20color%3D%22%23E57373%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5%2C%20label%3D%22Dequantized%22)%0A%20%20%20%20%20%20%20%20_ax_top.set_title(f%22%7B_label%7D%5Cn%7B_extra%7D%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20pad%3D8)%0A%20%20%20%20%20%20%20%20_ax_top.legend(fontsize%3D8%2C%20loc%3D%22upper%20right%22)%0A%20%20%20%20%20%20%20%20_ax_top.set_xticks(_x%5B%3A%3A8%5D)%0A%20%20%20%20%20%20%20%20_ax_top.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax_top.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20if%20_col%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax_top.set_ylabel(%22Weight%20value%22%2C%20fontsize%3D9)%0A%0A%20%20%20%20%20%20%20%20_ax_bot.bar(_x%2C%20_err%2C%20color%3D%22%23fbbf24%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.5)%0A%20%20%20%20%20%20%20%20_mean_err%20%3D%20np.mean(_err)%0A%20%20%20%20%20%20%20%20_ax_bot.axhline(y%3D_mean_err%2C%20color%3D%22%23333%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20_ax_bot.text(_block_size%20-%200.5%2C%20_mean_err%2C%20f%22mean%20%3D%20%7B_mean_err%3A.4f%7D%22%2C%20ha%3D%22right%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D8%2C%20color%3D%22%23333%22)%0A%20%20%20%20%20%20%20%20_ax_bot.set_xlabel(%22Weight%20index%22%2C%20fontsize%3D9)%0A%20%20%20%20%20%20%20%20_ax_bot.set_xticks(_x%5B%3A%3A8%5D)%0A%20%20%20%20%20%20%20%20_ax_bot.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax_bot.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20if%20_col%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax_bot.set_ylabel(%22Absolute%20error%22%2C%20fontsize%3D9)%0A%0A%20%20%20%20%23%20Match%20y-axes%20so%20the%20comparison%20is%20fair%0A%20%20%20%20_ylim_top%20%3D%20max(axes%5B0%5D%5B0%5D.get_ylim()%5B1%5D%2C%20axes%5B0%5D%5B1%5D.get_ylim()%5B1%5D)%0A%20%20%20%20_ylim_bot_low%20%3D%20min(axes%5B0%5D%5B0%5D.get_ylim()%5B0%5D%2C%20axes%5B0%5D%5B1%5D.get_ylim()%5B0%5D)%0A%20%20%20%20axes%5B0%5D%5B0%5D.set_ylim(_ylim_bot_low%2C%20_ylim_top)%0A%20%20%20%20axes%5B0%5D%5B1%5D.set_ylim(_ylim_bot_low%2C%20_ylim_top)%0A%20%20%20%20_err_ylim%20%3D%20max(axes%5B1%5D%5B0%5D.get_ylim()%5B1%5D%2C%20axes%5B1%5D%5B1%5D.get_ylim()%5B1%5D)%0A%20%20%20%20axes%5B1%5D%5B0%5D.set_ylim(0%2C%20_err_ylim)%0A%20%20%20%20axes%5B1%5D%5B1%5D.set_ylim(0%2C%20_err_ylim)%0A%0A%20%20%20%20_improvement%20%3D%20(1%20-%20np.mean(_err_kq)%20%2F%20np.mean(_err_rtn))%20*%20100%20if%20np.mean(_err_rtn)%20%3E%200%20else%200%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.as_html(_fig)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Mean%20error**%20%E2%80%94%20RTN%3A%20%7Bnp.mean(_err_rtn)%3A.4f%7D%20%7C%20K-quant%3A%20%7Bnp.mean(_err_kq)%3A.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**K-quant%20reduces%20error%20by%20%7B_improvement%3A.0f%7D%25**%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Super-Blocks%3A%20Making%20K-Quant's%20Extra%20Metadata%20Affordable%0A%0A%20%20%20%20%20%20%20%20K-quant%20needs%20**two**%20parameters%20per%20block%20(scale%20%2B%20min)%20instead%0A%20%20%20%20%20%20%20%20of%20RTN's%20one.%20Storing%20both%20as%20full%20FP16%20would%20double%20the%20metadata%0A%20%20%20%20%20%20%20%20overhead%2C%20eating%20the%20compression%20gains.%0A%0A%20%20%20%20%20%20%20%20The%20solution%20is%20a%20**two-level%20hierarchy**.%20Eight%20consecutive%0A%20%20%20%20%20%20%20%20blocks%20(8%20x%2032%20%3D%20256%20weights)%20form%20a%20**super-block**%3A%0A%0A%20%20%20%20%20%20%20%20-%20Each%20sub-block%20stores%20a%20**6-bit%20relative**%20scale%20and%20min%20(cheap)%0A%20%20%20%20%20%20%20%20-%20The%20super-block%20stores%20**shared%20FP16**%20scale%20and%20min%20(expensive%2C%0A%20%20%20%20%20%20%20%20%20%20but%20amortized%20over%20256%20weights)%0A%0A%20%20%20%20%20%20%20%20The%206-bit%20values%20are%20deltas%20relative%20to%20the%20super-block's%20FP16%0A%20%20%20%20%20%20%20%20values%20%E2%80%94%20they%20only%20encode%20a%20small%20range%20within%20the%20super-block%2C%0A%20%20%20%20%20%20%20%20not%20the%20full%20model%20weight%20range.%20More%20precision%20where%20it%20matters%2C%0A%20%20%20%20%20%20%20%20less%20overhead%20overall.%0A%0A%20%20%20%20%20%20%20%20**Super-blocks%20exist%20only%20in%20K-quant%20formats.**%20RTN%20formats%0A%20%20%20%20%20%20%20%20(Q4_0%2C%20Q8_0)%20use%20flat%20blocks%20with%20no%20hierarchy.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20mpatches%2C%20plt)%3A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(14%2C%204))%0A%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%20%20%20%20_ax.set_facecolor(%22white%22)%0A%0A%20%20%20%20_block_colors%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22%23E3F2FD%22%2C%20%22%23BBDEFB%22%2C%20%22%23E3F2FD%22%2C%20%22%23BBDEFB%22%2C%0A%20%20%20%20%20%20%20%20%22%23E3F2FD%22%2C%20%22%23BBDEFB%22%2C%20%22%23E3F2FD%22%2C%20%22%23BBDEFB%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20_block_w%20%3D%201.0%0A%20%20%20%20_gap%20%3D%200.12%0A%20%20%20%20_total_w%20%3D%208%20*%20_block_w%20%2B%207%20*%20_gap%0A%0A%20%20%20%20%23%20Vertical%20layout%3A%20blocks%20at%20y%3D1..3%2C%20bracket%20at%20y%3D3.4%2C%20label%20at%20y%3D3.7%2C%0A%20%20%20%20%23%20arrow%20at%20y%3D3.9..4.3%2C%20shared%20meta%20box%20at%20y%3D4.3..4.9%2C%20bits%20calc%20at%20y%3D0.4%0A%20%20%20%20_block_y%20%3D%201.0%0A%20%20%20%20_block_h%20%3D%201.8%0A%20%20%20%20_meta_y%20%3D%20_block_y%20%2B%200.1%0A%20%20%20%20_meta_h%20%3D%200.4%0A%20%20%20%20_bracket_y%20%3D%20_block_y%20%2B%20_block_h%20%2B%200.3%0A%20%20%20%20_label_y%20%3D%20_bracket_y%20%2B%200.2%0A%20%20%20%20_arrow_top_y%20%3D%20_label_y%20%2B%200.5%0A%20%20%20%20_box_y%20%3D%20_arrow_top_y%20%2B%200.1%0A%20%20%20%20_box_h%20%3D%200.55%0A%0A%20%20%20%20%23%20Draw%208%20sub-blocks%0A%20%20%20%20for%20_i%20in%20range(8)%3A%0A%20%20%20%20%20%20%20%20_x%20%3D%20_i%20*%20(_block_w%20%2B%20_gap)%0A%20%20%20%20%20%20%20%20_rect%20%3D%20plt.Rectangle((_x%2C%20_block_y)%2C%20_block_w%2C%20_block_h%2C%20facecolor%3D_block_colors%5B_i%5D%2C%20edgecolor%3D%22%235C6BC0%22%2C%20linewidth%3D1.5)%0A%20%20%20%20%20%20%20%20_ax.add_patch(_rect)%0A%20%20%20%20%20%20%20%20_ax.text(_x%20%2B%20_block_w%20%2F%202%2C%20_block_y%20%2B%20_block_h%20-%200.35%2C%20f%22Block%20%7B_i%7D%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D8%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%23333%22)%0A%20%20%20%20%20%20%20%20_ax.text(_x%20%2B%20_block_w%20%2F%202%2C%20_block_y%20%2B%20_block_h%20%2F%202%2C%20%2232%20weights%5Cnx%204%20bits%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D7%2C%20color%3D%22%23555%22)%0A%20%20%20%20%20%20%20%20%23%20Sub-block%20metadata%0A%20%20%20%20%20%20%20%20_meta_rect%20%3D%20plt.Rectangle((_x%20%2B%200.1%2C%20_meta_y)%2C%20_block_w%20-%200.2%2C%20_meta_h%2C%20facecolor%3D%22%23fbbf24%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.8%2C%20alpha%3D0.8)%0A%20%20%20%20%20%20%20%20_ax.add_patch(_meta_rect)%0A%20%20%20%20%20%20%20%20_ax.text(_x%20%2B%20_block_w%20%2F%202%2C%20_meta_y%20%2B%20_meta_h%20%2F%202%2C%20%22s(6b)%20m(6b)%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D6%2C%20color%3D%22%23333%22)%0A%0A%20%20%20%20%23%20Super-block%20bracket%20(horizontal%20double-arrow)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3D(0%2C%20_bracket_y)%2C%20xytext%3D(_total_w%2C%20_bracket_y)%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22%3C-%3E%22%2C%20color%3D%22%23333%22%2C%20lw%3D1.5)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(_total_w%20%2F%202%2C%20_label_y%2C%20%22Super-block%20(256%20weights)%22%2C%20ha%3D%22center%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%23333%22)%0A%0A%20%20%20%20%23%20Super-block%20shared%20metadata%20box%20(above%20the%20label%2C%20no%20overlap)%0A%20%20%20%20_sb_meta%20%3D%20plt.Rectangle((_total_w%20%2F%202%20-%201.5%2C%20_box_y)%2C%203.0%2C%20_box_h%2C%20facecolor%3D%22%23BA68C8%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D1.2%2C%20alpha%3D0.7)%0A%20%20%20%20_ax.add_patch(_sb_meta)%0A%20%20%20%20_ax.text(_total_w%20%2F%202%2C%20_box_y%20%2B%20_box_h%20%2F%202%2C%20%22Shared%20FP16%20scale%20%2B%20FP16%20min%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D8%2C%20fontweight%3D%22bold%22%2C%20color%3D%22white%22)%0A%0A%20%20%20%20%23%20Arrow%20from%20shared%20meta%20box%20down%20to%20the%20bracket%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3D(_total_w%20%2F%202%2C%20_label_y%20%2B%200.35)%2C%20xytext%3D(_total_w%20%2F%202%2C%20_box_y)%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%3E%22%2C%20color%3D%22%23BA68C8%22%2C%20lw%3D1.5)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Bits%20calculation%20(below%20the%20blocks)%0A%20%20%20%20_weights_bits%20%3D%208%20*%2032%20*%204%0A%20%20%20%20_sub_meta_bits%20%3D%208%20*%20(6%20%2B%206)%0A%20%20%20%20_super_meta_bits%20%3D%2016%20%2B%2016%0A%20%20%20%20_total_bits%20%3D%20_weights_bits%20%2B%20_sub_meta_bits%20%2B%20_super_meta_bits%0A%20%20%20%20_bits_per_weight%20%3D%20_total_bits%20%2F%20256%0A%0A%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20_total_w%20%2F%202%2C%200.4%2C%0A%20%20%20%20%20%20%20%20f%22Total%3A%20%7B_weights_bits%7D%20(weights)%20%2B%20%7B_sub_meta_bits%7D%20(sub-block%20meta)%20%2B%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_super_meta_bits%7D%20(super-block%20meta)%20%3D%20%7B_total_bits%7D%20bits%20for%20256%20weights%20%3D%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_bits_per_weight%3A.2f%7D%20bits%2Fweight%22%2C%0A%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D9%2C%20color%3D%22%23333%22%2C%0A%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D%22round%2Cpad%3D0.3%22%2C%20facecolor%3D%22%23F5F5F5%22%2C%20edgecolor%3D%22%23999%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax.set_xlim(-0.5%2C%20_total_w%20%2B%200.5)%0A%20%20%20%20_ax.set_ylim(-0.1%2C%20_box_y%20%2B%20_box_h%20%2B%200.5)%0A%20%20%20%20_ax.axis(%22off%22)%0A%0A%20%20%20%20_legend_items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20mpatches.Patch(facecolor%3D%22%23E3F2FD%22%2C%20edgecolor%3D%22%235C6BC0%22%2C%20label%3D%22Weight%20data%20(4-bit%20integers)%22)%2C%0A%20%20%20%20%20%20%20%20mpatches.Patch(facecolor%3D%22%23fbbf24%22%2C%20edgecolor%3D%22%23333%22%2C%20label%3D%22Per-block%3A%206-bit%20scale%20%2B%206-bit%20min%22)%2C%0A%20%20%20%20%20%20%20%20mpatches.Patch(facecolor%3D%22%23BA68C8%22%2C%20edgecolor%3D%22%23333%22%2C%20label%3D%22Per-super-block%3A%20FP16%20scale%20%2B%20FP16%20min%22%2C%20alpha%3D0.7)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_ax.legend(handles%3D_legend_items%2C%20loc%3D%22upper%20left%22%2C%20fontsize%3D8%2C%20framealpha%3D0.9)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20This%20is%20why%20Q4_K_M%20is%20listed%20at%20**4.5%20bits%2Fweight**%2C%20not%204.0.%0A%20%20%20%20%20%20%20%20The%20extra%200.5%20bits%20is%20the%20two-level%20metadata%20hierarchy%20%E2%80%94%20the%0A%20%20%20%20%20%20%20%20cost%20that%20buys%20K-quant%20its%20substantially%20lower%20quantization%20error.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Format%20Family%3A%20Memory%20and%20Quality%0A%0A%20%20%20%20%20%20%20%20Pick%20a%20model%20size%20to%20see%20how%20much%20memory%20each%20quantization%20format%0A%20%20%20%20%20%20%20%20needs%2C%20and%20the%20approximate%20quality%20impact%20(measured%20by%20perplexity%0A%20%20%20%20%20%20%20%20increase%20over%20FP16%20%E2%80%94%20lower%20is%20better).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20fmt_param_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%227B%22%3A%207.0%2C%20%228B%22%3A%208.0%2C%20%2214B%22%3A%2014.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%2227B%22%3A%2027.0%2C%20%2232B%22%3A%2032.0%2C%20%2270B%22%3A%2070.0%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%227B%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%20%E2%80%94%20change%20to%20see%20memory%20and%20quality%20for%20each%20format%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(fmt_param_dropdown%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(fmt_param_dropdown%2C%20mo%2C%20plt)%3A%0A%20%20%20%20_params%20%3D%20fmt_param_dropdown.value%0A%20%20%20%20if%20_params%20is%20None%3A%0A%20%20%20%20%20%20%20%20mo.md(%22Select%20a%20model%20size%20above.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_params%20%3D%20float(_params)%0A%0A%20%20%20%20%20%20%20%20%23%20Format%3A%20(name%2C%20bits_per_weight%2C%20method%2C%20perplexity_delta_8b)%0A%20%20%20%20%20%20%20%20%23%20Perplexity%20deltas%20are%20approximate%2C%20based%20on%20Llama%203%208B%20WikiText-2%20benchmarks%0A%20%20%20%20%20%20%20%20_formats%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q2_K%22%2C%20%20%202.5%2C%20%22K-quant%22%2C%201.75)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q4_0%22%2C%20%20%204.0%2C%20%22RTN%22%2C%20%20%20%20%200.28)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q4_K_S%22%2C%204.5%2C%20%22K-quant%22%2C%200.12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q4_K_M%22%2C%204.5%2C%20%22K-quant%22%2C%200.10)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q5_K_S%22%2C%205.5%2C%20%22K-quant%22%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q5_K_M%22%2C%205.5%2C%20%22K-quant%22%2C%200.04)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q6_K%22%2C%20%20%206.5%2C%20%22K-quant%22%2C%200.02)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Q8_0%22%2C%20%20%208.0%2C%20%22RTN%22%2C%20%20%20%20%200.01)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22FP16%22%2C%20%2016.0%2C%20%22None%22%2C%20%20%20%200.00)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_names%20%3D%20%5Bf%5B0%5D%20for%20f%20in%20_formats%5D%0A%20%20%20%20%20%20%20%20_memory%20%3D%20%5B_params%20*%20f%5B1%5D%20%2F%208%20for%20f%20in%20_formats%5D%0A%20%20%20%20%20%20%20%20_deltas%20%3D%20%5Bf%5B3%5D%20for%20f%20in%20_formats%5D%0A%20%20%20%20%20%20%20%20_methods%20%3D%20%5Bf%5B2%5D%20for%20f%20in%20_formats%5D%0A%0A%20%20%20%20%20%20%20%20_method_colors%20%3D%20%7B%22K-quant%22%3A%20%22%235C6BC0%22%2C%20%22RTN%22%3A%20%22%23E57373%22%2C%20%22None%22%3A%20%22%23999%22%7D%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5B_method_colors%5Bm%5D%20for%20m%20in%20_methods%5D%0A%0A%20%20%20%20%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%20%20%20%20%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Left%3A%20memory%0A%20%20%20%20%20%20%20%20_ax1.set_facecolor(%22white%22)%0A%20%20%20%20%20%20%20%20_bars%20%3D%20_ax1.barh(_names%2C%20_memory%2C%20color%3D_colors%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.8)%0A%20%20%20%20%20%20%20%20for%20_bar%2C%20_mem%20in%20zip(_bars%2C%20_memory)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax1.text(_bar.get_width()%20%2B%200.3%2C%20_bar.get_y()%20%2B%20_bar.get_height()%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_mem%3A.1f%7D%20GB%22%2C%20va%3D%22center%22%2C%20fontsize%3D9%2C%20color%3D%22%23333%22)%0A%20%20%20%20%20%20%20%20_ax1.set_xlabel(%22Memory%20(GB)%22%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20_ax1.set_title(f%22Memory%20for%20%7B_params%3A.0f%7DB%20model%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax1.invert_yaxis()%0A%20%20%20%20%20%20%20%20_ax1.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax1.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax1.set_xlim(0%2C%20max(_memory)%20*%201.15)%0A%0A%20%20%20%20%20%20%20%20%23%20Right%3A%20perplexity%20delta%20(log%20scale%20for%20visibility)%0A%20%20%20%20%20%20%20%20_ax2.set_facecolor(%22white%22)%0A%20%20%20%20%20%20%20%20_delta_vals%20%3D%20%5Bmax(d%2C%200.005)%20for%20d%20in%20_deltas%5D%20%20%23%20floor%20for%20log%20scale%0A%20%20%20%20%20%20%20%20_bars2%20%3D%20_ax2.barh(_names%2C%20_delta_vals%2C%20color%3D_colors%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.8)%0A%20%20%20%20%20%20%20%20for%20_bar%2C%20_d%20in%20zip(_bars2%2C%20_deltas)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_label%20%3D%20f%22%2B%7B_d%3A.2f%7D%22%20if%20_d%20%3E%200%20else%20%22baseline%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax2.text(_bar.get_width()%20*%201.1%20%2B%200.01%2C%20_bar.get_y()%20%2B%20_bar.get_height()%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_label%2C%20va%3D%22center%22%2C%20fontsize%3D9%2C%20color%3D%22%23333%22)%0A%20%20%20%20%20%20%20%20_ax2.set_xlabel(%22Perplexity%20increase%20over%20FP16%20(lower%20%3D%20better)%22%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20_ax2.set_title(%22Quality%20impact%20(approx.)%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax2.set_xscale(%22log%22)%0A%20%20%20%20%20%20%20%20_ax2.invert_yaxis()%0A%20%20%20%20%20%20%20%20_ax2.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax2.spines%5B%22right%22%5D.set_visible(False)%0A%0A%20%20%20%20%20%20%20%20%23%20Shared%20legend%0A%20%20%20%20%20%20%20%20from%20matplotlib.patches%20import%20Patch%0A%20%20%20%20%20%20%20%20_legend%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20Patch(facecolor%3D%22%235C6BC0%22%2C%20edgecolor%3D%22%23333%22%2C%20label%3D%22K-quant%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Patch(facecolor%3D%22%23E57373%22%2C%20edgecolor%3D%22%23333%22%2C%20label%3D%22RTN%20(legacy)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Patch(facecolor%3D%22%23999%22%2C%20edgecolor%3D%22%23333%22%2C%20label%3D%22No%20quantization%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_fig.legend(handles%3D_legend%2C%20loc%3D%22lower%20center%22%2C%20ncol%3D3%2C%20fontsize%3D9%2C%20framealpha%3D0.9)%0A%0A%20%20%20%20%20%20%20%20plt.tight_layout(rect%3D%5B0%2C%200.06%2C%201%2C%201%5D)%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bfmt_param_dropdown%2C%20mo.as_html(_fig)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20Format%20%7C%20Bits%2Fwt%20%7C%20Method%20%7C%20Block%20metadata%20%7C%20Super-block%20%7C%20Notes%20%7C%0A%20%20%20%20%20%20%20%20%7C--------%7C---------%7C--------%7C----------------%7C-------------%7C-------%7C%0A%20%20%20%20%20%20%20%20%7C%20Q4_0%20%7C%204.0%20%7C%20RTN%20%7C%20FP16%20scale%20%7C%20No%20%7C%20Legacy%2C%20lossy%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q4_1%20%7C%204.5%20%7C%20RTN%20%7C%20FP16%20scale%20%2B%20FP16%20min%20%7C%20No%20%7C%20Better%20than%20Q4_0%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q4_K_S%20%7C%204.5%20%7C%20K-quant%20%7C%206-bit%20scale%20%2B%206-bit%20min%20%7C%20Yes%20%7C%20Small%20variant%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q4_K_M%20%7C%204.5%20%7C%20K-quant%20%7C%206-bit%20scale%20%2B%206-bit%20min%20%7C%20Yes%20%7C%20**Recommended**%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q5_K_M%20%7C%205.5%20%7C%20K-quant%20%7C%206-bit%20scale%20%2B%206-bit%20min%20%7C%20Yes%20%7C%20Good%20if%20memory%20allows%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q6_K%20%7C%206.5%20%7C%20K-quant%20%7C%206-bit%20scale%20%2B%206-bit%20min%20%7C%20Yes%20%7C%20Near-FP16%20quality%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Q8_0%20%7C%208.0%20%7C%20RTN%20%7C%20FP16%20scale%20%7C%20No%20%7C%202x%20memory%20of%20Q4%20%7C%0A%20%20%20%20%20%20%20%20%7C%20FP16%20%7C%2016.0%20%7C%20%E2%80%94%20%7C%20%E2%80%94%20%7C%20%E2%80%94%20%7C%20No%20quantization%20%7C%0A%0A%20%20%20%20%20%20%20%20**Practical%20recommendation%3A**%20Q4_K_M%20for%20almost%20everyone.%20Q5_K_M%0A%20%20%20%20%20%20%20%20if%20you%20have%20memory%20headroom.%20Avoid%20Q2_K%20unless%20desperate.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A