ScaNN Anisotropic Quantization

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22ScaNN%20Anisotropic%20Quantization%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Why%20ScaNN's%20Anisotropic%20Quantization%20Beats%20Standard%20Quantization%20for%20Inner%20Product%20Search%0A%0A%20%20%20%20When%20we%20quantize%20a%20database%20vector%2C%20we%20introduce%20error.%0A%20%20%20%20Standard%20(isotropic)%20quantization%20treats%20all%20directions%20of%20error%20as%20equally%20bad.%0A%20%20%20%20But%20for%20**inner%20product%20search**%2C%20errors%20along%20the%20direction%20of%20the%20vector%0A%20%20%20%20are%20far%20more%20damaging%20than%20errors%20perpendicular%20to%20it.%0A%0A%20%20%20%20ScaNN's%20anisotropic%20quantization%20penalizes%20parallel%20error%20more%20heavily%2C%0A%20%20%20%20producing%20quantizations%20that%20look%20worse%20by%20L2%20distance%20but%20rank%20documents%0A%20%20%20%20more%20accurately.%20This%20notebook%20builds%20that%20intuition%20step%20by%20step.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20alpha_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201.0%2C%2050.0%2C%20value%3D10.0%2C%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22%CE%B1%20(anisotropy%20penalty)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20angle_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20360%2C%20value%3D15%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Query%20angle%20(degrees)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Parameters**%22)%2C%20alpha_slider%2C%20angle_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20return%20alpha_slider%2C%20angle_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alpha_slider%2C%20angle_slider%2C%20np)%3A%0A%20%20%20%20%23%20database%20vector%0A%20%20%20%20x%20%3D%20np.array(%5B4.0%2C%200.0%5D)%0A%0A%20%20%20%20%23%20two%20quantizations%20with%20equal%20L2%20error%0A%20%20%20%20x_tilde_1%20%3D%20np.array(%5B3.0%2C%201.0%5D)%20%20%20%23%20error%20mostly%20perpendicular%0A%20%20%20%20x_tilde_2%20%3D%20np.array(%5B2.6%2C%200.0%5D)%20%20%20%23%20error%20mostly%20parallel%0A%0A%20%20%20%20e1%20%3D%20x_tilde_1%20-%20x%20%20%23%20%5B-1%2C%201%5D%0A%20%20%20%20e2%20%3D%20x_tilde_2%20-%20x%20%20%23%20%5B-1.4%2C%200%5D%0A%0A%20%20%20%20l2_err_1%20%3D%20np.linalg.norm(e1)%0A%20%20%20%20l2_err_2%20%3D%20np.linalg.norm(e2)%0A%0A%20%20%20%20%23%20direction%20of%20x%0A%20%20%20%20x_hat%20%3D%20x%20%2F%20(np.linalg.norm(x)%20%2B%201e-12)%0A%0A%20%20%20%20%23%20decompose%20errors%20into%20parallel%20and%20perpendicular%20components%0A%20%20%20%20e1_par_scalar%20%3D%20np.dot(e1%2C%20x_hat)%0A%20%20%20%20e1_par%20%3D%20e1_par_scalar%20*%20x_hat%0A%20%20%20%20e1_perp%20%3D%20e1%20-%20e1_par%0A%0A%20%20%20%20e2_par_scalar%20%3D%20np.dot(e2%2C%20x_hat)%0A%20%20%20%20e2_par%20%3D%20e2_par_scalar%20*%20x_hat%0A%20%20%20%20e2_perp%20%3D%20e2%20-%20e2_par%0A%0A%20%20%20%20%23%20query%20vector%20at%20slider-controlled%20angle%0A%20%20%20%20theta_q%20%3D%20np.radians(angle_slider.value)%0A%20%20%20%20q%20%3D%20np.array(%5Bnp.cos(theta_q)%2C%20np.sin(theta_q)%5D)%0A%0A%20%20%20%20%23%20inner%20products%0A%20%20%20%20ip_true%20%3D%20np.dot(q%2C%20x)%0A%20%20%20%20ip_est_1%20%3D%20np.dot(q%2C%20x_tilde_1)%0A%20%20%20%20ip_est_2%20%3D%20np.dot(q%2C%20x_tilde_2)%0A%0A%20%20%20%20ip_err_1%20%3D%20abs(ip_true%20-%20ip_est_1)%0A%20%20%20%20ip_err_2%20%3D%20abs(ip_true%20-%20ip_est_2)%0A%0A%20%20%20%20%23%20anisotropic%20loss%0A%20%20%20%20alpha%20%3D%20alpha_slider.value%0A%20%20%20%20iso_loss_1%20%3D%20np.linalg.norm(e1)%20**%202%0A%20%20%20%20iso_loss_2%20%3D%20np.linalg.norm(e2)%20**%202%0A%20%20%20%20aniso_loss_1%20%3D%20alpha%20*%20np.linalg.norm(e1_par)%20**%202%20%2B%20np.linalg.norm(e1_perp)%20**%202%0A%20%20%20%20aniso_loss_2%20%3D%20alpha%20*%20np.linalg.norm(e2_par)%20**%202%20%2B%20np.linalg.norm(e2_perp)%20**%202%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20alpha%2C%0A%20%20%20%20%20%20%20%20aniso_loss_1%2C%0A%20%20%20%20%20%20%20%20aniso_loss_2%2C%0A%20%20%20%20%20%20%20%20e1_par%2C%0A%20%20%20%20%20%20%20%20e1_perp%2C%0A%20%20%20%20%20%20%20%20e2_par%2C%0A%20%20%20%20%20%20%20%20e2_perp%2C%0A%20%20%20%20%20%20%20%20ip_err_1%2C%0A%20%20%20%20%20%20%20%20ip_err_2%2C%0A%20%20%20%20%20%20%20%20ip_est_1%2C%0A%20%20%20%20%20%20%20%20ip_est_2%2C%0A%20%20%20%20%20%20%20%20ip_true%2C%0A%20%20%20%20%20%20%20%20iso_loss_1%2C%0A%20%20%20%20%20%20%20%20iso_loss_2%2C%0A%20%20%20%20%20%20%20%20l2_err_1%2C%0A%20%20%20%20%20%20%20%20l2_err_2%2C%0A%20%20%20%20%20%20%20%20q%2C%0A%20%20%20%20%20%20%20%20theta_q%2C%0A%20%20%20%20%20%20%20%20x%2C%0A%20%20%20%20%20%20%20%20x_tilde_1%2C%0A%20%20%20%20%20%20%20%20x_tilde_2%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20problem%20setup%3A%20two%20%22equally%20wrong%22%20quantizations%0A%0A%20%20%20%20Below%20is%20a%20database%20vector%20%24%5Cmathbf%7Bx%7D%20%3D%20%5B4%2C%200%5D%24%20and%20two%20candidate%20quantizations.%0A%20%20%20%20Both%20sit%20on%20(or%20near)%20the%20same%20L2%20error%20circle%2C%20so%20isotropic%20quantization%0A%20%20%20%20considers%20them%20equally%20good.%20But%20their%20errors%20point%20in%20very%20different%20directions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(l2_err_1%2C%20l2_err_2%2C%20mo%2C%20np%2C%20plt%2C%20x%2C%20x_tilde_1%2C%20x_tilde_2)%3A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%206))%0A%20%20%20%20_ax.set_aspect(%22equal%22)%0A%0A%20%20%20%20%23%20error%20circle%20centered%20on%20x%2C%20radius%20%3D%20l2_err_1%0A%20%20%20%20_angles%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%20200)%0A%20%20%20%20_r%20%3D%20l2_err_1%0A%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20x%5B0%5D%20%2B%20_r%20*%20np.cos(_angles)%2C%20x%5B1%5D%20%2B%20_r%20*%20np.sin(_angles)%2C%0A%20%20%20%20%20%20%20%20ls%3D%22--%22%2C%20color%3D%22gray%22%2C%20lw%3D1.2%2C%20alpha%3D0.6%2C%20label%3Df%22L2%20error%20%3D%20%7B_r%3A.2f%7D%20circle%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20database%20vector%20x%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3Dx%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22cyan%22%2C%20lw%3D2.5)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(x%5B0%5D%20%2F%202%2C%20-0.35%2C%20r%22%24%5Cmathbf%7Bx%7D%24%20%3D%20%5B4%2C%200%5D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D12%2C%20color%3D%22cyan%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20x_tilde_1%20(perpendicular%20error)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3Dx_tilde_1%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22limegreen%22%2C%20lw%3D2)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20x_tilde_1%5B0%5D%20-%200.3%2C%20x_tilde_1%5B1%5D%20%2B%200.25%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_1%24%20%3D%20%5B3%2C%201%5D%22%20%2B%20%22%5Cn(error%20mostly%20perpendicular)%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22limegreen%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20x_tilde_2%20(parallel%20error)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3Dx_tilde_2%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22tomato%22%2C%20lw%3D2)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20x_tilde_2%5B0%5D%20-%200.3%2C%20x_tilde_2%5B1%5D%20-%200.4%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_2%24%20%3D%20%5B2.6%2C%200%5D%22%20%2B%20%22%5Cn(error%20mostly%20parallel)%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22tomato%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20error%20vectors%20(dashed%20arrows%20from%20x%20to%20each%20quantization)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3Dx_tilde_1%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22limegreen%22%2C%20lw%3D1.8%2C%20ls%3D%22--%22)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20(x%5B0%5D%20%2B%20x_tilde_1%5B0%5D)%20%2F%202%20%2B%200.15%2C%20(x%5B1%5D%20%2B%20x_tilde_1%5B1%5D)%20%2F%202%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20f%22L2%20%3D%20%7Bl2_err_1%3A.2f%7D%22%2C%20fontsize%3D9%2C%20color%3D%22limegreen%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%20xy%3Dx_tilde_2%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22tomato%22%2C%20lw%3D1.8%2C%20ls%3D%22--%22)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20(x%5B0%5D%20%2B%20x_tilde_2%5B0%5D)%20%2F%202%2C%20(x%5B1%5D%20%2B%20x_tilde_2%5B1%5D)%20%2F%202%20-%200.3%2C%0A%20%20%20%20%20%20%20%20f%22L2%20%3D%20%7Bl2_err_2%3A.2f%7D%22%2C%20fontsize%3D9%2C%20color%3D%22tomato%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20origin%20dot%0A%20%20%20%20_ax.plot(0%2C%200%2C%20%22o%22%2C%20color%3D%22white%22%2C%20ms%3D4%2C%20zorder%3D5)%0A%20%20%20%20_ax.text(0.05%2C%20-0.3%2C%20%22origin%22%2C%20fontsize%3D9%2C%20color%3D%22gray%22)%0A%0A%20%20%20%20%23%20styling%0A%20%20%20%20_ax.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_fig.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax.set_xlim(-0.8%2C%205.5)%0A%20%20%20%20_ax.set_ylim(-1.5%2C%202.2)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9%2C%20facecolor%3D%22%231a1a2e%22%2C%20edgecolor%3D%22gray%22%2C%20labelcolor%3D%22white%22)%0A%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20f%22Two%20quantizations%20with%20similar%20L2%20error%20(%7Bl2_err_1%3A.2f%7D%20vs%20%7Bl2_err_2%3A.2f%7D)%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22white%22%2C%20fontsize%3D12%2C%20pad%3D12%2C%0A%20%20%20%20)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Query%20arrives%20--%20who%20ranks%20better%3F%0A%0A%20%20%20%20A%20query%20vector%20%24%5Cmathbf%7Bq%7D%24%20arrives%20at%20the%20angle%20you%20set%20with%20the%20slider.%0A%20%20%20%20We%20compute%20the%20true%20inner%20product%20%24%5Clangle%20%5Cmathbf%7Bq%7D%2C%20%5Cmathbf%7Bx%7D%20%5Crangle%24%0A%20%20%20%20and%20the%20two%20estimates.%20When%20the%20query%20is%20roughly%20aligned%20with%20%24%5Cmathbf%7Bx%7D%24%0A%20%20%20%20(the%20common%20case%20in%20retrieval%20--%20you%20search%20for%20things%20similar%20to%20the%20document)%2C%0A%20%20%20%20parallel%20error%20causes%20much%20larger%20inner%20product%20error.%0A%0A%20%20%20%20Rotate%20the%20query%20with%20the%20slider%20and%20watch%20how%20the%20errors%20change.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ip_err_1%2C%0A%20%20%20%20ip_err_2%2C%0A%20%20%20%20ip_est_1%2C%0A%20%20%20%20ip_est_2%2C%0A%20%20%20%20ip_true%2C%0A%20%20%20%20l2_err_1%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20q%2C%0A%20%20%20%20theta_q%2C%0A%20%20%20%20x%2C%0A%20%20%20%20x_tilde_1%2C%0A%20%20%20%20x_tilde_2%2C%0A)%3A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205.5))%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Left%20panel%3A%20vector%20diagram%20%E2%94%80%E2%94%80%0A%20%20%20%20_ax1.set_aspect(%22equal%22)%0A%0A%20%20%20%20%23%20error%20circle%0A%20%20%20%20_angles%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%20200)%0A%20%20%20%20_r%20%3D%20l2_err_1%0A%20%20%20%20_ax1.plot(%0A%20%20%20%20%20%20%20%20x%5B0%5D%20%2B%20_r%20*%20np.cos(_angles)%2C%20x%5B1%5D%20%2B%20_r%20*%20np.sin(_angles)%2C%0A%20%20%20%20%20%20%20%20ls%3D%22--%22%2C%20color%3D%22gray%22%2C%20lw%3D1%2C%20alpha%3D0.4%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20x%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22cyan%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax1.text(x%5B0%5D%20%2B%200.1%2C%20x%5B1%5D%20%2B%200.15%2C%20r%22%24%5Cmathbf%7Bx%7D%24%22%2C%20fontsize%3D12%2C%20color%3D%22cyan%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20x_tilde_1%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_1%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22limegreen%22%2C%20lw%3D1.8))%0A%20%20%20%20_ax1.text(x_tilde_1%5B0%5D%20%2B%200.1%2C%20x_tilde_1%5B1%5D%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_1%24%22%2C%20fontsize%3D11%2C%20color%3D%22limegreen%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20x_tilde_2%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_2%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22tomato%22%2C%20lw%3D1.8))%0A%20%20%20%20_ax1.text(x_tilde_2%5B0%5D%20%2B%200.1%2C%20x_tilde_2%5B1%5D%20-%200.35%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_2%24%22%2C%20fontsize%3D11%2C%20color%3D%22tomato%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20query%20vector%20(scaled%20for%20visibility)%0A%20%20%20%20_q_draw%20%3D%20q%20*%203.0%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3D_q_draw%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22gold%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax1.text(_q_draw%5B0%5D%20%2B%200.1%2C%20_q_draw%5B1%5D%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22q%20(angle%3D%7Bnp.degrees(theta_q)%3A.0f%7D%5Cu00b0)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D11%2C%20color%3D%22gold%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20angle%20arc%20for%20query%0A%20%20%20%20_arc_r%20%3D%200.8%0A%20%20%20%20_arc_angles%20%3D%20np.linspace(0%2C%20theta_q%2C%2040)%0A%20%20%20%20_ax1.plot(_arc_r%20*%20np.cos(_arc_angles)%2C%20_arc_r%20*%20np.sin(_arc_angles)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22gold%22%2C%20lw%3D1.5)%0A%0A%20%20%20%20_ax1.plot(0%2C%200%2C%20%22o%22%2C%20color%3D%22white%22%2C%20ms%3D4%2C%20zorder%3D5)%0A%20%20%20%20_ax1.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax1.set_xlim(-1.0%2C%205.5)%0A%20%20%20%20_ax1.set_ylim(-2.0%2C%203.5)%0A%20%20%20%20_ax1.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax1.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax1.set_title(%22Vectors%20in%202D%22%2C%20color%3D%22white%22%2C%20fontsize%3D11%2C%20pad%3D8)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Right%20panel%3A%20bar%20chart%20of%20inner%20products%20%E2%94%80%E2%94%80%0A%20%20%20%20_labels%20%3D%20%5B%22True%20IP%5Cn%22%20%2B%20r%22%24%5Clangle%20q%2C%20x%20%5Crangle%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%201%5Cn%22%20%2B%20r%22%24%5Clangle%20q%2C%20%5Ctilde%7Bx%7D_1%20%5Crangle%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%202%5Cn%22%20%2B%20r%22%24%5Clangle%20q%2C%20%5Ctilde%7Bx%7D_2%20%5Crangle%24%22%5D%0A%20%20%20%20_values%20%3D%20%5Bip_true%2C%20ip_est_1%2C%20ip_est_2%5D%0A%20%20%20%20_colors%20%3D%20%5B%22cyan%22%2C%20%22limegreen%22%2C%20%22tomato%22%5D%0A%0A%20%20%20%20_bars%20%3D%20_ax2.bar(_labels%2C%20_values%2C%20color%3D_colors%2C%20alpha%3D0.85%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.5)%0A%0A%20%20%20%20%23%20error%20bars%20on%20estimates%0A%20%20%20%20_ax2.errorbar(%0A%20%20%20%20%20%20%20%20%5B1%5D%2C%20%5Bip_est_1%5D%2C%20yerr%3D%5Bip_err_1%5D%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22none%22%2C%20ecolor%3D%22limegreen%22%2C%20elinewidth%3D2.5%2C%20capsize%3D8%2C%20capthick%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20_ax2.errorbar(%0A%20%20%20%20%20%20%20%20%5B2%5D%2C%20%5Bip_est_2%5D%2C%20yerr%3D%5Bip_err_2%5D%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22none%22%2C%20ecolor%3D%22tomato%22%2C%20elinewidth%3D2.5%2C%20capsize%3D8%2C%20capthick%3D2%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20error%20annotations%0A%20%20%20%20_ax2.text(1%2C%20ip_est_1%20%2B%20ip_err_1%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22error%20%3D%20%7Bip_err_1%3A.3f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20color%3D%22limegreen%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax2.text(2%2C%20ip_est_2%20%2B%20ip_err_2%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22error%20%3D%20%7Bip_err_2%3A.3f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20color%3D%22tomato%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20true%20IP%20reference%20line%0A%20%20%20%20_ax2.axhline(ip_true%2C%20ls%3D%22--%22%2C%20color%3D%22cyan%22%2C%20lw%3D1%2C%20alpha%3D0.5)%0A%0A%20%20%20%20_ax2.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax2.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax2.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax2.set_ylabel(%22Inner%20product%20value%22%2C%20color%3D%22gray%22)%0A%20%20%20%20_ax2.set_title(%22Inner%20product%20estimates%22%2C%20color%3D%22white%22%2C%20fontsize%3D11%2C%20pad%3D8)%0A%0A%20%20%20%20_fig.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Isotropic%20vs%20anisotropic%20loss%0A%0A%20%20%20%20Every%20error%20vector%20can%20be%20decomposed%20into%20a%20**parallel**%20component%20(along%20%24%5Cmathbf%7Bx%7D%24)%0A%20%20%20%20and%20a%20**perpendicular**%20component.%20The%20diagram%20below%20shows%20this%20decomposition%20for%20both%0A%20%20%20%20quantizations.%0A%0A%20%20%20%20-%20**Isotropic%20loss**%3A%20%24%5C%7C%5Cmathbf%7Be%7D%5C%7C%5E2%20%3D%20%5C%7C%5Cmathbf%7Be%7D_%5Cparallel%5C%7C%5E2%20%2B%20%5C%7C%5Cmathbf%7Be%7D_%5Cperp%5C%7C%5E2%24%20--%20treats%20both%20directions%20equally.%0A%20%20%20%20-%20**Anisotropic%20loss**%3A%20%24%5Calpha%5C%7C%5Cmathbf%7Be%7D_%5Cparallel%5C%7C%5E2%20%2B%20%5C%7C%5Cmathbf%7Be%7D_%5Cperp%5C%7C%5E2%24%20--%20penalizes%20parallel%20error%20by%20factor%20%24%5Calpha%24.%0A%0A%20%20%20%20Increase%20%24%5Calpha%24%20with%20the%20slider%20and%20watch%20the%20anisotropic%20loss%20correctly%20identify%0A%20%20%20%20which%20quantization%20is%20worse%20for%20inner%20product%20search.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20alpha%2C%0A%20%20%20%20aniso_loss_1%2C%0A%20%20%20%20aniso_loss_2%2C%0A%20%20%20%20e1_par%2C%0A%20%20%20%20e1_perp%2C%0A%20%20%20%20e2_par%2C%0A%20%20%20%20e2_perp%2C%0A%20%20%20%20iso_loss_1%2C%0A%20%20%20%20iso_loss_2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20x%2C%0A%20%20%20%20x_tilde_1%2C%0A%20%20%20%20x_tilde_2%2C%0A)%3A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205.5))%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Left%20panel%3A%20error%20decomposition%20diagram%20%E2%94%80%E2%94%80%0A%20%20%20%20_ax1.set_aspect(%22equal%22)%0A%0A%20%20%20%20%23%20x%20vector%20(faded%20for%20context)%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx%2C%20xytext%3D%5B0%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22cyan%22%2C%20lw%3D2%2C%20alpha%3D0.4))%0A%20%20%20%20_ax1.text(x%5B0%5D%20%2B%200.1%2C%20x%5B1%5D%20%2B%200.15%2C%20r%22%24%5Cmathbf%7Bx%7D%24%22%2C%20fontsize%3D12%2C%20color%3D%22cyan%22%2C%20alpha%3D0.6)%0A%0A%20%20%20%20%23%20--%20Quantization%201%3A%20decomposition%20--%0A%20%20%20%20%23%20total%20error%20(thin%20gray%20dashed)%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_1%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22gray%22%2C%20lw%3D1%2C%20ls%3D%22--%22))%0A%0A%20%20%20%20%23%20parallel%20component%20(from%20x%20along%20x%20direction)%0A%20%20%20%20_par_end_1%20%3D%20x%20%2B%20e1_par%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3D_par_end_1%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22orange%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax1.text(%0A%20%20%20%20%20%20%20%20(x%5B0%5D%20%2B%20_par_end_1%5B0%5D)%20%2F%202%2C%20(x%5B1%5D%20%2B%20_par_end_1%5B1%5D)%20%2F%202%20-%200.3%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Cmathbf%7Be%7D_%7B1%5Cparallel%7D%24%22%20%2B%20f%22%20%3D%20%7Bnp.linalg.norm(e1_par)%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22orange%22%2C%20ha%3D%22center%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20perpendicular%20component%20(from%20end%20of%20parallel%20to%20x_tilde_1)%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_1%2C%20xytext%3D_par_end_1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22mediumpurple%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax1.text(%0A%20%20%20%20%20%20%20%20(_par_end_1%5B0%5D%20%2B%20x_tilde_1%5B0%5D)%20%2F%202%20-%200.6%2C%20(_par_end_1%5B1%5D%20%2B%20x_tilde_1%5B1%5D)%20%2F%202%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Cmathbf%7Be%7D_%7B1%5Cperp%7D%24%22%20%2B%20f%22%20%3D%20%7Bnp.linalg.norm(e1_perp)%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22mediumpurple%22%2C%20ha%3D%22center%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20right%20angle%20marker%0A%20%20%20%20_sq%20%3D%200.12%0A%20%20%20%20_par_dir%20%3D%20e1_par%20%2F%20(np.linalg.norm(e1_par)%20%2B%201e-12)%0A%20%20%20%20_perp_dir%20%3D%20e1_perp%20%2F%20(np.linalg.norm(e1_perp)%20%2B%201e-12)%0A%20%20%20%20_sq_pts%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20_par_end_1%20-%20_sq%20*%20_par_dir%2C%0A%20%20%20%20%20%20%20%20_par_end_1%20-%20_sq%20*%20_par_dir%20%2B%20_sq%20*%20_perp_dir%2C%0A%20%20%20%20%20%20%20%20_par_end_1%20%2B%20_sq%20*%20_perp_dir%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_ax1.plot(_sq_pts%5B%3A%2C%200%5D%2C%20_sq_pts%5B%3A%2C%201%5D%2C%20color%3D%22white%22%2C%20lw%3D1)%0A%0A%20%20%20%20_ax1.plot(*x_tilde_1%2C%20%22o%22%2C%20color%3D%22limegreen%22%2C%20ms%3D6%2C%20zorder%3D5)%0A%20%20%20%20_ax1.text(x_tilde_1%5B0%5D%20%2B%200.1%2C%20x_tilde_1%5B1%5D%20%2B%200.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_1%24%22%2C%20fontsize%3D11%2C%20color%3D%22limegreen%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%23%20--%20Quantization%202%3A%20decomposition%20--%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_2%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22gray%22%2C%20lw%3D1%2C%20ls%3D%22--%22))%0A%0A%20%20%20%20_par_end_2%20%3D%20x%20%2B%20e2_par%0A%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3D_par_end_2%2C%20xytext%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22orange%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax1.text(%0A%20%20%20%20%20%20%20%20(x%5B0%5D%20%2B%20_par_end_2%5B0%5D)%20%2F%202%2C%20(x%5B1%5D%20%2B%20_par_end_2%5B1%5D)%20%2F%202%20%2B%200.25%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Cmathbf%7Be%7D_%7B2%5Cparallel%7D%24%22%20%2B%20f%22%20%3D%20%7Bnp.linalg.norm(e2_par)%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22orange%22%2C%20ha%3D%22center%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20perpendicular%20component%20for%20x_tilde_2%20(should%20be%20~0)%0A%20%20%20%20_perp_norm_2%20%3D%20np.linalg.norm(e2_perp)%0A%20%20%20%20if%20_perp_norm_2%20%3E%200.01%3A%0A%20%20%20%20%20%20%20%20_ax1.annotate(%22%22%2C%20xy%3Dx_tilde_2%2C%20xytext%3D_par_end_2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22mediumpurple%22%2C%20lw%3D2.5))%0A%20%20%20%20%20%20%20%20_ax1.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20(_par_end_2%5B0%5D%20%2B%20x_tilde_2%5B0%5D)%20%2F%202%20%2B%200.2%2C%20(_par_end_2%5B1%5D%20%2B%20x_tilde_2%5B1%5D)%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Cmathbf%7Be%7D_%7B2%5Cperp%7D%24%22%20%2B%20f%22%20%3D%20%7B_perp_norm_2%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22mediumpurple%22%2C%20ha%3D%22center%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_ax1.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20_par_end_2%5B0%5D%20%2B%200.1%2C%20_par_end_2%5B1%5D%20%2B%200.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Cmathbf%7Be%7D_%7B2%5Cperp%7D%24%20%3D%200%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%20color%3D%22mediumpurple%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_ax1.plot(*x_tilde_2%2C%20%22o%22%2C%20color%3D%22tomato%22%2C%20ms%3D6%2C%20zorder%3D5)%0A%20%20%20%20_ax1.text(x_tilde_2%5B0%5D%20%2B%200.1%2C%20x_tilde_2%5B1%5D%20-%200.35%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7B%5Cmathbf%7Bx%7D%7D_2%24%22%2C%20fontsize%3D11%2C%20color%3D%22tomato%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20_ax1.plot(0%2C%200%2C%20%22o%22%2C%20color%3D%22white%22%2C%20ms%3D4%2C%20zorder%3D5)%0A%20%20%20%20_ax1.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax1.set_xlim(-0.5%2C%205.0)%0A%20%20%20%20_ax1.set_ylim(-1.2%2C%202.0)%0A%20%20%20%20_ax1.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax1.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax1.set_title(%22Error%20decomposition%3A%20parallel%20vs%20perpendicular%22%2C%20color%3D%22white%22%2C%20fontsize%3D11%2C%20pad%3D8)%0A%0A%20%20%20%20%23%20color%20legend%0A%20%20%20%20_ax1.plot(%5B%5D%2C%20%5B%5D%2C%20color%3D%22orange%22%2C%20lw%3D2.5%2C%20label%3Dr%22%24%5Cmathbf%7Be%7D_%5Cparallel%24%20(parallel)%22)%0A%20%20%20%20_ax1.plot(%5B%5D%2C%20%5B%5D%2C%20color%3D%22mediumpurple%22%2C%20lw%3D2.5%2C%20label%3Dr%22%24%5Cmathbf%7Be%7D_%5Cperp%24%20(perpendicular)%22)%0A%20%20%20%20_ax1.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9%2C%20facecolor%3D%22%231a1a2e%22%2C%20edgecolor%3D%22gray%22%2C%20labelcolor%3D%22white%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Right%20panel%3A%20bar%20chart%20of%20losses%20%E2%94%80%E2%94%80%0A%20%20%20%20_labels%20%3D%20%5B%0A%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7Bx%7D_1%24%22%20%2B%20%22%5Cn(perp%20error)%22%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Ctilde%7Bx%7D_2%24%22%20%2B%20%22%5Cn(parallel%20error)%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20_x_pos%20%3D%20np.arange(len(_labels))%0A%20%20%20%20_width%20%3D%200.35%0A%0A%20%20%20%20_bars_iso%20%3D%20_ax2.bar(%0A%20%20%20%20%20%20%20%20_x_pos%20-%20_width%20%2F%202%2C%20%5Biso_loss_1%2C%20iso_loss_2%5D%2C%20_width%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Isotropic%3A%20%24%5C%7C%5Cmathbf%7Be%7D%5C%7C%5E2%24%22%2C%0A%20%20%20%20%20%20%20%20color%3D%5B%22limegreen%22%2C%20%22tomato%22%5D%2C%20alpha%3D0.5%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.5%2C%0A%20%20%20%20)%0A%20%20%20%20_bars_aniso%20%3D%20_ax2.bar(%0A%20%20%20%20%20%20%20%20_x_pos%20%2B%20_width%20%2F%202%2C%20%5Baniso_loss_1%2C%20aniso_loss_2%5D%2C%20_width%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Anisotropic%3A%20%24%5Calpha%5C%7C%5Cmathbf%7Be%7D_%5Cparallel%5C%7C%5E2%20%2B%20%5C%7C%5Cmathbf%7Be%7D_%5Cperp%5C%7C%5E2%24%22%2C%0A%20%20%20%20%20%20%20%20color%3D%5B%22limegreen%22%2C%20%22tomato%22%5D%2C%20alpha%3D0.9%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.5%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20value%20labels%20on%20bars%0A%20%20%20%20for%20_bar%20in%20_bars_iso%3A%0A%20%20%20%20%20%20%20%20_h%20%3D%20_bar.get_height()%0A%20%20%20%20%20%20%20%20_ax2.text(_bar.get_x()%20%2B%20_bar.get_width()%20%2F%202%2C%20_h%20%2B%200.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_h%3A.2f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20color%3D%22gray%22)%0A%20%20%20%20for%20_bar%20in%20_bars_aniso%3A%0A%20%20%20%20%20%20%20%20_h%20%3D%20_bar.get_height()%0A%20%20%20%20%20%20%20%20_ax2.text(_bar.get_x()%20%2B%20_bar.get_width()%20%2F%202%2C%20_h%20%2B%200.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_h%3A.2f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20color%3D%22white%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20_ax2.set_xticks(_x_pos)%0A%20%20%20%20_ax2.set_xticklabels(_labels%2C%20color%3D%22gray%22)%0A%20%20%20%20_ax2.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax2.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax2.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax2.set_ylabel(%22Loss%20value%22%2C%20color%3D%22gray%22)%0A%20%20%20%20_ax2.set_title(%0A%20%20%20%20%20%20%20%20f%22Loss%20comparison%20(%5Cu03b1%20%3D%20%7Balpha%3A.1f%7D)%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22white%22%2C%20fontsize%3D11%2C%20pad%3D8%2C%0A%20%20%20%20)%0A%20%20%20%20_ax2.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9%2C%20facecolor%3D%22%231a1a2e%22%2C%20edgecolor%3D%22gray%22%2C%20labelcolor%3D%22white%22)%0A%0A%20%20%20%20_fig.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Over%20many%20random%20queries%0A%0A%20%20%20%20One%20query%20angle%20might%20be%20special.%20Let's%20test%20with%201000%20random%20query%20directions%0A%20%20%20%20and%20see%20which%20quantization%20produces%20lower%20inner%20product%20error%20on%20average.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np%2C%20plt%2C%20x%2C%20x_tilde_1%2C%20x_tilde_2)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(42)%0A%20%20%20%20_n%20%3D%201000%0A%20%20%20%20_rand_angles%20%3D%20_rng.uniform(0%2C%202%20*%20np.pi%2C%20_n)%0A%20%20%20%20_queries%20%3D%20np.column_stack(%5Bnp.cos(_rand_angles)%2C%20np.sin(_rand_angles)%5D)%0A%0A%20%20%20%20_ip_true_all%20%3D%20_queries%20%40%20x%0A%20%20%20%20_ip_est1_all%20%3D%20_queries%20%40%20x_tilde_1%0A%20%20%20%20_ip_est2_all%20%3D%20_queries%20%40%20x_tilde_2%0A%0A%20%20%20%20_ip_err1_all%20%3D%20np.abs(_ip_true_all%20-%20_ip_est1_all)%0A%20%20%20%20_ip_err2_all%20%3D%20np.abs(_ip_true_all%20-%20_ip_est2_all)%0A%0A%20%20%20%20_mean_err1%20%3D%20np.mean(_ip_err1_all)%0A%20%20%20%20_mean_err2%20%3D%20np.mean(_ip_err2_all)%0A%20%20%20%20_pct_worse%20%3D%20(_mean_err2%20%2F%20_mean_err1%20-%201)%20*%20100%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%205))%0A%0A%20%20%20%20_bins%20%3D%20np.linspace(0%2C%20max(_ip_err1_all.max()%2C%20_ip_err2_all.max())%20*%201.05%2C%2040)%0A%20%20%20%20_ax.hist(%0A%20%20%20%20%20%20%20%20_ip_err1_all%2C%20bins%3D_bins%2C%20alpha%3D0.7%2C%20color%3D%22limegreen%22%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.3%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%24%5Ctilde%7Bx%7D_1%24%20(perp%20error)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.hist(%0A%20%20%20%20%20%20%20%20_ip_err2_all%2C%20bins%3D_bins%2C%20alpha%3D0.7%2C%20color%3D%22tomato%22%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.3%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%24%5Ctilde%7Bx%7D_2%24%20(parallel%20error)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20mean%20lines%0A%20%20%20%20_ax.axvline(_mean_err1%2C%20color%3D%22limegreen%22%2C%20ls%3D%22--%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Mean%20%3D%20%7B_mean_err1%3A.3f%7D%22)%0A%20%20%20%20_ax.axvline(_mean_err2%2C%20color%3D%22tomato%22%2C%20ls%3D%22--%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Mean%20%3D%20%7B_mean_err2%3A.3f%7D%22)%0A%0A%20%20%20%20%23%20annotation%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20f%22Parallel%20error%20is%20%7B_pct_worse%3A.0f%7D%25%20worse%5Cnon%20average%20across%201000%20random%20queries%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(_mean_err2%2C%20_ax.get_ylim()%5B1%5D%20*%200.5%20if%20_ax.get_ylim()%5B1%5D%20%3E%200%20else%2050)%2C%0A%20%20%20%20%20%20%20%20xytext%3D(_mean_err2%20%2B%200.15%2C%20_ax.get_ylim()%5B1%5D%20*%200.7%20if%20_ax.get_ylim()%5B1%5D%20%3E%200%20else%2070)%2C%0A%20%20%20%20%20%20%20%20fontsize%3D11%2C%20color%3D%22white%22%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%3E%22%2C%20color%3D%22white%22%2C%20lw%3D1.5)%2C%0A%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D%22round%2Cpad%3D0.3%22%2C%20fc%3D%22%231a1a2e%22%2C%20ec%3D%22white%22%2C%20alpha%3D0.9)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax.set_xlabel(%22Absolute%20inner%20product%20error%22%2C%20color%3D%22gray%22)%0A%20%20%20%20_ax.set_ylabel(%22Count%22%2C%20color%3D%22gray%22)%0A%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20f%22IP%20error%20distribution%3A%20Mean%20perp%3D%7B_mean_err1%3A.3f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20f%22Mean%20parallel%3D%7B_mean_err2%3A.3f%7D%20(%7B_pct_worse%3A.0f%7D%25%20worse)%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22white%22%2C%20fontsize%3D11%2C%20pad%3D12%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_fig.set_facecolor(%22%231a1a2e%22)%0A%20%20%20%20_ax.tick_params(colors%3D%22gray%22)%0A%20%20%20%20for%20_sp%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20_sp.set_color(%22gray%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D9%2C%20facecolor%3D%22%231a1a2e%22%2C%20edgecolor%3D%22gray%22%2C%20labelcolor%3D%22white%22)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20matplotlib%20as%20mpl%0A%20%20%20%20mpl.rcParams.update(%7B%22text.color%22%3A%20%22white%22%2C%20%22axes.labelcolor%22%3A%20%22white%22%7D)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A