Critical Points and the Hessian

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22sympy%3D%3D1.14.0%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22plotly%3D%3D6.1.2%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Critical%20Points%20and%20the%20Hessian%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Critical%20Points%20and%20the%20Hessian%0A%0A%20%20%20%20A%20**critical%20point**%20(also%20called%20a%20stationary%20point)%20of%20a%20function%20%24f(x%2C%20y)%24%20is%20a%20point%0A%20%20%20%20where%20the%20gradient%20vanishes%3A%20%24%5Cnabla%20f%20%3D%20%5Cmathbf%7B0%7D%24.%20At%20such%20points%2C%20there%20is%20no%20direction%0A%20%20%20%20of%20instantaneous%20increase%20or%20decrease%20---%20the%20function%20is%20momentarily%20%22flat.%22%0A%0A%20%20%20%20Critical%20points%20come%20in%20three%20flavours%3A%0A%0A%20%20%20%20-%20**Local%20minimum**%20---%20the%20function%20curves%20upward%20in%20every%20direction%20(think%3A%20bottom%20of%20a%20bowl)%0A%20%20%20%20-%20**Local%20maximum**%20---%20the%20function%20curves%20downward%20in%20every%20direction%20(think%3A%20top%20of%20a%20hill)%0A%20%20%20%20-%20**Saddle%20point**%20---%20the%20function%20curves%20upward%20in%20some%20directions%20and%20downward%20in%20others%0A%20%20%20%20%20%20(think%3A%20a%20mountain%20pass%20or%20a%20Pringles%20chip)%0A%0A%20%20%20%20The%20**Hessian%20matrix**%20%24H%24%20of%20second%20partial%20derivatives%20classifies%20which%20type%20a%20critical%0A%20%20%20%20point%20is.%20Its%20determinant%20and%20eigenvalues%20reveal%20the%20curvature%20structure%20at%20the%20point.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sympy%20as%20sp%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20return%20go%2C%20mo%2C%20np%2C%20plt%2C%20sp%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20func_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x**2%20%2B%20y**2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-x**2%20-%20y**2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x**2%20-%20y**2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x**3%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x**2%20%2B%20x*y%20%2B%20y**2%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22x**2%20%2B%20y**2%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22f(x%2C%20y)%20%3D%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22**Choose%20a%20function%3A**%20%7Bfunc_dropdown%7D%22)%0A%20%20%20%20return%20(func_dropdown%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(func_dropdown%2C%20mo%2C%20sp)%3A%0A%20%20%20%20x%2C%20y%20%3D%20sp.symbols(%22x%20y%22)%0A%0A%20%20%20%20_func_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22x**2%20%2B%20y**2%22%3A%20x**2%20%2B%20y**2%2C%0A%20%20%20%20%20%20%20%20%22-x**2%20-%20y**2%22%3A%20-(x**2)%20-%20y**2%2C%0A%20%20%20%20%20%20%20%20%22x**2%20-%20y**2%22%3A%20x**2%20-%20y**2%2C%0A%20%20%20%20%20%20%20%20%22x**3%22%3A%20x**3%2C%0A%20%20%20%20%20%20%20%20%22x**2%20%2B%20x*y%20%2B%20y**2%22%3A%20x**2%20%2B%20x%20*%20y%20%2B%20y**2%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20f_expr%20%3D%20_func_map%5Bfunc_dropdown.value%5D%0A%0A%20%20%20%20%23%20gradient%0A%20%20%20%20f_x%20%3D%20sp.diff(f_expr%2C%20x)%0A%20%20%20%20f_y%20%3D%20sp.diff(f_expr%2C%20y)%0A%20%20%20%20grad%20%3D%20sp.Matrix(%5Bf_x%2C%20f_y%5D)%0A%0A%20%20%20%20%23%20critical%20points%3A%20solve%20grad%20%3D%200%0A%20%20%20%20_crit_solutions%20%3D%20sp.solve(%5Bf_x%2C%20f_y%5D%2C%20%5Bx%2C%20y%5D%2C%20dict%3DTrue)%0A%0A%20%20%20%20%23%20handle%20case%20where%20solve%20returns%20empty%20(e.g.%20x**3%20has%20line%20of%20critical%20points)%0A%20%20%20%20if%20not%20_crit_solutions%3A%0A%20%20%20%20%20%20%20%20%23%20try%20solving%20individually%0A%20%20%20%20%20%20%20%20_sol_x%20%3D%20sp.solve(f_x%2C%20x)%0A%20%20%20%20%20%20%20%20_sol_y%20%3D%20sp.solve(f_y%2C%20y)%0A%20%20%20%20%20%20%20%20if%20_sol_x%20and%20_sol_y%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_crit_solutions%20%3D%20%5B%7Bx%3A%20_sol_x%5B0%5D%2C%20y%3A%20_sol_y%5B0%5D%7D%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_crit_solutions%20%3D%20%5B%7Bx%3A%20sp.S.Zero%2C%20y%3A%20sp.S.Zero%7D%5D%0A%0A%20%20%20%20%23%20use%20first%20critical%20point%20for%20analysis%0A%20%20%20%20crit_pt%20%3D%20(_crit_solutions%5B0%5D.get(x%2C%20sp.S.Zero)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_crit_solutions%5B0%5D.get(y%2C%20sp.S.Zero))%0A%0A%20%20%20%20_crit_display%20%3D%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%5Bf%22%24(%7Bsp.latex(s.get(x%2C%200))%7D%2C%5C%5C%2C%20%7Bsp.latex(s.get(y%2C%200))%7D)%24%22%0A%20%20%20%20%20%20%20%20%20for%20s%20in%20_crit_solutions%5D%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%23%23%20Gradient%20and%20Critical%20Points%0A%0A%20%20%20%20For%20%24f(x%2C%20y)%20%3D%20%7Bsp.latex(f_expr)%7D%24%3A%0A%0A%20%20%20%20%24%24%5Cnabla%20f%20%3D%20%5Cbegin%7B%7Bpmatrix%7D%7D%20f_x%20%5C%5C%20f_y%20%5Cend%7B%7Bpmatrix%7D%7D%0A%20%20%20%20%3D%20%5Cbegin%7B%7Bpmatrix%7D%7D%20%7Bsp.latex(f_x)%7D%20%5C%5C%20%7Bsp.latex(f_y)%7D%20%5Cend%7B%7Bpmatrix%7D%7D%24%24%0A%0A%20%20%20%20Setting%20%24%5Cnabla%20f%20%3D%20%5Cmathbf%7B%7B0%7D%7D%24%20and%20solving%3A%0A%0A%20%20%20%20**Critical%20point(s)%3A**%20%7B_crit_display%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20crit_pt%2C%20f_expr%2C%20f_x%2C%20f_y%2C%20x%2C%20y%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(crit_pt%2C%20f_x%2C%20f_y%2C%20mo%2C%20sp%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20second%20partial%20derivatives%0A%20%20%20%20f_xx%20%3D%20sp.diff(f_x%2C%20x)%0A%20%20%20%20f_xy%20%3D%20sp.diff(f_x%2C%20y)%0A%20%20%20%20f_yx%20%3D%20sp.diff(f_y%2C%20x)%0A%20%20%20%20f_yy%20%3D%20sp.diff(f_y%2C%20y)%0A%0A%20%20%20%20%23%20Hessian%20matrix%0A%20%20%20%20H%20%3D%20sp.Matrix(%5B%5Bf_xx%2C%20f_xy%5D%2C%20%5Bf_yx%2C%20f_yy%5D%5D)%0A%0A%20%20%20%20%23%20evaluate%20at%20critical%20point%0A%20%20%20%20H_at_crit%20%3D%20H.subs(%7Bx%3A%20crit_pt%5B0%5D%2C%20y%3A%20crit_pt%5B1%5D%7D)%0A%0A%20%20%20%20%23%20determinant%20and%20eigenvalues%0A%20%20%20%20det_H%20%3D%20H_at_crit.det()%0A%20%20%20%20eigenvals%20%3D%20list(H_at_crit.eigenvals().keys())%0A%20%20%20%20eigenvals_sorted%20%3D%20sorted(eigenvals%2C%20key%3Dlambda%20e%3A%20float(e)%20if%20e.is_real%20else%200)%0A%0A%20%20%20%20%23%20classification%0A%20%20%20%20_trace%20%3D%20H_at_crit.trace()%0A%20%20%20%20if%20det_H%20%3E%200%20and%20_trace%20%3E%200%3A%0A%20%20%20%20%20%20%20%20classification%20%3D%20%22Local%20minimum%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20(r%22%24%5Cdet(H)%20%3E%200%24%20and%20%24f_%7Bxx%7D%20%3E%200%24%3A%20the%20quadratic%20form%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22**positive%20definite**%20%E2%80%94%20the%20surface%20curves%20upward%20in%20all%20directions.%22)%0A%20%20%20%20elif%20det_H%20%3E%200%20and%20_trace%20%3C%200%3A%0A%20%20%20%20%20%20%20%20classification%20%3D%20%22Local%20maximum%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20(r%22%24%5Cdet(H)%20%3E%200%24%20and%20%24f_%7Bxx%7D%20%3C%200%24%3A%20the%20quadratic%20form%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22**negative%20definite**%20%E2%80%94%20the%20surface%20curves%20downward%20in%20all%20directions.%22)%0A%20%20%20%20elif%20det_H%20%3C%200%3A%0A%20%20%20%20%20%20%20%20classification%20%3D%20%22Saddle%20point%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20(r%22%24%5Cdet(H)%20%3C%200%24%3A%20the%20quadratic%20form%20is%20**indefinite**%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22eigenvalues%20have%20opposite%20signs%2C%20so%20the%20surface%20curves%20up%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22in%20one%20eigendirection%20and%20down%20in%20the%20other.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20classification%20%3D%20%22Degenerate%20(inconclusive)%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20(r%22%24%5Cdet(H)%20%3D%200%24%3A%20at%20least%20one%20eigenvalue%20is%20zero.%20The%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22second-derivative%20test%20is%20**inconclusive**%20%E2%80%94%20higher-order%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22terms%20are%20needed%20to%20classify%20this%20point.%22)%0A%0A%20%20%20%20_eig_display%20%3D%20%22%2C%5C%5C%3B%20%22.join(%5Bsp.latex(e)%20for%20e%20in%20eigenvals_sorted%5D)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%23%23%20Hessian%20Matrix%20and%20Classification%0A%0A%20%20%20%20The%20Hessian%20matrix%20of%20second%20partial%20derivatives%3A%0A%0A%20%20%20%20%24%24H%20%3D%20%5Cbegin%7B%7Bpmatrix%7D%7D%20f_%7B%7Bxx%7D%7D%20%26%20f_%7B%7Bxy%7D%7D%20%5C%5C%20f_%7B%7Byx%7D%7D%20%26%20f_%7B%7Byy%7D%7D%20%5Cend%7B%7Bpmatrix%7D%7D%0A%20%20%20%20%3D%20%5Cbegin%7B%7Bpmatrix%7D%7D%20%7Bsp.latex(f_xx)%7D%20%26%20%7Bsp.latex(f_xy)%7D%20%5C%5C%0A%20%20%20%20%7Bsp.latex(f_yx)%7D%20%26%20%7Bsp.latex(f_yy)%7D%20%5Cend%7B%7Bpmatrix%7D%7D%24%24%0A%0A%20%20%20%20At%20the%20critical%20point%20%24(%7Bsp.latex(crit_pt%5B0%5D)%7D%2C%5C%2C%20%7Bsp.latex(crit_pt%5B1%5D)%7D)%24%3A%0A%0A%20%20%20%20%24%24H%5Cbig%7C_%7B%7Bcp%7D%7D%20%3D%20%7Bsp.latex(H_at_crit)%7D%24%24%0A%0A%20%20%20%20%7C%20Quantity%20%7C%20Value%20%7C%0A%20%20%20%20%7C----------%7C-------%7C%0A%20%20%20%20%7C%20%24%5Cdet(H)%20%3D%20f_%7B%7Bxx%7D%7D%20f_%7B%7Byy%7D%7D%20-%20f_%7B%7Bxy%7D%7D%5E2%24%20%7C%20%24%7Bsp.latex(det_H)%7D%24%20%7C%0A%20%20%20%20%7C%20Eigenvalues%20%24%5Clambda_1%2C%20%5Clambda_2%24%20%7C%20%24%7B_eig_display%7D%24%20%7C%0A%20%20%20%20%7C%20**Classification**%20%7C%20**%7Bclassification%7D**%20%7C%0A%0A%20%20%20%20%7B_explanation%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20H_at_crit%2C%20eigenvals_sorted%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(H_at_crit%2C%20crit_pt%2C%20f_expr%2C%20mo%2C%20sp%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20Taylor%20expansion%20at%20the%20critical%20point%0A%20%20%20%20_x0%2C%20_y0%20%3D%20crit_pt%0A%20%20%20%20_dx%2C%20_dy%20%3D%20sp.symbols(%22dx%20dy%22)%0A%0A%20%20%20%20%23%20second-order%20Taylor%3A%20f(cp)%20%2B%200%20(grad%3D0)%20%2B%201%2F2%20%5Bdx%20dy%5D%20H%20%5Bdx%20dy%5D%5ET%0A%20%20%20%20_f_at_cp%20%3D%20f_expr.subs(%7Bx%3A%20_x0%2C%20y%3A%20_y0%7D)%0A%0A%20%20%20%20_v%20%3D%20sp.Matrix(%5B_dx%2C%20_dy%5D)%0A%20%20%20%20_quad_form%20%3D%20(sp.Rational(1%2C%202)%20*%20_v.T%20*%20H_at_crit%20*%20_v)%5B0%2C%200%5D%0A%20%20%20%20_quad_expanded%20%3D%20sp.expand(_quad_form)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%23%23%20Second-Order%20Taylor%20Expansion%0A%0A%20%20%20%20At%20a%20critical%20point%2C%20the%20gradient%20vanishes%20(%24%5Cnabla%20f%20%3D%20%5Cmathbf%7B%7B0%7D%7D%24)%2C%20so%20the%0A%20%20%20%20first-order%20terms%20disappear.%20The%20local%20behaviour%20is%20dominated%20by%20the%0A%20%20%20%20**quadratic%20form**%20from%20the%20Hessian.%0A%0A%20%20%20%20Near%20%24(%7Bsp.latex(_x0)%7D%2C%5C%2C%20%7Bsp.latex(_y0)%7D)%24%2C%20with%20%24%5Cdelta%20x%20%3D%20x%20-%20%7Bsp.latex(_x0)%7D%24%2C%0A%20%20%20%20%24%5Cdelta%20y%20%3D%20y%20-%20%7Bsp.latex(_y0)%7D%24%3A%0A%0A%20%20%20%20%24%24f(x%2C%20y)%20%5Capprox%20%7Bsp.latex(_f_at_cp)%7D%20%2B%20%5Cfrac%7B%7B1%7D%7D%7B%7B2%7D%7D%0A%20%20%20%20%5Cbegin%7B%7Bpmatrix%7D%7D%20%5Cdelta%20x%20%26%20%5Cdelta%20y%20%5Cend%7B%7Bpmatrix%7D%7D%0A%20%20%20%20%7Bsp.latex(H_at_crit)%7D%0A%20%20%20%20%5Cbegin%7B%7Bpmatrix%7D%7D%20%5Cdelta%20x%20%5C%5C%20%5Cdelta%20y%20%5Cend%7B%7Bpmatrix%7D%7D%24%24%0A%0A%20%20%20%20%24%24%3D%20%7Bsp.latex(_f_at_cp)%7D%20%2B%20%7Bsp.latex(_quad_expanded)%7D%24%24%0A%0A%20%20%20%20The%20sign%20structure%20of%20this%20quadratic%20form%20determines%20the%20shape%3A%0A%0A%20%20%20%20-%20**Positive%20definite**%20(%24%5Clambda_1%2C%20%5Clambda_2%20%3E%200%24)%3A%20bowl%20opening%20upward%20%E2%80%94%20**minimum**%0A%20%20%20%20-%20**Negative%20definite**%20(%24%5Clambda_1%2C%20%5Clambda_2%20%3C%200%24)%3A%20bowl%20opening%20downward%20%E2%80%94%20**maximum**%0A%20%20%20%20-%20**Indefinite**%20(%24%5Clambda_1%20%3E%200%20%3E%20%5Clambda_2%24)%3A%20saddle%20shape%0A%20%20%20%20-%20**Semi-definite**%20(one%20%24%5Clambda%20%3D%200%24)%3A%20degenerate%20%E2%80%94%20trough%20or%20ridge%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(crit_pt%2C%20f_expr%2C%20go%2C%20mo%2C%20np%2C%20sp%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%203D%20surface%20plot%20with%20plotly%0A%20%20%20%20_x0_val%20%3D%20float(crit_pt%5B0%5D)%0A%20%20%20%20_y0_val%20%3D%20float(crit_pt%5B1%5D)%0A%0A%20%20%20%20%23%20choose%20plotting%20range%20centered%20on%20critical%20point%0A%20%20%20%20_range%20%3D%202.0%0A%20%20%20%20_xg%20%3D%20np.linspace(_x0_val%20-%20_range%2C%20_x0_val%20%2B%20_range%2C%20100)%0A%20%20%20%20_yg%20%3D%20np.linspace(_y0_val%20-%20_range%2C%20_y0_val%20%2B%20_range%2C%20100)%0A%20%20%20%20_X%2C%20_Y%20%3D%20np.meshgrid(_xg%2C%20_yg)%0A%0A%20%20%20%20%23%20convert%20sympy%20expression%20to%20numpy%20function%0A%20%20%20%20_f_numpy%20%3D%20sp.lambdify((x%2C%20y)%2C%20f_expr%2C%20modules%3D%5B%22numpy%22%5D)%0A%20%20%20%20_Z%20%3D%20_f_numpy(_X%2C%20_Y)%0A%0A%20%20%20%20_z_crit%20%3D%20float(f_expr.subs(%7Bx%3A%20crit_pt%5B0%5D%2C%20y%3A%20crit_pt%5B1%5D%7D))%0A%0A%20%20%20%20_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20_fig.add_trace(go.Surface(%0A%20%20%20%20%20%20%20%20x%3D_xg%2C%20y%3D_yg%2C%20z%3D_Z%2C%0A%20%20%20%20%20%20%20%20colorscale%3D%22RdBu_r%22%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20name%3D%22f(x%2C%20y)%22%2C%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20mark%20critical%20point%0A%20%20%20%20_fig.add_trace(go.Scatter3d(%0A%20%20%20%20%20%20%20%20x%3D%5B_x0_val%5D%2C%20y%3D%5B_y0_val%5D%2C%20z%3D%5B_z_crit%5D%2C%0A%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(size%3D8%2C%20color%3D%22red%22%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20name%3D%22Critical%20point%22%2C%0A%20%20%20%20))%0A%0A%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20template%3D%22plotly_white%22%2C%0A%20%20%20%20%20%20%20%20title%3Ddict(text%3Df%22f(x%2C%20y)%20%3D%20%7Bsp.latex(f_expr)%7D%22%2C%20font%3Ddict(size%3D16))%2C%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D%22f(x%2C%20y)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(eye%3Ddict(x%3D1.5%2C%20y%3D1.5%2C%20z%3D1.2))%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20width%3D700%2C%0A%20%20%20%20%20%20%20%20height%3D550%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D10%2C%20r%3D10%2C%20t%3D50%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%203D%20Surface%0A%0A%20%20%20%20The%20red%20diamond%20marks%20the%20critical%20point%20at%20%24(%7B_x0_val%3A.1f%7D%2C%5C%5C%2C%20%7B_y0_val%3A.1f%7D%2C%5C%5C%2C%20%7B_z_crit%3A.2f%7D)%24.%0A%0A%20%20%20%20%7Bmo.as_html(_fig)%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(H_at_crit%2C%20crit_pt%2C%20eigenvals_sorted%2C%20f_expr%2C%20mo%2C%20np%2C%20plt%2C%20sp%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20contour%20plot%20with%20eigenvectors%0A%20%20%20%20_x0_val%20%3D%20float(crit_pt%5B0%5D)%0A%20%20%20%20_y0_val%20%3D%20float(crit_pt%5B1%5D)%0A%0A%20%20%20%20_range%20%3D%202.0%0A%20%20%20%20_xg%20%3D%20np.linspace(_x0_val%20-%20_range%2C%20_x0_val%20%2B%20_range%2C%20200)%0A%20%20%20%20_yg%20%3D%20np.linspace(_y0_val%20-%20_range%2C%20_y0_val%20%2B%20_range%2C%20200)%0A%20%20%20%20_X%2C%20_Y%20%3D%20np.meshgrid(_xg%2C%20_yg)%0A%0A%20%20%20%20_f_numpy%20%3D%20sp.lambdify((x%2C%20y)%2C%20f_expr%2C%20modules%3D%5B%22numpy%22%5D)%0A%20%20%20%20_Z%20%3D%20_f_numpy(_X%2C%20_Y)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(8%2C%207))%0A%20%20%20%20_fig.set_facecolor(%22white%22)%0A%20%20%20%20_ax.set_facecolor(%22white%22)%0A%20%20%20%20_ax.set_aspect(%22equal%22)%0A%0A%20%20%20%20%23%20contour%20levels%0A%20%20%20%20_contour%20%3D%20_ax.contour(_X%2C%20_Y%2C%20_Z%2C%20levels%3D20%2C%20cmap%3D%22RdBu_r%22%2C%20linewidths%3D1.2)%0A%20%20%20%20_ax.clabel(_contour%2C%20inline%3DTrue%2C%20fontsize%3D8%2C%20fmt%3D%22%25.2f%22)%0A%0A%20%20%20%20%23%20filled%20contours%20for%20visual%20clarity%0A%20%20%20%20_ax.contourf(_X%2C%20_Y%2C%20_Z%2C%20levels%3D20%2C%20cmap%3D%22RdBu_r%22%2C%20alpha%3D0.15)%0A%0A%20%20%20%20%23%20critical%20point%0A%20%20%20%20_ax.plot(_x0_val%2C%20_y0_val%2C%20%22o%22%2C%20color%3D%22red%22%2C%20ms%3D10%2C%20zorder%3D6)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20f%22(%7B_x0_val%3A.1f%7D%2C%20%7B_y0_val%3A.1f%7D)%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(_x0_val%2C%20_y0_val)%2C%0A%20%20%20%20%20%20%20%20xytext%3D(_x0_val%20%2B%200.2%2C%20_y0_val%20%2B%200.25)%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20color%3D%22red%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20draw%20eigenvectors%20of%20the%20Hessian%20as%20arrows%20(principal%20curvature%20directions)%0A%20%20%20%20_H_np%20%3D%20np.array(H_at_crit.tolist()%2C%20dtype%3Dfloat)%0A%20%20%20%20_eigvals_np%2C%20_eigvecs_np%20%3D%20np.linalg.eigh(_H_np)%0A%0A%20%20%20%20_arrow_scale%20%3D%200.8%0A%20%20%20%20_colors%20%3D%20%5B%22%232E86C1%22%2C%20%22%23E67E22%22%5D%20%20%23%20blue%2C%20orange%0A%20%20%20%20_labels%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_i%20in%20range(2)%3A%0A%20%20%20%20%20%20%20%20_ev%20%3D%20_eigvecs_np%5B%3A%2C%20_i%5D%0A%20%20%20%20%20%20%20%20_lam%20%3D%20_eigvals_np%5B_i%5D%0A%20%20%20%20%20%20%20%20_label%20%3D%20rf%22%24%5Clambda_%7B_i%2B1%7D%3D%7B_lam%3A.2f%7D%24%22%0A%20%20%20%20%20%20%20%20_labels.append(_label)%0A%0A%20%20%20%20%20%20%20%20%23%20draw%20eigenvector%20in%20both%20directions%0A%20%20%20%20%20%20%20%20for%20_sign%20in%20%5B1%2C%20-1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_dx%20%3D%20_sign%20*%20_arrow_scale%20*%20_ev%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_dy%20%3D%20_sign%20*%20_arrow_scale%20*%20_ev%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xy%3D(_x0_val%20%2B%20_dx%2C%20_y0_val%20%2B%20_dy)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(_x0_val%2C%20_y0_val)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D_colors%5B_i%5D%2C%20lw%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20label%20the%20positive%20direction%0A%20%20%20%20%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20_x0_val%20%2B%20_arrow_scale%20*%20_ev%5B0%5D%20%2B%200.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_y0_val%20%2B%20_arrow_scale%20*%20_ev%5B1%5D%20%2B%200.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D11%2C%20fontweight%3D%22bold%22%2C%20color%3D_colors%5B_i%5D%2C%20zorder%3D7%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_ax.grid(True%2C%20alpha%3D0.3%2C%20color%3D%22lightgray%22)%0A%20%20%20%20_ax.set_xlabel(%22x%22%2C%20fontsize%3D11%2C%20color%3D%22black%22)%0A%20%20%20%20_ax.set_ylabel(%22y%22%2C%20fontsize%3D11%2C%20color%3D%22black%22)%0A%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20%22Contour%20plot%20with%20Hessian%20eigenvectors%20(principal%20curvature%20directions)%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D12%2C%20color%3D%22black%22%2C%20pad%3D10%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.tick_params(colors%3D%22black%22)%0A%20%20%20%20for%20_spine%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20_spine.set_color(%22gray%22)%0A%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20_eig_text%20%3D%20%22%2C%20%22.join(%5Bf%22%24%5C%5Clambda_%7Bi%2B1%7D%20%3D%20%7Bsp.latex(e)%7D%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20e%20in%20enumerate(eigenvals_sorted)%5D)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Contour%20Plot%20with%20Principal%20Curvature%20Directions%0A%0A%20%20%20%20The%20arrows%20show%20the%20**eigenvectors**%20of%20the%20Hessian%20at%20the%20critical%20point.%20These%20are%0A%20%20%20%20the%20directions%20of%20principal%20curvature%20---%20the%20directions%20along%20which%20the%20surface%20curves%0A%20%20%20%20the%20most%20and%20the%20least.%0A%0A%20%20%20%20Eigenvalues%3A%20%7B_eig_text%7D%0A%0A%20%20%20%20-%20**Blue%20arrow**%3A%20first%20eigenvector%20direction%0A%20%20%20%20-%20**Orange%20arrow**%3A%20second%20eigenvector%20direction%0A%20%20%20%20-%20Positive%20eigenvalue%20%3D%20curves%20upward%20along%20that%20direction%0A%20%20%20%20-%20Negative%20eigenvalue%20%3D%20curves%20downward%20along%20that%20direction%0A%0A%20%20%20%20%7Bmo.as_html(_fig)%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20alpha_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-1.0%2C%201.0%2C%20value%3D1.0%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22%5Cu03b1%20(interpolation%20parameter)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Interpolation%3A%20From%20Bowl%20to%20Saddle%0A%0A%20%20%20%20Consider%20the%20family%20%24f(x%2C%20y)%20%3D%20x%5E2%20%2B%20%5C%5Calpha%5C%5C%2C%20y%5E2%24.%20As%20%24%5C%5Calpha%24%20varies%3A%0A%0A%20%20%20%20-%20%24%5C%5Calpha%20%3D%201%24%3A%20**bowl**%20(minimum)%20---%20eigenvalues%20%24(2%2C%202)%24%0A%20%20%20%20-%20%24%5C%5Calpha%20%3D%200%24%3A%20**trough**%20(degenerate)%20---%20eigenvalues%20%24(2%2C%200)%24%0A%20%20%20%20-%20%24%5C%5Calpha%20%3D%20-1%24%3A%20**saddle**%20---%20eigenvalues%20%24(2%2C%20-2)%24%0A%0A%20%20%20%20%7Balpha_slider%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(alpha_slider%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alpha_slider%2C%20go%2C%20mo%2C%20np%2C%20plt%2C%20sp)%3A%0A%20%20%20%20_alpha%20%3D%20alpha_slider.value%0A%0A%20%20%20%20%23%20eigenvalues%20of%20H%20for%20f%20%3D%20x%5E2%20%2B%20alpha*y%5E2%3A%20H%20%3D%20%5B%5B2%2C%200%5D%2C%20%5B0%2C%202*alpha%5D%5D%0A%20%20%20%20_lam1%20%3D%202.0%0A%20%20%20%20_lam2%20%3D%202.0%20*%20_alpha%0A%20%20%20%20_det%20%3D%20_lam1%20*%20_lam2%0A%0A%20%20%20%20%23%20classification%0A%20%20%20%20if%20_det%20%3E%200%20and%20_lam1%20%3E%200%3A%0A%20%20%20%20%20%20%20%20_class%20%3D%20%22Local%20minimum%22%0A%20%20%20%20elif%20_det%20%3E%200%20and%20_lam1%20%3C%200%3A%0A%20%20%20%20%20%20%20%20_class%20%3D%20%22Local%20maximum%22%0A%20%20%20%20elif%20_det%20%3C%200%3A%0A%20%20%20%20%20%20%20%20_class%20%3D%20%22Saddle%20point%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_class%20%3D%20%22Degenerate%22%0A%0A%20%20%20%20%23%203D%20surface%0A%20%20%20%20_xg%20%3D%20np.linspace(-2%2C%202%2C%2080)%0A%20%20%20%20_yg%20%3D%20np.linspace(-2%2C%202%2C%2080)%0A%20%20%20%20_X%2C%20_Y%20%3D%20np.meshgrid(_xg%2C%20_yg)%0A%20%20%20%20_Z%20%3D%20_X**2%20%2B%20_alpha%20*%20_Y**2%0A%0A%20%20%20%20_fig_3d%20%3D%20go.Figure()%0A%20%20%20%20_fig_3d.add_trace(go.Surface(%0A%20%20%20%20%20%20%20%20x%3D_xg%2C%20y%3D_yg%2C%20z%3D_Z%2C%0A%20%20%20%20%20%20%20%20colorscale%3D%22RdBu_r%22%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20))%0A%20%20%20%20_fig_3d.add_trace(go.Scatter3d(%0A%20%20%20%20%20%20%20%20x%3D%5B0%5D%2C%20y%3D%5B0%5D%2C%20z%3D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(size%3D6%2C%20color%3D%22red%22%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20name%3D%22Critical%20point%22%2C%0A%20%20%20%20))%0A%20%20%20%20_fig_3d.update_layout(%0A%20%20%20%20%20%20%20%20template%3D%22plotly_white%22%2C%0A%20%20%20%20%20%20%20%20title%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3Df%22f(x%2C%20y)%20%3D%20x%5Cu00b2%20%2B%20(%7B_alpha%3A.2f%7D)y%5Cu00b2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D14)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D%22f(x%2C%20y)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(eye%3Ddict(x%3D1.5%2C%20y%3D1.5%2C%20z%3D1.2))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis%3Ddict(range%3D%5B-4%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20width%3D700%2C%0A%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D10%2C%20r%3D10%2C%20t%3D50%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20contour%20plot%0A%20%20%20%20_fig_c%2C%20_ax_c%20%3D%20plt.subplots(figsize%3D(6%2C%205.5))%0A%20%20%20%20_fig_c.set_facecolor(%22white%22)%0A%20%20%20%20_ax_c.set_facecolor(%22white%22)%0A%20%20%20%20_ax_c.set_aspect(%22equal%22)%0A%0A%20%20%20%20_xg2%20%3D%20np.linspace(-2%2C%202%2C%20200)%0A%20%20%20%20_yg2%20%3D%20np.linspace(-2%2C%202%2C%20200)%0A%20%20%20%20_X2%2C%20_Y2%20%3D%20np.meshgrid(_xg2%2C%20_yg2)%0A%20%20%20%20_Z2%20%3D%20_X2**2%20%2B%20_alpha%20*%20_Y2**2%0A%0A%20%20%20%20_levels%20%3D%20np.linspace(-4%2C%204%2C%2025)%0A%20%20%20%20_contour%20%3D%20_ax_c.contour(_X2%2C%20_Y2%2C%20_Z2%2C%20levels%3D_levels%2C%20cmap%3D%22RdBu_r%22%2C%20linewidths%3D1.0)%0A%20%20%20%20_ax_c.clabel(_contour%2C%20inline%3DTrue%2C%20fontsize%3D7%2C%20fmt%3D%22%25.1f%22)%0A%20%20%20%20_ax_c.plot(0%2C%200%2C%20%22o%22%2C%20color%3D%22red%22%2C%20ms%3D8%2C%20zorder%3D6)%0A%0A%20%20%20%20%23%20eigenvectors%20are%20axis-aligned%20for%20this%20family%0A%20%20%20%20_arrow_scale%20%3D%200.6%0A%20%20%20%20_ax_c.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(_arrow_scale%2C%200)%2C%20xytext%3D(0%2C%200)%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22%232E86C1%22%2C%20lw%3D2.5)%2C%0A%20%20%20%20%20%20%20%20zorder%3D7%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_c.text(%0A%20%20%20%20%20%20%20%20_arrow_scale%20%2B%200.08%2C%200.08%2C%0A%20%20%20%20%20%20%20%20rf%22%24%5Clambda_1%3D%7B_lam1%3A.1f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%232E86C1%22%2C%20zorder%3D7%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_c.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(0%2C%20_arrow_scale)%2C%20xytext%3D(0%2C%200)%2C%0A%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%7C%3E%22%2C%20color%3D%22%23E67E22%22%2C%20lw%3D2.5)%2C%0A%20%20%20%20%20%20%20%20zorder%3D7%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_c.text(%0A%20%20%20%20%20%20%20%200.08%2C%20_arrow_scale%20%2B%200.08%2C%0A%20%20%20%20%20%20%20%20rf%22%24%5Clambda_2%3D%7B_lam2%3A.1f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%23E67E22%22%2C%20zorder%3D7%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax_c.grid(True%2C%20alpha%3D0.3%2C%20color%3D%22lightgray%22)%0A%20%20%20%20_ax_c.set_xlabel(%22x%22%2C%20fontsize%3D11%2C%20color%3D%22black%22)%0A%20%20%20%20_ax_c.set_ylabel(%22y%22%2C%20fontsize%3D11%2C%20color%3D%22black%22)%0A%20%20%20%20_ax_c.set_title(%0A%20%20%20%20%20%20%20%20f%22Contours%20of%20x%5Cu00b2%20%2B%20(%7B_alpha%3A.2f%7D)y%5Cu00b2%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D12%2C%20color%3D%22black%22%2C%20pad%3D10%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_c.tick_params(colors%3D%22black%22)%0A%20%20%20%20for%20_spine%20in%20_ax_c.spines.values()%3A%0A%20%20%20%20%20%20%20%20_spine.set_color(%22gray%22)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20_alpha_sym%20%3D%20sp.Rational(alpha_slider.value).limit_denominator(20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Current%3A**%20%24%5C%5Calpha%20%3D%20%7Bsp.latex(_alpha_sym)%7D%24%0A%0A%20%20%20%20%7C%20Quantity%20%7C%20Value%20%7C%0A%20%20%20%20%7C----------%7C-------%7C%0A%20%20%20%20%7C%20%24%5C%5Clambda_1%24%20%7C%20%24%7B_lam1%3A.2f%7D%24%20%7C%0A%20%20%20%20%7C%20%24%5C%5Clambda_2%20%3D%202%5C%5Calpha%24%20%7C%20%24%7B_lam2%3A.2f%7D%24%20%7C%0A%20%20%20%20%7C%20%24%5C%5Cdet(H)%20%3D%20%5C%5Clambda_1%20%5C%5Clambda_2%24%20%7C%20%24%7B_det%3A.2f%7D%24%20%7C%0A%20%20%20%20%7C%20**Classification**%20%7C%20**%7B_class%7D**%20%7C%0A%0A%20%20%20%20%7Bmo.as_html(_fig_3d)%7D%0A%0A%20%20%20%20%7Bmo.as_html(_fig_c)%7D%0A%0A%20%20%20%20Notice%20how%20the%20contours%20morph%3A%0A%20%20%20%20-%20%24%5C%5Calpha%20%3E%200%24%3A%20**ellipses**%20(both%20curvatures%20same%20sign)%0A%20%20%20%20-%20%24%5C%5Calpha%20%3D%200%24%3A%20**parallel%20lines**%20(one%20curvature%20vanishes%20---%20the%20trough%20extends%20infinitely%20along%20%24y%24)%0A%20%20%20%20-%20%24%5C%5Calpha%20%3C%200%24%3A%20**hyperbolas**%20(curvatures%20have%20opposite%20signs%20---%20the%20classic%20saddle)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A