Ollama Model Selection for Apple Silicon

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%20%20%20%20%22sympy%3D%3D1.13.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Ollama%20Model%20Selection%20for%20Apple%20Silicon%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20textwrap%20as%20tw%0A%20%20%20%20import%20sympy%20as%20sp%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20def%20dedent_md(s)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(tw.dedent(s))%0A%0A%20%20%20%20def%20load_svg(name%3A%20str)%20-%3E%20mo.Html%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20svg%20%3D%20(Path(__file__).parent%20%2F%20%22static%22%20%2F%20f%22%7Bname%7D.svg%22).read_text()%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.Html(svg)%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cimg%20src%3D%22..%2Fstatic%2F%7Bname%7D.svg%22%20style%3D%22max-width%3A100%25%22%3E')%0A%0A%20%20%20%20return%20dedent_md%2C%20load_svg%2C%20mo%2C%20sp%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Ollama%20Model%20Selection%20for%20Apple%20Silicon%0A%0A%20%20%20%20%20%20%20%20This%20notebook%20helps%20you%20pick%20the%20right%20model%20size%20for%20your%20Mac's%20unified%20memory.%0A%20%20%20%20%20%20%20%20The%20core%20constraint%3A%20**the%20entire%20model%20must%20fit%20in%20RAM**%2C%20and%20whatever%20the%20model%0A%20%20%20%20%20%20%20%20uses%20is%20unavailable%20for%20everything%20else.%0A%0A%20%20%20%20%20%20%20%20Adjust%20the%20sliders%20below%20to%20explore%20how%20model%20size%2C%20quantization%2C%20and%20context%0A%20%20%20%20%20%20%20%20length%20interact%20to%20determine%20memory%20usage%20and%20performance.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md%2C%20load_svg%2C%20mo)%3A%0A%20%20%20%20_diagram%20%3D%20load_svg(%22fluidvoice_ollama_flow%22)%0A%20%20%20%20_caption%20%3D%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20The%20diagram%20shows%20the%20full%20FluidVoice%20pipeline%3A%20microphone%20to%20target%20app.%0A%20%20%20%20%20%20%20%20Everything%20runs%20on%20your%20Mac.%20The%20Ollama%20LLM%20step%20is%20optional%20--%20if%20the%0A%20%20%20%20%20%20%20%20prompt%20is%20set%20to%20%22Off%22%20in%20FluidVoice%2C%20raw%20transcription%20bypasses%20AI%0A%20%20%20%20%20%20%20%20enhancement%20and%20goes%20directly%20to%20the%20app.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.vstack(%5B_diagram%2C%20_caption%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sp)%3A%0A%20%20%20%20_P%2C%20_B%20%3D%20sp.symbols(%22P%20B%22%2C%20positive%3DTrue)%0A%20%20%20%20_mem_formula%20%3D%20_P%20*%20_B%20%2F%208%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Memory%20Formula%0A%0A%20%20%20%20The%20memory%20needed%20for%20model%20weights%20alone%3A%0A%0A%20%20%20%20%24%24%5C%5Ctext%7B%7BMemory%20(GB)%7D%7D%20%3D%20%7Bsp.latex(_mem_formula)%7D%24%24%0A%0A%20%20%20%20where%20%24P%24%20%3D%20parameters%20in%20billions%2C%20%24B%24%20%3D%20bits%20per%20weight.%0A%0A%20%20%20%20The%20KV%20cache%20adds%20roughly%201-2%20GB%20depending%20on%20context%20window%20size.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Your%20Hardware%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20total_mem_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2016%2C%20192%2C%20value%3D64%2C%20step%3D8%2C%0A%20%20%20%20%20%20%20%20label%3D%22Total%20unified%20memory%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20os_overhead_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%204%2C%2020%2C%20value%3D10%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22OS%20%2B%20background%20apps%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Btotal_mem_slider%2C%20os_overhead_slider%5D)%0A%20%20%20%20return%20os_overhead_slider%2C%20total_mem_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Model%20Parameters%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20param_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%221.5B%22%3A%201.5%2C%20%223B%22%3A%203.0%2C%20%224B%22%3A%204.0%2C%20%227B%22%3A%207.0%2C%20%228B%22%3A%208.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%2214B%22%3A%2014.0%2C%20%2227B%22%3A%2027.0%2C%20%2232B%22%3A%2032.0%2C%20%2270B%22%3A%2070.0%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%227B%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20quant_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Q4_K_M%20(~4.5%20bits)%22%3A%204.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Q5_K_M%20(~5.5%20bits)%22%3A%205.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Q6_K%20(~6.5%20bits)%22%3A%206.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Q8_0%20(8%20bits)%22%3A%208.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FP16%20(16%20bits)%22%3A%2016.0%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Q4_K_M%20(~4.5%20bits)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantization%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20context_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202048%2C%20131072%2C%20value%3D4096%2C%20step%3D2048%2C%0A%20%20%20%20%20%20%20%20label%3D%22Context%20window%20(tokens)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bparam_dropdown%2C%20quant_dropdown%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20context_slider%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20context_slider%2C%20param_dropdown%2C%20quant_dropdown%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20context_slider%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20os_overhead_slider%2C%0A%20%20%20%20param_dropdown%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20quant_dropdown%2C%0A%20%20%20%20total_mem_slider%2C%0A)%3A%0A%20%20%20%20_total%20%3D%20total_mem_slider.value%0A%20%20%20%20_os%20%3D%20os_overhead_slider.value%0A%20%20%20%20_params%20%3D%20param_dropdown.value%0A%20%20%20%20_bits%20%3D%20quant_dropdown.value%0A%20%20%20%20_ctx%20%3D%20context_slider.value%0A%0A%20%20%20%20if%20_params%20is%20None%20or%20_bits%20is%20None%3A%0A%20%20%20%20%20%20%20%20mo.md(%22**Select%20model%20size%20and%20quantization%20above.**%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_params%20%3D%20float(_params)%0A%20%20%20%20%20%20%20%20_bits%20%3D%20float(_bits)%0A%20%20%20%20%20%20%20%20_model_gb%20%3D%20_params%20*%20_bits%20%2F%208%0A%20%20%20%20%20%20%20%20%23%20KV%20cache%20rough%20estimate%3A%20~0.5%20GB%20per%204096%20tokens%20for%207B%2C%20scales%20with%20params%0A%20%20%20%20%20%20%20%20_kv_gb%20%3D%20(_ctx%20%2F%204096)%20*%20(_params%20%2F%207)%20*%200.5%0A%20%20%20%20%20%20%20%20_kv_gb%20%3D%20round(_kv_gb%2C%201)%0A%20%20%20%20%20%20%20%20_used%20%3D%20_os%20%2B%20_model_gb%20%2B%20_kv_gb%0A%20%20%20%20%20%20%20%20_free%20%3D%20max(0%2C%20_total%20-%20_used)%0A%20%20%20%20%20%20%20%20_fits%20%3D%20_used%20%3C%3D%20_total%0A%0A%20%20%20%20%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%202.5))%0A%20%20%20%20%20%20%20%20_fig.patch.set_facecolor(%22white%22)%0A%20%20%20%20%20%20%20%20_ax.set_facecolor(%22white%22)%0A%0A%20%20%20%20%20%20%20%20_segments%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(_os%2C%20%22%2394a3b8%22%2C%20f%22OS%5Cn%7B_os%7D%20GB%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(_model_gb%2C%20%22%2360a5fa%22%20if%20_fits%20else%20%22%23f87171%22%2C%20f%22Model%5Cn%7B_model_gb%3A.1f%7D%20GB%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(_kv_gb%2C%20%22%23fbbf24%22%2C%20f%22KV%20cache%5Cn%7B_kv_gb%3A.1f%7D%20GB%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(_free%2C%20%22%2386efac%22%2C%20f%22Free%5Cn%7B_free%3A.1f%7D%20GB%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_left%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_size%2C%20_color%2C%20_label%20in%20_segments%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_size%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.barh(0%2C%20_size%2C%20left%3D_left%2C%20height%3D0.6%2C%20color%3D_color%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_size%20%3E%20_total%20*%200.06%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_left%20%2B%20_size%20%2F%202%2C%200%2C%20_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%23333%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_left%20%2B%3D%20_size%0A%0A%20%20%20%20%20%20%20%20_ax.set_xlim(0%2C%20max(_total%2C%20_used)%20*%201.02)%0A%20%20%20%20%20%20%20%20_ax.set_yticks(%5B%5D)%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(%22GB%22%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%22left%22%5D.set_visible(False)%0A%0A%20%20%20%20%20%20%20%20_status%20%3D%20%22Fits%22%20if%20_fits%20else%20%22DOES%20NOT%20FIT%22%0A%20%20%20%20%20%20%20%20_status_color%20%3D%20%22%2315803d%22%20if%20_fits%20else%20%22%23dc2626%22%0A%20%20%20%20%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_total%7D%20GB%20total%20%7C%20%7B_used%3A.1f%7D%20GB%20used%20%7C%20%7B_status%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D11%2C%20fontweight%3D%22bold%22%2C%20color%3D_status_color%2C%20pad%3D12%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%20%20%20%20%20%20%20%20mo.as_html(_fig)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20param_dropdown)%3A%0A%20%20%20%20_params%20%3D%20param_dropdown.value%0A%0A%20%20%20%20if%20_params%20is%20None%3A%0A%20%20%20%20%20%20%20%20mo.md(%22Select%20a%20model%20size%20above.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_params%20%3D%20float(_params)%0A%20%20%20%20%20%20%20%20%23%20Rough%20M4%20Max%2040-core%20GPU%20estimates%20(tokens%2Fsec%20at%20Q4_K_M)%0A%20%20%20%20%20%20%20%20_speed_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%201.5%3A%20(250%2C%20400)%2C%203.0%3A%20(200%2C%20350)%2C%204.0%3A%20(150%2C%20250)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%207.0%3A%20(100%2C%20180)%2C%208.0%3A%20(90%2C%20160)%2C%2014.0%3A%20(60%2C%20100)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%2027.0%3A%20(35%2C%2055)%2C%2032.0%3A%20(30%2C%2050)%2C%2070.0%3A%20(12%2C%2020)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_lo%2C%20_hi%20%3D%20_speed_map.get(_params%2C%20(10%2C%2050))%0A%20%20%20%20%20%20%20%20_time_200%20%3D%20f%22%7B200%20%2F%20_hi%3A.1f%7D-%7B200%20%2F%20_lo%3A.1f%7D%22%0A%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Expected%20Performance%20(M4%20Max%2C%20Q4_K_M)%0A%0A%20%20%20%20%7C%20Metric%20%7C%20Estimate%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20Generation%20speed%20%7C%20**%7B_lo%7D-%7B_hi%7D%20tokens%2Fsec**%20%7C%0A%20%20%20%20%7C%20Time%20for%20200-token%20response%20%7C%20**%7B_time_200%7D%20sec**%20%7C%0A%20%20%20%20%7C%20Time%20to%20first%20token%20(short%20prompt)%20%7C%20**~0.2-0.5%20sec**%20%7C%0A%0A%20%20%20%20These%20are%20decode%20speeds.%20Prompt%20processing%20(prefill)%20adds%20latency%20proportional%0A%20%20%20%20to%20prompt%20length.%20For%20dictation%20cleanup%20(short%20prompts)%2C%20TTFT%20is%20negligible.%0A%20%20%20%20For%20Command%20Mode%20with%20long%20conversation%20history%2C%20TTFT%20can%20be%20several%20seconds%0A%20%20%20%20on%20larger%20models.%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dedent_md)%3A%0A%20%20%20%20dedent_md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20FluidVoice%20Model%20Recommendations%0A%0A%20%20%20%20%20%20%20%20%7C%20Feature%20%7C%20Recommended%20%7C%20Why%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%20%20%20%20%7C%20**Dictation%20cleanup**%20%7C%20%60qwen2.5%3A7b%60%20or%20%60gemma3%3A4b%60%20%7C%20Fast%2C%20accurate.%20Sub-second%20latency.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Edit%20Mode**%20%7C%20%60qwen2.5%3A14b%60%20%7C%20Better%20instruction-following%20for%20rewrites.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Command%20Mode**%20%7C%20%60qwen2.5%3A14b%60%20or%20%60qwen2.5%3A32b%60%20%7C%20Needs%20function%20calling%20%2B%20reasoning.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**All-in-one**%20%7C%20%60qwen2.5%3A14b%60%20%7C%20Good%20balance.%20Single%20model%20avoids%20reload%20lag.%20%7C%0A%0A%20%20%20%20%20%20%20%20%3E%20**Tip%3A**%20Use%20one%20model%20for%20all%20modes%20to%20keep%20it%20loaded%20in%20memory.%0A%20%20%20%20%20%20%20%20%3E%20Switching%20between%20a%207B%20and%2014B%20model%20causes%20a%202-3%20second%20reload%20delay.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib%0A%20%20%20%20matplotlib.use(%22agg%22)%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20(plt%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A