<div class="key-takeaways"><ul><li>TokenMizer ทำงานเป็นพร็อกซีคั่นกลางระหว่างแอปและ OpenAI API โดยไม่ต้องแก้โค้ด SDK</li><li>ใช้กราฟความจำ (Graph Memory) แทนการยัดประวัติการสนทนาทั้งหมดลงใน context window</li><li>มีเครื่องมือ Graph Explorer สร้างด้วย D3.js ช่วยให้มองเห็นความสัมพันธ์ของข้อมูลได้อย่างชัดเจน</li><li>รองรับการติดตั้งผ่าน pip และมี MCP server สำหรับใช้งานกับโปรแกรมแก้ไขโค้ดอย่าง Cursor</li></ul></div><p>การใช้งานโมเดลภาษาขนาดใหญ่หรือ LLM มักเริ่มต้นจากศูนย์ในทุกๆ การสนทนา เมื่อปิดแท็บและเปิดเซสชันใหม่ โมเดลจะจำไม่ได้เลยว่าผู้ใช้คือใคร เคยคุยอะไรกันเมื่อวาน หรือตัดสินใจเรื่องใดไปเมื่อสัปดาห์ก่อน วิธีแก้ปัญหาทั่วไปคือการยัดประวัติการแชททั้งหมดกลับเข้าไปใน context window ซึ่งมีต้นทุนสูง ทำงานช้า และสุดท้ายก็จะชนขีดจำกัดฮาร์ดโค้ด</p><p>นักพัฒนา Shweta Mishra จึงได้สร้าง <strong>TokenMizer</strong> ขึ้นมาเพื่อแก้ไขปัญหานี้ในแนวทางที่แตกต่าง โดยแทนที่จะจำด้วยการอ่านข้อมูลเดิมทั้งหมดซ้ำๆ ระบบนี้เลือกที่จะจดจำด้วยการสร้างกราฟความสัมพันธ์ขึ้นมาแทน</p><p>ตัวสถาปัตยกรรมของ TokenMizer ถูกออกแบบมาให้ทำหน้าที่เป็นพร็อกซีที่วางอยู่หน้า API ใดๆ ที่รองรับรูปแบบของ OpenAI ทำให้แอปพลิเคชันของคุณไม่ต้องเปลี่ยนวิธีเรียกใช้งานโมเดล แค่เปลี่ยนค่า API base URL ให้ชี้มาที่ TokenMizer แทนที่จะพุ่งตรงไปที่ OpenAI ทุกคำขอและการตอบกลับจะวิ่งผ่านเครื่องมือนี้ วิเคราะห์ และถูกจัดเก็บไว้ก่อนจะส่งต่อไปยังโมเดลจริง</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/tokenmizer_llm_msewvm6m_inline_1_e51f7abf41.jpg" alt="software architecture diagram code" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><p>ทางเลือกในการออกแบบนี้มีความสำคัญมากกว่าที่ตาเห็น เพราะทำให้ TokenMizer สามารถทำงานร่วมกับเฟรมเวิร์กหรือแอปพลิเคชันใดๆ ที่รองรับรูปแบบ OpenAI API อยู่แล้วได้ทันที โดยไม่ต้องแก้ไข SDK หรือเขียนโค้ดเชื่อมต่อใหม่ การเพิ่มความจำให้กับแอปเดิมจึงทำได้เพียงแค่เปลี่ยน URL บรรทัดเดียวเท่านั้น</p><div class="ai-insight"><p>การใช้พร็อกซีคั่นกลางในลักษณะนี้ช่วยลดภาระในการปรับแก้โค้ดฝั่งแอปพลิเคชันได้อย่างมหาศาล แต่วิธีนี้ก็แลกมาด้วยความเสี่ยงด้านความเสถียร เนื่องจากหากระบบพร็อกซีเกิดล่มขึ้นมา การเรียกใช้งาน LLM ของแอปทั้งหมดก็จะหยุดชะงักตามไปด้วย นักพัฒนาจึงต้องให้ความสำคัญกับการทดสอบระบบและการจัดการข้อผิดพลาดอย่างรัดกุม</p></div><p>ในส่วนของฟีเจอร์หลักแบ่งออกเป็นสองส่วนสำคัญ ได้แก่ File Intelligence ที่คอยตรวจสอบว่าโค้ด เอกสาร หรือไฟล์ใดถูกอ้างอิงถึงระหว่างการสนทนาเพื่อสร้างบริบท และ Graph Memory ที่ดึงเอนทิตีและความสัมพันธ์ต่างๆ เช่น บุคคล โปรเจกต์ การตัดสินใจ และการพึ่งพากัน มาเก็บไว้เป็นโหนดและเส้นเชื่อมในฐานข้อมูล SQLite</p><p>ข้อแตกต่างในเชิงปฏิบัติคือ ระบบความจำแบบบันทึกข้อความตรงๆ (flat-log) จะทำงานช้าลงและมีต้นทุนสูงขึ้นเรื่อยๆ ตามขนาดประวัติที่ยาวขึ้นเพราะต้องค้นหาข้อความจำนวนมาก แต่ระบบความจำแบบกราฟจะยังคงทำงานได้อย่างรวดเร็วเพราะเป็นการท่องไปตามเส้นทางความสัมพันธ์ ไม่ใช่การกวาดอ่านไฟล์บันทึกข้อความทั้งหมด</p><p>นอกจากนี้ TokenMizer ยังมาพร้อมกับ Graph Explorer ที่สร้างขึ้นด้วย D3.js ซึ่งเป็นแผนที่ภาพแบบอินเทอร์แอกทีฟแสดงทุกเอนทิตีและการเชื่อมต่อที่ระบบเรียนรู้ ช่วยให้ผู้ใช้สามารถตรวจสอบได้ทันทีว่าเหตุใดโมเดลจึงดึงความจำจากสามเซสชันก่อนหน้าขึ้นมาใช้งาน</p><p>ตัวไลบรารีแจกจ่ายผ่าน pip ทำให้สามารถติดตั้งลงในสภาพแวดล้อม Python ที่มีอยู่ได้โดยตรง และยังมี CLI สำหรับตรวจสอบ ค้นหา และจัดการกราฟความจำโดยไม่ต้องเขียนโค้ด รวมถึงรองรับ MCP (Model Context Protocol) server เพื่อให้โปรแกรมอย่าง Cursor สามารถดึงความจำไปใช้เป็นเครื่องมือได้</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/shweta_mishra_b3c97874de9/tokenmizer-giving-llms-a-memory-that-doesnt-forget-between-sessions-6he" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>TokenMizer acts as an API proxy between your app and OpenAI without requiring SDK changes.</li><li>Replaces flat context window stuffing with a graph-based memory architecture.</li><li>Includes a D3.js-powered Graph Explorer to visually inspect entities and relationships.</li><li>Available via pip installation with full MCP server support for editors like Cursor.</li></ul></div><p>Every conversation with a large language model starts from absolute zero. Closing a browser tab and initiating a new session leaves the model completely unaware of previous discussions, user identities, or past decisions. Traditional workarounds involve stuffing expanding chat histories directly into the context window, resulting in high costs, slower speeds, and eventual hard limits.</p><p>Developer Shweta Mishra designed <strong>TokenMizer</strong> to approach this challenge differently, opting to remember by constructing a graph rather than repeatedly re-reading past transcripts.</p><p>TokenMizer operates as a proxy sitting in front of any OpenAI-compatible API. Applications maintain their standard calling conventions simply by redirecting their API base URL toward TokenMizer instead of directly contacting OpenAI. Every incoming request and outgoing response passes through the proxy for analysis and storage prior to reaching the underlying model.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/tokenmizer_llm_msewvm6m_inline_1_e51f7abf41.jpg" alt="software architecture diagram code" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><p>This architectural choice carries significant weight, enabling TokenMizer to integrate seamlessly with any framework or application already speaking the OpenAI API format without requiring SDK modifications or rewritten integration code. Adding persistence to a legacy app becomes as simple as updating a single URL.</p><div class="ai-insight"><p>Employing an inline proxy minimizes integration overhead for developers, yet it also raises stakes regarding reliability. If the proxy fails, all downstream LLM calls fail alongside it, making robust error handling and installer safety critical considerations for any infrastructure intercepting production traffic.</p><p>Feature sets are anchored by File Intelligence, which tracks referenced code snippets and documents across conversations, and Graph Memory, which extracts entities, projects, and decisions into SQLite-backed nodes and edges.</p><p>The operational divergence is stark: flat-log memory systems degrade in speed and cost as history expands due to exhaustive text scanning, whereas graph-based retrieval scales efficiently by traversing pre-established relationships.</p><p>To demystify internal logic, TokenMizer features a D3.js Graph Explorer providing an interactive visual map of learned entities. This interface helps developers trace exact retrieval paths when context is recalled from distant sessions.</p><p>Distributed as a pip-installable library, TokenMizer integrates directly into existing Python setups alongside a command-line interface for graph management. Furthermore, Model Context Protocol (MCP) server support allows external clients like the Cursor editor to query the exact same underlying memory graph.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/shweta_mishra_b3c97874de9/tokenmizer-giving-llms-a-memory-that-doesnt-forget-between-sessions-6he" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_tokenmizer-llm-msewvm6m.png

small_tokenmizer-llm-msewvm6m.png

thumbnail_tokenmizer-llm-msewvm6m.png

Inewgen

Inewgen

#TokenMizer

TokenMizer: Giving LLMs a Memory That Doesn't Forget Between Sessions

Inewgen