<div class="key-takeaways"><ul><li>ความสามารถในการใช้เหตุผลของ AI ดีขึ้น แต่ AI ยังคงหลงทางในโค้ดเบสขนาดใหญ่</li><li>ปัญหาหลักไม่ใช่การคิดวิเคราะห์ของโมเดล แต่เป็นระบบการดึงข้อมูลหรือ Retrieval</li><li>ContextOS แก้ปัญหาด้วยการใช้ Tree-sitter และ SQLite FTS5 แทนการตัดข้อความแบบสุ่ม</li><li>รองรับการทำงานกับเครื่องมืออย่าง Cursor และ Claude Desktop ผ่านโปรโตคอล MCP</li></ul></div><p>โมเดลภาษาขนาดใหญ่ (LLM) ในปัจจุบันมีความเก่งกาจในการทำความเข้าใจโค้ดเพิ่มขึ้นอย่างก้าวกระโดด พร้อมกับหน้าต่างบริบท (Context windows) ที่ขยายตัวจากหลักพันไปจนถึงหลักล้านโทเค็น ถึงกระนั้นก็ตาม เหล่าบรรดาโปรแกรมเมอร์ก็ยังคงเผชิญกับอุปสรรคในการใช้งานผู้ช่วยเขียนโค้ด AI ให้ได้ผลลัพธ์ที่แม่นยำสม่ำเสมอ เมื่อต้องลงมือพัฒนาในคลังเก็บโค้ดขนาดใหญ่ระดับโลกจริง</p><p>หากคุณเคยใช้งานเอเจนต์อย่าง Claude Desktop หรือ Cursor เพื่อพยายามแก้จุดบกพร่องที่ซับซ้อนในคลังโค้ดใหม่ คุณย่อมคุ้นเคยกับอาการวนเวียนค้นหาอย่างไร้จุดหมายที่เรียกว่า Grep Loop of Despair เป็นอย่างดี ความเชื่อที่ยึดถือกันมาโดยตลอดคือ การป้อนไฟล์จำนวนมากลงในหน้าต่างบริบทที่ใหญ่ขึ้นจะช่วยแก้ปัญหานี้ได้ แต่ในความเป็นจริงมันไม่ได้ผล</p><p>นี่ไม่ใช่ปัญหาเรื่องความสามารถในการคิดวิเคราะห์ของโมเดล แต่เป็นปัญหาเรื่องการดึงข้อมูล (Retrieval) สถาปัตยกรรมมาตรฐานที่ระบบค้นหาข้อมูล AI ส่วนใหญ่ใช้ในปัจจุบันอย่าง RAG (Retrieval-Augmented Generation) นั้นมีขั้นตอนที่คาดเดาได้ง่ายคือ อ่านข้อความ, ตัดแบ่งตามจำนวนตัวอักษรแบบตามอำเภอใจ, สร้างเวกเตอร์ฝังตัว (Vector embeddings) และค้นหาผ่านความคล้ายคลึงแบบ cosine similarity</p><div class="ai-insight"><p>สถาปัตยกรรม RAG ทำงานได้ดีเยี่ยมกับเอกสารคู่มือหรือวิกิองค์กร แต่ประสิทธิภาพจะดิ่งลงอย่างรวดเร็วเมื่อนำมาใช้กับซอฟต์แวร์รีโปซิโทรี เนื่องจากขอบเขตของฟังก์ชันถูกทำลายลงเมื่อตัดข้อความด้วยจำนวนตัวอักษร และการพึ่งพาเวกเตอร์ฝังตัวอย่างเดียวทำให้การค้นหาสัญลักษณ์ที่ต้องการกลายเป็นการเดาแบบน่าจะเป็นไปได้ แทนที่จะเป็นการค้นหาที่แม่นยำแบบเบ็ดเสร็จ</p></div><p>เมื่อนักพัฒนาถามผู้ช่วย AI ว่า "AuthMiddleware ถูกใช้งานไว้ที่ไหน?" สิ่งที่พวกเขาต้องการไม่ใช่ "อะไรสักอย่างที่เกี่ยวข้องกับการยืนยันตัวตน" แต่พวกเขาต้องการคลาส AuthMiddleware ที่เจาะจงทันทีอย่างไร้ข้อกังขา เพื่อแก้ปัญหานี้จึงได้มีการพัฒนา ContextOS ซึ่งเป็นเอ็นจิ้นบริบทแบบ local-first ที่ออกแบบมาเฉพาะสำหรับการจัดทำดัชนีและดึงข้อมูลโครงสร้างซอฟต์แวร์ให้กับเอเจนต์ AI</p><div class="stat-row"><div class="stat-item"><span class="stat-number">98%</span><span class="stat-label">ความแม่นยำการเรียกคืนไฟล์ใน Redis 7.x</span></div><div class="stat-item"><span class="stat-number">589</span><span class="stat-label">โทเค็นเฉลี่ยต่อการค้นหาหนึ่งครั้ง</span></div></div><p>แทนที่จะตัดแบ่งตัวอักษรอย่างไร้ทิศทาง ContextOS ใช้ Tree-sitter ในการแยกวิเคราะห์รีโปซิโทรีเพื่อดึงฟังก์ชัน คลาส อินเทอร์เฟซ และเมธอดออกมาเป็นก้อนตรรกะที่แยกออกจากกันอย่างชัดเจน โดยฟังก์ชันความยาว 50บรรทัดจะกลายเป็นหนึ่งก้อนข้อมูลที่คงความสมบูรณ์เชิงโครงสร้างไว้ครบถ้วน พร้อมทั้งใช้ SQLite FTS5 (BM25) เป็นกลไกหลักในการค้นหาคำศัพท์แบบแม่นยำ</p><blockquote class="pull-quote"><p>"Stop letting your AI drown in grep output. Give it the context engine it deserves."</p><cite>Siddharth Katiyar</cite></blockquote><p>ContextOS ทำงานเป็นเซิร์ฟเวอร์ Model Context Protocol (MCP) ซึ่งหมายความว่าคุณสามารถเชื่อมต่อมันเข้ากับ Cursor, Claude Desktop และไคลเอนต์อื่นๆ ที่รองรับ MCP ได้ทันทีในปัจจุบัน ช่วยให้ AI ไม่ต้องจมดิ่งอยู่กับผลลัพธ์ของ grep อีกต่อไป</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/siddharthakatiyar/why-ai-coding-agents-get-lost-in-large-codebases-3cn" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>Modern AI reasoning is improving, but coding agents still get lost in large repositories.</li><li>The root issue is not model reasoning, but a fundamental retrieval problem.</li><li>ContextOS solves this by using Tree-sitter and SQLite FTS5 instead of arbitrary chunking.</li><li>It operates as an MCP server, integrating seamlessly with Cursor and Claude Desktop.</li></ul></div><p>Modern large language models are becoming dramatically better at reasoning about code, with context windows expanding from a few thousand tokens to millions. Yet, developers still struggle to get consistent, accurate answers from AI coding assistants when working on large, real-world repositories.</p><p>If you have ever watched an agent like Claude Desktop or Cursor try to debug a complex issue in a new repository, you have likely witnessed the "Grep Loop of Despair". The prevailing assumption has been that simply feeding more files into larger context windows will solve the problem, but it hasn't.</p><p>This is not a model reasoning problem; it is a retrieval problem. The standard architecture used by most AI retrieval systems today, known as RAG, follows a predictable pipeline of reading text, chunking it arbitrarily by character count, generating vector embeddings, and searching via cosine similarity.</p><div class="ai-insight"><p>While standard RAG architectures work remarkably well for documentation and corporate wikis, they degrade rapidly on software repositories. Character-count chunking destroys function boundaries, and relying solely on embeddings turns deterministic symbol lookups into probabilistic guesses.</p></div><p>When a developer asks an AI assistant where AuthMiddleware is implemented, they do not want something vaguely related to authentication; they want the exact class immediately and deterministically. To address this exact issue, ContextOS was built as a local-first context engine designed specifically to index and retrieve software structures for AI agents.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">98%</span><span class="stat-label">File-level recall for Redis 7.x queries</span></div><div class="stat-item"><span class="stat-number">589</span><span class="stat-label">Average tokens per query</span></div></div><p>Instead of blindly chunking by characters, ContextOS parses the repository using Tree-sitter, extracting functions, classes, interfaces, and methods as discrete, logical chunks while preserving structural integrity. Furthermore, it flips the standard paradigm by utilizing SQLite FTS5 (BM25) as the primary retrieval mechanism for deterministic lexical search.</p><blockquote class="pull-quote"><p>"Stop letting your AI drown in grep output. Give it the context engine it deserves."</p><cite>Siddharth Katiyar</cite></blockquote><p>Operating as a Model Context Protocol (MCP) server, ContextOS allows developers to plug it directly into Cursor, Claude Desktop, and any other MCP-compliant client today, saving AI models from drowning in noisy grep outputs.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/siddharthakatiyar/why-ai-coding-agents-get-lost-in-large-codebases-3cn" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_article-1513.png

small_article-1513.png

thumbnail_article-1513.png

article-1513.png

เจาะลึกปัญหาการค้นหาข้อมูลของ AI ในซอฟต์แวร์ขนาดใหญ่ และเหตุผลที่ ContextOS ใช้ Tree-sitter กับ SQLite FTS5 แทน RAG แบบเดิม

An in-depth look at AI retrieval challenges in massive software repositories and why ContextOS adopts Tree-sitter and SQLite FTS5 over traditional RAG.

Inewgen

Inewgen

#Tree-sitter

Why AI Coding Agents Get Lost in Large Codebases and How to Fix It

Inewgen