<div class="key-takeaways"><ul><li>โมเดลภาษาไม่ได้มองเห็นประโยคสำเร็จรูป แต่ทำงานโดยตอบคำถามทีละส่วนว่าข้อความถัดไปควรเป็นอะไร</li><li>การเลือกคำไม่ได้ใช้การหยิบคำที่มีคะแนนสูงสุดเสมอไป แต่ใช้วิธีสุ่มจากความน่าจะเป็นที่คำนวณได้</li><li>กระบวนการทั้งหมดทำงานผ่านลูปซ้ำๆ ทีละหนึ่งโทเค็นจนกว่าจะได้คำตอบครบถ้วน</li><li>ต้นทุนการประมวลผลคำนวณตามจำนวนโทเค็นไม่ใช่จำนวนข้อความ และความผิดพลาดจะไม่ถูกแก้ไขย้อนหลัง</li></ul></div><p>หากคุณเคยใช้งานปัญญาประดิษฐ์แล้วป้อนคำถามเดิมซ้ำสองรอบแต่ได้คำตอบที่แตกต่างกัน สิ่งนั้นไม่ใช่ความผิดพลาดของระบบ แต่เป็นกลไกการทำงานที่ถูกออกแบบมาตั้งแต่ต้น โมเดลภาษาขนาดใหญ่ (LLM) ไม่เคยประมวลผลประโยคทั้งหมดในคราวเดียว แต่จะตอบคำถามเพียงข้อเดียวซ้ำๆ วนไปเรื่อยๆ ว่า จากข้อความที่มีอยู่ทั้งหมดจนถึงจุดนี้ ส่วนถัดไปควรเป็นอะไร</p><p>ตัวอย่างเช่น เมื่อเครื่องมือช่วยเขียนอย่าง DraftPal กำลังเติมคำในประโยคว่า "The cat sat on the ___" ระบบจะไม่รู้ว่าประโยคจะจบลงอย่างไร แต่จะทำการคำนวณความน่าจะเป็นของทุกคำที่มันรู้จัก ตัวอย่างเช่นคำว่า mat อาจมีความน่าจะเป็นอยู่ที่ 41% คำว่า chair อยู่ที่ 19% และ floor อยู่ที่ 12% เป็นต้น</p><div class="stat-row"><div class="stat-item"><span class="stat-number">41%</span><span class="stat-label">โอกาสที่คำว่า mat จะถูกเลือกในตัวอย่าง</span></div><div class="stat-item"><span class="stat-number">19%</span><span class="stat-label">โอกาสสำหรับคำว่า chair</span></div><div class="stat-item"><span class="stat-number">12%</span><span class="stat-label">โอกาสสำหรับคำว่า floor</span></div></div><p>รายละเอียดสำคัญที่ช่วยอธิบายพฤติกรรมแปลกๆ ของ LLM คือ โมเดลไม่ได้เลือกคำว่า mat เสมอไปแม้ว่าจะมีคะแนนสูงสุด แต่จะใช้วิธีทอดลูกเต๋าถ่วงน้ำหนักตามสัดส่วนความน่าจะเป็นทั้งหมด ทำให้บางครั้งคำว่า chair อาจเป็นผู้ชนะแทน การทอดลูกเต๋านี้เองที่ทำให้คำตอบมีความหลากหลาย แม้จะใช้โมเดลและชุดคำสั่งเดียวกันก็ตาม</p><img class="img-bdrd-16 mb-20" src="https://api.inewgen.co/uploads/regen_104_inline_1_7baba2c3a0.png" alt="code pseudocode algorithm" loading="lazy" /><p>เมื่อได้คำชนะเลิศ คำนั้นจะถูกนำไปต่อท้ายข้อความเดิม จากนั้นคำถามเดิมจะถูกประมวลผลใหม่อีกครั้งตั้งแต่ต้นโดยมีความยาวเพิ่มขึ้นมาหนึ่งโทเค็น กระบวนการนี้เรียกว่า Next-Token Prediction ซึ่งหากทำซ้ำวนไปเรื่อยๆ หลายร้อยรอบ ก็จะกลายเป็นการสร้างข้อความตอบกลับขนาดย่อมขึ้นมาได้</p><div class="ai-insight"><p>กลไก Next-Token Prediction ถือเป็นรากฐานสำคัญที่ทำให้แชทบอตและเครื่องมือ Generative AI สามารถโต้ตอบกับมนุษย์ได้อย่างเป็นธรรมชาติ โดยแทนที่จะเขียนโปรแกรมตายตัวให้ตอบตามกฎ โมเดลจะอาศัยสถิติจากคลังข้อมูลขนาดใหญ่มาคาดการณ์คำศัพท์ที่ควรอยู่ติดกัน การทำความเข้าใจเรื่องนี้ช่วยให้เราทราบว่าทำไม AI ถึงมีความคิดสร้างสรรค์และให้ผลลัพธ์ที่แตกต่างกันในแต่ละครั้งของการใช้งาน</p></div><p>การเปลี่ยนแปลงบริบทเพียงเล็กน้อยก็ส่งผลต่อผลลัพธ์ทั้งหมดได้อย่างคาดไม่ถึง หากเพิ่มบริบทเข้าไปสี่คำก่อนประโยคเดิม เช่น "write this like a horror story" การคำนวณความน่าจะเป็นจะเปลี่ยนไปอย่างสิ้นเชิง โดยสัดส่วนของคำว่า mat จะลดลงเหลือไม่ถึง 1% ในขณะที่คำว่า coffin จะพุ่งขึ้นไปถึง 99% ทั้งที่ตัวโมเดลไม่ได้เปลี่ยนไปเลย แต่บริบทของข้อมูลนำเข้าเปลี่ยนไป</p><p>กลไกนี้ยังช่วยอธิบายสองสิ่งที่นักพัฒนาพบเจออยู่เสมอ ได้แก่:</p><ul><li><strong>ความสมดุลระหว่างความตายตัวและความหลากหลาย:</strong> การบังคับให้โมเดลเลือกคำที่มีคะแนนสูงสุดเสมอ (Greedy Decoding หรือ Temperature 0) จะทำให้ได้คำตอบที่ซ้ำเดิมทุกครั้ง เหมาะสำหรับการดึงข้อมูลที่มีโครงสร้าง แต่หากเปิดใช้งานระบบสุ่มจะทำให้ได้ความหลากหลายทางภาษา</li><li><strong>ต้นทุนการประมวลผลต่อโทเค็น:</strong> ทุกๆ โทเค็นต้องผ่านกระบวนการ Forward Pass เต็มรูปแบบผ่านโมเดล ทำให้คำตอบความยาว 500 โทเค็นมีต้นทุนและเวลาในการประมวลผลสูงกว่าคำตอบความยาว 1 โทเค็นมาก ไม่ใช่แค่เพิ่มขึ้นเพียงเล็กน้อย</li></ul><img class="img-bdrd-16 mb-20" src="https://api.inewgen.co/uploads/regen_104_inline_2_ac6420e601.jpg" alt="gpu server rack datacenter" loading="lazy" /><p>นอกจากนี้ อาการหลอนหรือการให้ข้อมูลที่ผิดพลาด (Hallucination) ของ AI ก็มีที่มาจากกลไกนี้เช่นกัน เมื่อโทเค็นใดถูกผนวกเข้ากับบริบทแล้ว มันจะไม่ถูกแก้ไขย้อนหลัง โมเดลไม่สามารถหันกลับมาทบทวนโทเค็นที่ 40 ได้หลังจากที่สร้างโทเค็นที่ 41 ไปแล้ว ดังนั้น หากมีการเดาผิดพลาดตั้งแต่ช่วงแรก ความผิดพลาดนั้นจะถูกนำไปเป็นฐานในการสร้างข้อความในรอบถัดไปโดยไม่มีการแก้ไข</p><p>ในแดชบอร์ดการทำงานของระบบ เราจึงมักเห็นตัวชี้วัดสองตัวปรากฏอยู่เสมอคือ TTFT (Time-to-First-Token) และ TPOT (Time-Per-Output-Token) ซึ่งใช้วัดผลจากลูปการทำงานนี้เอง และนี่คือเหตุผลที่มีเทคนิคการประมวลผลแบบ Batching เพื่อรวมคำขอ Next-Token จากหลายๆ ผู้ใช้งานเข้ามาประมวลผลพร้อมกันในรอบเดียว เนื่องจากคอขวดของการทำงานอยู่ที่การโหลดคุมน้ำหนักโมเดลเข้าสู่หน่วยประมวลผลของ GPU ไม่ได้อยู่ที่ตัวเลขทางคณิตศาสตร์</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/vahid_aghajani_60ce9dbec9/next-token-prediction-how-an-ai-actually-writes-text-not-magic-just-probability-53dd" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>Language models do not perceive completed sentences, but instead work by repeatedly answering what the next piece of text should be.</li><li>Word selection does not always pick the highest-scoring word, but uses probability-based sampling from calculated odds.</li><li>The entire process operates through repetitive loops, one token at a time, until a complete answer is generated.</li><li>Processing costs are calculated based on the number of tokens rather than the number of messages, and mistakes are never retroactively corrected.</li></ul></div><p>If you have ever used artificial intelligence and entered the exact same prompt twice, only to get two different answers, that is not a system glitch—it is a core mechanism designed from the ground up. Large Language Models (LLMs) never process an entire sentence all at once. Instead, they repeatedly answer a single question over and over: given all the text up to this point, what should the next part be?</p><p>For example, when a writing assistant like DraftPal is filling in the blank in the sentence "The cat sat on the ___", the system does not know how the sentence will end. It calculates the probability of every single word it knows. For instance, the word "mat" might have a probability of 41%, "chair" at 19%, and "floor" at 12%, and so on.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">41%</span><span class="stat-label">Probability of "mat" being chosen in this example</span></div><div class="stat-item"><span class="stat-number">19%</span><span class="stat-label">Probability for the word "chair"</span></div><div class="stat-item"><span class="stat-number">12%</span><span class="stat-label">Probability for the word "floor"</span></div></div><p>A crucial detail that explains strange LLM behaviors is that the model does not always pick "mat" even though it has the highest score. Instead, it rolls a weighted die based on all probability proportions, meaning that sometimes "chair" might win instead. This exact dice roll is what creates response variety, even when using the exact same model and prompt.</p><img class="img-bdrd-16 mb-20" src="https://api.inewgen.co/uploads/regen_104_inline_1_7baba2c3a0.png" alt="code pseudocode algorithm" loading="lazy" /><p>Once the winning word is chosen, it is appended to the end of the existing text. Then, the original question is processed all over again from the beginning, with its length increased by one token. This process is called Next-Token Prediction. When repeated hundreds of times, it builds up into a miniature generated response.</p><div class="ai-insight"><p>The Next-Token Prediction mechanism serves as the fundamental foundation that allows chatbots and generative AI tools to interact with humans naturally. Rather than being hardcoded to respond according to strict rules, the model relies on statistics from massive data repositories to forecast which vocabulary words should sit next to each other. Understanding this helps us realize why AI is creative and yields different outputs with each use.</p></div><p>Even a tiny context change can unexpectedly alter the entire output. If you add just four words of context before the original sentence, such as "write this like a horror story", the probability calculations shift drastically. The proportion for the word "mat" drops to under 1%, while the word "coffin" surges up to 99%, even though the model itself hasn't changed at all—only the input data context has.</p><p>This mechanism also helps explain two phenomena that developers frequently encounter:</p><ul><li><strong>The balance between determinism and diversity:</strong> Forcing the model to always pick the highest-scoring word (Greedy Decoding or Temperature 0) results in identical answers every time, making it ideal for structured data retrieval. However, turning on random sampling introduces linguistic diversity.</li><li><strong>Per-token processing cost:</strong> Every single token must go through a full forward pass through the model, making a 500-token response significantly more costly and time-consuming to process than a 1-token response—it is not just a minor linear increase.</li></ul><img class="img-bdrd-16 mb-20" src="https://api.inewgen.co/uploads/regen_104_inline_2_ac6420e601.jpg" alt="gpu server rack datacenter" loading="lazy" /><p>Additionally, AI hallucinations or providing incorrect information stem from this exact mechanism. Once a token is appended to the context, it is never retroactively corrected. The model cannot turn back to review the 40th token after generating the 41st token. Therefore, if an error is guessed early on, that mistake is carried forward as the foundation for the next rounds of generation without any fixes.</p><p>In system operation dashboards, we frequently see two metrics appear: TTFT (Time-to-First-Token) and TPOT (Time-Per-Output-Token), which are used to measure this exact working loop. This is also why batching techniques exist to group next-token requests from multiple users to process them simultaneously in a single round, because the performance bottleneck lies in loading model weights into GPU processing units rather than the mathematical calculations themselves.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/vahid_aghajani_60ce9dbec9/next-token-prediction-how-an-ai-actually-writes-text-not-magic-just-probability-53dd" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_regen-104.png

small_regen-104.png

thumbnail_regen-104.png

regen-104.png

เจาะลึกการทำงานของโมเดลภาษาที่ไม่ได้สร้างข้อความทั้งประโยคในทีเดียว แต่ใช้หลักการความน่าจะเป็นและการสุ่มเลือกทีละคำอย่างต่อเนื่อง

An in-depth look at how language models don't generate whole sentences at once, but rather use probability and random sampling word by word continuously.

Inewgen

Inewgen

#Next-Token Prediction

ไขข้อข้องใจ AI เขียนข้อความได้อย่างไร ทำความเข้าใจกลไก Next-Token Prediction

Inewgen