Tracing

Áttekintés

A tracing teljes rálátást biztosít arra, hogy mi történt egy teszt- vagy éles hívás során. Ez az egyik leghatékonyabb funkció a Voice Agentek production-ready állapotba hozásához.

A Trace-ek segítségével láthatja:

• A pontos beszélgetés, ami megtörtént
• Milyen promptokat küldött a rendszer az LLM-nek
• Milyen Toolok voltak elérhetők az LLM számára, és melyekhez történt Tool Call
• A felhasználói bevitel beszédből szöveggé átírása és az átírási hibák
• Tool Call kérések és válaszok

A Trace-ek elérése

A hívás befejezése után megjelenik egy hívásösszesítő képernyő. Kattintson a Traces fülre a hívás részletes tracing naplójának megtekintéséhez.

A tracing szakaszok megértése

A Trace-ek eseménytípus szerint vannak rendezve. A két legfontosabb rész:

STT (beszédből szöveggé)

Ezek a bejegyzések rögzítik a felhasználó által a hívás során elmondottak átírását. Minden STT-bejegyzés a felhasználó beszédének szövegkonverzióját mutatja a beszélgetés azon pontján.

Példa:

STT: "Igen, szeretném megnézni, mi a nyitvatartása."

LLM (nyelvi modellhívások)

Ezek a bejegyzések az LLM-hez intézett összes hívást mutatják. Minden LLM Trace tartalmazza:

• Prompt – Az LLM-nek küldött teljes prompt (globális prompt + Node-specifikus prompt kombinációja)
• Beszélgetési előzmények – A teljes beszélgetés addig a pontig
• Elérhető Toolok – Minden Tool, amelyhez az LLM hozzáférhet az adott Node-ban
• Response – Mit generált az LLM

Toolok a Trace-ekben

Minden LLM-hívás megmutatja az ügynök számára az adott pillanatban elérhető Toolokat. Ezek három kategóriába sorolhatók:

System Toolok (alapértelmezett)

Alapértelmezés szerint minden Node tartalmazza ezeket:

• Biztonságos számológép – Segít az LLM-eknek a matematikai pontosságban
• Get Current Time — Lekéri a pontos időt
• Idő konvertálása – Az időt egy adott időzónává alakítja át

Pathway Tools

Ezek megfelelnek az Ön által konfigurált útvonalaknak (Node-átmeneteknek). Például, ha a Node rendelkezik a "Hívás befejezése" és az "Áthelyezés az összegzésbe" elérési útvonalakkal, akkor ezek elérhető Toolokként jelennek meg.

A trace-ekben megjelenő Tool-leírások megegyeznek az útvonalkonfigurációban megadott leírásokkal.

Egyéni Toolok

Itt jelennek meg a Node-hoz csatolt külső Toolok (például az API endpointokhoz létrehozott egyéni Toolok a foglaláshoz vagy rendelések leadásához). Lásd az egyéni Toolok dokumentációját.

Tool Callok a Trace-ekben

Amikor az LLM úgy dönt, hogy meghív egy Toolt, a következőket fogja látni:

1. Tool Call request — A Tool neve és az elküldött paraméterek
2. Tool válasz — A visszaadott eredmény (pl. {"status": "ok"})

A Tool Call és a válasz a későbbi beszélgetési előzményekben is megjelenik, így az LLM tudja az eredményt.

Példafolyamat:

Felhasználó: "Tudsz asztalt foglalni holnap 19 órára?"

LLM hívások: book_table(dátum: "holnap", idő: "19pm", party_size: 2)

Tool válasza: {"status": "done", "confirmation": "Table booked"}

Ügynök: "Lefoglaltam az asztalát holnapra 19 órára."

Hogyan kombinálódnak a promptok?

Az LLM-nek küldött prompt a következők kombinációja:

1. Global Prompt – A Globális Node beállításaiban határozható meg
2. Node Prompt — A végrehajtandó adott Node-ban van meghatározva

Ha letiltja a globális Node-ot egy adott Node-nál, akkor csak a Node-specifikus prompt kerül felhasználásra.

Kulcsfogalom: Beszélgetéstörténet

Minden alkalommal, amikor LLM-hívás érkezik, a teljes beszélgetési előzmények egészen addig átadásra kerül az LLM-nek. Ez azt jelenti:

• Az LLM-nek mindig teljes kontextusa van
• Pontosan láthatja, milyen kontextusban volt az LLM, amikor döntést hozott
• Hasznos a váratlan válaszok hibakereséséhez

A Langfuse Tracing beállítása

A Langfuse egy nyílt forráskódú LLM observability platform – tárolja és vizualizálja a Trace-eket (requestek, response-ok, Tool Callok), így az IntraCord saját tracing nézetén kívül is végezhet hibakeresést és iterációt az LLM-alapú alkalmazásokon.

Saját Langfuse-fiók is csatlakoztatható a tracinghez. Így a Langfuse Playground is használható. Ez a felügyelt és a saját üzemeltetésű IntraCord-telepítéseken egyaránt működik.

Beállítás lépései:

1. Regisztráljon a Langfuse oldalán, és hozzon létre API Credentials bejegyzést.
2. Az IntraCord felhasználói felületen lépjen a Platformbeállítások (/settings) elemre, és adja meg Langfuse gazdagépét, nyilvános kulcsát és titkos kulcsát.
3. Kattintson a Mentés gombra.

Ha engedélyezve van, minden befejezett hívás Trace-e elérhető lesz az IntraCordban.

i

Saját üzemeltetésű telepítések esetén a Langfuse a környezeti változók (LANGFUSE_SECRET_KEY, LANGFUSE_PUBLIC_KEY, LANGFUSE_HOST) segítségével is beállítható alapértelmezettként minden szervezet számára. A tracing automatikusan aktiválódik, amint rendelkezésre állnak a Credentials – nincs szükség külön engedélyezési jelzőre. A felhasználói felületen beállított, szervezetenkénti Credentials elsőbbséget élveznek a környezeti változókkal szemben.

Gyors referencia

Trace típusa	Mit mutat
STT	Felhasználói beszéd szöveggé átírva
LLM	Prompt + beszélgetés + Toolok + válasz
Tool Call	Tool Call és response

Tippek a Trace-ek használatához

• Váratlan válaszok hibakeresése — Ellenőrizze az LLM Trace-t, hogy megtudja, milyen promptot és kontextust kapott a modell
• Tool Callok ellenőrzése — Győződjön meg arról, hogy a Toolok a megfelelő paraméterekkel aktiválódnak
• Promptok finomítása — A Trace-ekből látható, hogyan befolyásolják a promptok az LLM viselkedését
• Ellenőrizze az átírás pontosságát — Tekintse át az STT-bejegyzéseket, ha az ügynök félreérti a felhasználókat