Použití CAT pro testování datových agentů
V posledních měsících je jedním z častých scénářů využití AI tvorba agenta, který odpovídá na otázky uživatele na základě vašich dat. Může jít o SQL datový zdroj nebo například Power BI sémantický model. V tomto článku se nebudu zabývat tím, jak takového agenta postavit. Chci se zaměřit na jeden důležitý aspekt datového agenta – spolehlivost.
Using CAT for Testing of Data Agents
We built a data agent for one customer on top of Power BI model. However, one of the unpleasant aspects of using LLM for creating queries (in our case it was a DAX) is it can produce different DAX for same user’s question. If you repeat same question three times, it’s quite probable you will get 3 more or less different DAX queries. There are methods to increase consistency in Agent implementation however you cannot eliminate creativity of LLM model.
