Generare

    

   ‘Lost in the middle' problem - exact ca oamenii, LLM au tendinta de a se focusa pe inceputul si sfarsitul unui text lung, uitand partea de mijloc. Astfel se introduc ajustari ale continutului recuperat si optimizarea LLM-ului.

        1. Ajustarea continutului recuperat

1. Reclasificarea documentelor pentru a evidentia cele mai relevante rezultate. Ca rezultat, reduce numarul total de documente.
2. Selectarea/ compresia contextului : se folosesc LM-uri mici pentru a detecta si a sterge token-uri mai putin importante. De asemenea, se foloseste LLM-ul pentru a evalua continutul recuparat inainte de a genera raspunsul final

        2. Optimizarea LLM-ului

1. Targeted Fine-Tuning : customizeaza modelul pentru scenarii sau domenii specifice imbunatatind performanta pentru solicitari specializate
2. Data and Style Adaptation : ajustarea intrarilor/iesirilor a LLM-ului pentru a respecta un format/stil particular