Řešení

Fine-tuning lokálního AI

Úprava lokálního modelu pro konkrétní jazyk, styl, proces nebo doménu klienta. Pro organizace, kterým běžný model s dobrou znalostní databází přestává stačit.

Nezávazná konzultace
Inženýr ladí lokální AI model na firemních datech

Komu fine-tuning nabízíme

Fine-tuning doporučíme, když nestačí běžný model s dobrou znalostní databází, potřebujete stabilní styl odpovědí, máte dost kvalitních trénovacích příkladů, jde o opakovaný proces a je nutné držet vše lokálně.

  • Banky a pojišťovny s opakovanými dokumenty, jako jsou smlouvy, žádosti a klientské odpovědi.

  • Nemocnice a zdravotnické skupiny pro extrakci ze zpráv a klasifikaci pacientských záznamů.

  • Advokátní kanceláře, notáři a daňoví poradci se specializovaným jazykem a stylem.

  • Veřejná správa pro klasifikaci podání a žádostí.

  • Firmy s opakovanou agendou, kde znalostní databáze přestává stačit.
Inženýr ladí lokální AI model na firemních datech

Co dostanete

  • Posouzení, zda je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.

  • Přípravu datové sady.

  • Čištění a anonymizaci dat.

  • Trénink nebo doladění modelu.

  • Vyhodnocení kvality na testovacích případech.

  • Bezpečnostní kontrolu výstupů.

  • Nasazení do interního prostředí.

Tým prochází rizika a nálezy nad dokumenty u společného stolu

Typické případy a bezpečnost

Fine-tuning má smysl tam, kde se proces opakuje a kde je potřeba držet data lokálně.

Auditor kontroluje serverové racky ve světlém datovém sále

Typické případy

  • Specializovaný jazyk firmy.

  • Klasifikace dokumentů.

  • Extrakce údajů z opakovaných formulářů.

  • Návrhy odpovědí zákazníkům.

  • Interní asistent pro konkrétní proces.

Bezpečnost

  • Podle zvolené architektury lze datovou sadu držet u klienta; nakládání s pracovními kopiemi a jejich odstranění stanovíme předem.

  • Trénink probíhá v privátním prostředí klienta nebo v izolovaném prostředí pod mlčenlivostí.

  • Před nasazením model projde bezpečnostní kontrolou: úniky trénovacích dat, prompt injection a zkreslení.

  • Pro klienty pod GDPR pokrýváme anonymizaci a posouzení dopadu na ochranu osobních údajů.

Postup projektu

Auditor kontroluje serverové racky ve světlém datovém sále

  1. Posouzení vhodnosti

    Vyhodnotíme, zda je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.

  2. Příprava dat a proof of concept

    Připravíme, vyčistíme a anonymizujeme datovou sadu a ověříme přínos na pilotu.

  3. Produkční fine-tuning

    Doladíme model metodou LoRA, QLoRA nebo plným tréninkem a vyhodnotíme kvalitu na testovacích případech.

  4. Bezpečnostní kontrola a nasazení

    Model projde kontrolou výstupů a nasadíme jej do vašeho interního prostředí.

Pravidla zapojení

  • Při lokálním nebo privátním nasazení lze trénovací data držet u vás.
  • Trénink v izolovaném privátním prostředí.
  • GDPR: anonymizace a posouzení dopadu.

Reprodukovatelný postup doladění

Předem popíšeme datovou pipeline, zvolenou metodu LoRA nebo QLoRA, hodnoticí sadu, bezpečnostní kontroly a kritéria nasazení. Právní roli a povinnosti podle AI Actu nelze odvodit jen z použité technologie; ověřují se samostatně pro konkrétní systém.

LoRA a QLoRA
efektivní doladění modelů
Llama, Mistral, Qwen
open-source rodiny modelů
ISO/IEC 42001
řízení systémů umělé inteligence
Ochrana dat
požadavky GDPR a AI Actu ověřované pro konkrétní systém

Více v přehledu Metodiky testování.

Cena a délka realizace

Fine-tuning je projektová zakázka, cena vychází z rozsahu dat a cíle. Po úvodní konzultaci připravíme nabídku na míru.

Ceník služby
Varianta Rozsah
Posouzení vhodnosti 2 až 3 týdny podle rozsahu
Příprava dat a proof of concept 4 až 8 týdnů podle rozsahu
Produkční fine-tuning a nasazení 2 až 4 měsíce od podpisu podle rozsahu

Cena vychází z rozsahu a integrací. Po úvodní konzultaci připravíme nezávaznou nabídku na míru. Ceny jsou bez DPH.

U lokálního nebo privátního nasazení lze trénovací data držet u vás; nakládání s pracovními kopiemi a jejich odstranění stanoví smlouva.

Časté dotazy

Stručné odpovědi na to, na co se nás u této služby ptáte nejčastěji.

Kdy se vyplatí fine-tuning místo znalostní databáze?

Když nestačí běžný model s dobrou znalostní databází, potřebujete stabilní styl odpovědí, máte dost kvalitních trénovacích příkladů, jde o opakovaný proces a je nutné držet vše lokálně. Vždy nejdřív posoudíme, jestli je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.

Co se stane s našimi trénovacími daty?

Podle zvolené architektury může datová sada zůstat ve vašem prostředí nebo se zpracovávat v izolovaném prostředí pod mlčenlivostí. Datové toky, přístupy, pracovní kopie a jejich odstranění stanovíme ve smlouvě. U osobních údajů řešíme také anonymizaci a potřebu posouzení dopadu podle GDPR.

Je doladěný model v souladu s evropským nařízením o umělé inteligenci?

Samotný fine-tuning soulad nezaručí. Před nasazením testujeme úniky trénovacích dat, prompt injection a kvalitu výstupů, ale roli organizace, rizikovou kategorii a dokumentační povinnosti je potřeba určit v samostatném posouzení AI Actu.

Jak dlouho fine-tuning trvá?

Posouzení vhodnosti zabere dva až tři týdny, příprava dat a pilot čtyři až osm týdnů a produkční fine-tuning a nasazení dva až čtyři měsíce od podpisu. Cena vychází z rozsahu dat a cíle, připravíme nabídku na míru.

Řešení

Pojďme upřesnit rozsah a cenu pro vás

Úvodní konzultace je nezávazná. Po ní dostanete přesnou fixní cenu a doporučený další krok.

Nezávazná konzultace Všechny služby

Související služby

Tyto služby na sebe často navazují. Vyberte, co řešíte dál.

Řešení

Provoz lokálního AI

Provoz a správa lokálního modelu, na kterém fine-tuning běží.

Zobrazit službu Řešení

AI asistent nad firemními daty

Když místo doladění stačí asistent nad znalostní bází vašich dokumentů.

Zobrazit službu Řešení

Bezpečný vývoj na míru

Aplikace nad doladěným modelem postavená bezpečně od základu.

Zobrazit službu

Ozveme se do 1 pracovního dne

Napište nám, co řešíte. Doporučíme další krok a navrhneme nezávaznou konzultaci.