Řešení
Fine-tuning lokálního AI
Úprava lokálního modelu pro konkrétní jazyk, styl, proces nebo doménu klienta. Pro organizace, kterým běžný model s dobrou znalostní databází přestává stačit.
Komu fine-tuning nabízíme
Fine-tuning doporučíme, když nestačí běžný model s dobrou znalostní databází, potřebujete stabilní styl odpovědí, máte dost kvalitních trénovacích příkladů, jde o opakovaný proces a je nutné držet vše lokálně.
-
Banky a pojišťovny s opakovanými dokumenty, jako jsou smlouvy, žádosti a klientské odpovědi.
-
Nemocnice a zdravotnické skupiny pro extrakci ze zpráv a klasifikaci pacientských záznamů.
-
Advokátní kanceláře, notáři a daňoví poradci se specializovaným jazykem a stylem.
-
Veřejná správa pro klasifikaci podání a žádostí.
-
Firmy s opakovanou agendou, kde znalostní databáze přestává stačit.
Co dostanete
-
Posouzení, zda je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.
-
Přípravu datové sady.
-
Čištění a anonymizaci dat.
-
Trénink nebo doladění modelu.
-
Vyhodnocení kvality na testovacích případech.
-
Bezpečnostní kontrolu výstupů.
-
Nasazení do interního prostředí.
Typické případy a bezpečnost
Fine-tuning má smysl tam, kde se proces opakuje a kde je potřeba držet data lokálně.
Typické případy
-
Specializovaný jazyk firmy.
-
Klasifikace dokumentů.
-
Extrakce údajů z opakovaných formulářů.
-
Návrhy odpovědí zákazníkům.
-
Interní asistent pro konkrétní proces.
Bezpečnost
-
Datová sada pro trénink zůstává u klienta a po skončení projektu se prokazatelně skartuje.
-
Trénink probíhá v privátním prostředí klienta nebo v izolovaném prostředí pod mlčenlivostí.
-
Před nasazením model projde bezpečnostní kontrolou: úniky trénovacích dat, prompt injection a zkreslení.
-
Pro klienty pod GDPR pokrýváme anonymizaci a posouzení dopadu na ochranu osobních údajů.
Postup projektu
-
Posouzení vhodnosti
Vyhodnotíme, zda je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.
-
Příprava dat a proof of concept
Připravíme, vyčistíme a anonymizujeme datovou sadu a ověříme přínos na pilotu.
-
Produkční fine-tuning
Doladíme model metodou LoRA, QLoRA nebo plným tréninkem a vyhodnotíme kvalitu na testovacích případech.
-
Bezpečnostní kontrola a nasazení
Model projde kontrolou výstupů a nasadíme jej do vašeho interního prostředí.
Pravidla zapojení a etika
-
Datová sada pro trénink zůstává u klienta a po skončení projektu se prokazatelně skartuje.
-
Trénink probíhá v privátním prostředí klienta nebo v izolovaném prostředí pod mlčenlivostí.
-
Pro klienty pod GDPR pokrýváme anonymizaci a posouzení dopadu na ochranu osobních údajů.
Metodiky a standardy
Postupujeme podle uznávaných bezpečnostních metodik a standardů. Podrobnosti najdete na stránce Metodiky a certifikace.
Více v přehledu Metodiky a certifikace.
Naše kvalifikace
Fine-tuning vede konzultant s praxí v metodách LoRA, QLoRA a plném doladění open-source modelů Llama, Mistral a Qwen. Datovou pipeline a vyhodnocení pokrývá specialista na provoz strojového učení. Bezpečnostní kontrolu a posouzení podle evropského nařízení o umělé inteligenci dělá konzultant s certifikací ISO/IEC 42001 a CIPP/E.
- LoRA a QLoRA efektivní doladění modelů
- Llama, Mistral, Qwen open-source rodiny modelů
- ISO/IEC 42001 řízení systémů umělé inteligence
- CIPP/E ochrana osobních údajů a AI Act
Cena a délka realizace
Fine-tuning je projektová zakázka, cena vychází z rozsahu dat a cíle. Po úvodní konzultaci připravíme nabídku na míru.
| Varianta | Rozsah | Délka realizace |
|---|---|---|
| Posouzení vhodnosti 2 až 3 týdny | podle rozsahu | 2 až 3 týdny |
| Příprava dat a proof of concept 4 až 8 týdnů | podle rozsahu | 4 až 8 týdnů |
| Produkční fine-tuning a nasazení 2 až 4 měsíce od podpisu | podle rozsahu | 2 až 4 měsíce od podpisu |
Cena vychází z rozsahu a integrací. Po úvodní konzultaci připravíme nezávaznou nabídku na míru. Ceny jsou bez DPH.
Časté dotazy
Stručné odpovědi na to, na co se nás u této služby ptáte nejčastěji.
- Kdy se vyplatí fine-tuning místo znalostní databáze?
-
Když nestačí běžný model s dobrou znalostní databází, potřebujete stabilní styl odpovědí, máte dost kvalitních trénovacích příkladů, jde o opakovaný proces a je nutné držet vše lokálně. Vždy nejdřív posoudíme, jestli je lepší fine-tuning, znalostní databáze, vhodné formulování dotazů nebo kombinace.
- Co se stane s našimi trénovacími daty?
-
Datová sada pro trénink zůstává u vás a po skončení projektu se prokazatelně skartuje. Trénink probíhá v privátním prostředí klienta nebo v izolovaném prostředí pod mlčenlivostí. Pro klienty pod GDPR pokrýváme anonymizaci a posouzení dopadu na ochranu osobních údajů.
- Je doladěný model v souladu s evropským nařízením o umělé inteligenci?
-
Ano. Před nasazením model projde bezpečnostní kontrolou výstupů na úniky trénovacích dat, prompt injection a zkreslení. Posouzení podle evropského nařízení o umělé inteligenci dělá konzultant s certifikací ISO/IEC 42001 a CIPP/E.
- Jak dlouho fine-tuning trvá?
-
Posouzení vhodnosti zabere dva až tři týdny, příprava dat a pilot čtyři až osm týdnů a produkční fine-tuning a nasazení dva až čtyři měsíce od podpisu. Cena vychází z rozsahu dat a cíle, připravíme nabídku na míru.
Řešení
Pojďme upřesnit rozsah a cenu pro vás
Úvodní konzultace je nezávazná. Po ní dostanete přesnou fixní cenu a doporučený další krok.
Související služby
Tyto služby na sebe často navazují. Vyberte, co řešíte dál.
Ozveme se do 1 pracovního dne
Napište nám, co řešíte. Doporučíme další krok a navrhneme nezávaznou konzultaci.