Asystent AI na własnych serwerach, czy jednak w chmurze

Co siedzi pod maską niezależnie od modelu wdrożenia

Zanim porównamy warianty, warto ustalić, co się nie zmienia. Asystent oparty na wiedzy firmy działa w powtarzalnym cyklu. Najpierw wgrywasz materiały: dokumenty PDF, pliki DOCX, teksty, strony, listy pytań i odpowiedzi, procedury. System dzieli je na fragmenty, bo model odpowiada lepiej na wycinkach niż na stukilkudziesięciostronicowym dokumencie w całości. Fragmenty trafiają do postaci, którą da się przeszukiwać znaczeniowo, czyli po sensie pytania, a nie po zbieżności słów. Gdy ktoś zadaje pytanie, system znajduje pasujące fragmenty i buduje z nich odpowiedź, podając źródło.

To ostatnie jest ważniejsze, niż się wydaje przy pierwszym demo. Odpowiedź budowana wyłącznie z wgranych materiałów, ze wskazaniem, skąd pochodzi, jest sprawdzalna. Pracownik może kliknąć w źródło i zobaczyć, że asystent nie zmyślił, tylko zacytował procedurę sprzed dwóch lat, która wymaga aktualizacji. Bez wskazania źródła każda odpowiedź wymaga zaufania na słowo, a zaufanie do systemu, który czasem się myli, kończy się szybko.

Druga rzecz wspólna to pętla utrzymania wiedzy. Pytania, na które asystent nie znalazł odpowiedzi, nie znikają, tylko trafiają na listę luk, grupowane tematycznie razem z licznikiem powtórzeń. To najbardziej praktyczny raport, jaki taki system produkuje, bo pokazuje dokładnie, czego brakuje w dokumentacji firmy i o co ludzie pytają najczęściej. Domknięcie luki polega na napisaniu jednej strony wiedzy, przy czym propozycję treści przygotowuje asystent na podstawie zebranych wariantów pytania, a strona ma historię wersji i sama zgłasza się do przeglądu, gdy zmieni się powiązany materiał albo minie ustalony czas.

Gdzie przebiega prawdziwa granica między wariantami

Różnica między wdrożeniem hostowanym a on-premise sprowadza się do jednego pytania: gdzie pracuje model językowy i co przez niego przechodzi.

W wariancie hostowanym całość stoi po naszej stronie, a modelem jest usługa OpenAI. Zapytania użytkowników i fragmenty wiedzy potrzebne do zbudowania odpowiedzi przechodzą przez tę usługę. W wariancie on-premise cały układ stoi na serwerach firmy, razem z modelem językowym, i nic nie opuszcza tej infrastruktury.

Reszta różnic wynika z tej jednej. Jakość odpowiedzi w wersji hostowanej jest stała i wysoka, bo modele dostawcy są duże i utrzymywane przez niego. W wersji on-premise skaluje się z mocą sprzętu, którym dysponujesz: przy mocnym serwerze z akceleratorem różnica bywa niezauważalna dla użytkownika, przy skromnym potrafi być bolesna. Czas uruchomienia w chmurze liczy się od decyzji, a nie od dostawy sprzętu. Utrzymanie w wersji hostowanej jest po naszej stronie, w on-premise po stronie zespołu klienta, ze wsparciem, kiedy jest potrzebne.

Warto zauważyć, czego na tej liście nie ma. Nie ma różnicy w zakresie funkcji, w wyglądzie panelu ani w sposobie pracy z wiedzą. Wybór wariantu nie jest wyborem między wersją pełną a okrojoną.

Kiedy odpowiedź brzmi: własne serwery

Wariant on-premise wybiera się z powodów, które da się wypisać na kartce, a nie z ogólnego poczucia, że tak bezpieczniej.

Pierwszy to charakter danych w bazie wiedzy. Dokumentacja medyczna, akta spraw, dane osobowe klientów w treści procedur, wyniki badań, dokumentacja techniczna objęta umową poufności z kontrahentem: jeśli to ma trafić do asystenta, pytanie o lokalizację modelu przestaje być techniczne. Zwróć uwagę, że chodzi o dane w bazie wiedzy, a nie o dane w firmie w ogóle. Bardzo często okazuje się, że asystent ma odpowiadać wyłącznie na pytania o procedury wewnętrzne i ofertę, a więc o materiały, które i tak są przekazywane klientom.

Drugi to regulacje branżowe i zapisy umów. Sektor publiczny, finanse, ochrona zdrowia i część kontraktów przemysłowych narzucają wymagania, w których dyskusja o modelu wdrożenia kończy się, zanim się zacznie. Jeśli umowa z Twoim największym klientem zabrania przetwarzania jego dokumentacji poza wskazaną infrastrukturą, to jest rozstrzygnięcie, a nie argument w rozmowie.

Trzeci to polityka wewnętrzna, którą traktujesz poważnie. Jeżeli firma ma zasadę, że dane nie wychodzą na zewnątrz, i egzekwuje ją w innych systemach, robienie wyjątku dla asystenta jest gorszym pomysłem niż postawienie go lokalnie.

Kiedy odpowiedź brzmi: chmura

Wariant hostowany ma jedną przewagę, która w praktyce decyduje najczęściej: pozwala zacząć, zanim zapadną wszystkie decyzje. Nie wymaga zakupu sprzętu, wyznaczenia osoby do utrzymania modelu ani planowania pojemności. Jeżeli materiały, którymi ma się karmić asystent, to oferta, cennik, opisy produktów, instrukcje obsługi i procedury reklamacyjne, czyli rzeczy, które i tak wysyłacie klientom, to najczęściej nie ma czego chronić przed dostawcą modelu.

Jest też argument, o którym rzadko się mówi wprost. Pierwsze wdrożenie asystenta prawie zawsze zmienia wyobrażenie firmy o tym, do czego on właściwie służy. Lista luk po dwóch miesiącach pokazuje pytania, których nikt nie przewidział na warsztacie przed startem. Uczenie się tego na wariancie, który uruchamia się szybko, jest tańsze niż uczenie się tego po zakupie serwera.

Czego nie zmienia żaden wariant

Kilku rzeczy nie załatwia wybór miejsca, w którym stoi model, i warto o nich pamiętać niezależnie od decyzji.

Uprawnienia trzeba przemyśleć tak samo w obu przypadkach. Asystent, który odpowiada zgodnie z rolą pytającego, wymaga ustawienia dostępu per dokument, w podziale na zespół i klienta oraz na konkretne grupy pracowników. Bez tego cennik zakupowy prędzej czy później pojawi się w odpowiedzi dla klienta i nie będzie miało najmniejszego znaczenia, na czyim serwerze się to stało.

Tak samo wygląda sprawa z treścią wgrywaną do bazy wiedzy. Dokument z zewnątrz może zawierać instrukcję próbującą przejąć zachowanie modelu, więc materiały trzeba rozbrajać przed dopuszczeniem ich do odpowiedzi. Ryzyko jest identyczne lokalnie i w chmurze.

I wreszcie jakość dokumentacji. Asystent odpowiada z tego, co dostał. Firma z rozjechaną, nieaktualną dokumentacją dostanie asystenta, który sprawnie cytuje nieaktualną dokumentację, tyle że szybciej niż człowiek. To akurat dobra wiadomość, bo lista luk zamienia ten problem w konkretną listę zadań, ale samo wdrożenie go nie usuwa.

Jak podjąć tę decyzję w praktyce

Zamiast zaczynać od porównania wariantów, wypisz materiały, które mają trafić do bazy wiedzy w pierwszym etapie. Potem przy każdej pozycji odpowiedz na jedno pytanie: czy ten dokument mógłby trafić do klienta albo do zewnętrznego wykonawcy. Jeżeli przy wszystkich pozycjach odpowiedź brzmi „tak”, wariant hostowany jest naturalnym wyborem i zaoszczędzi Ci miesięcy. Jeżeli przy którejkolwiek brzmi „nie”, policz, czy da się ją wyłączyć z pierwszego etapu, i dopiero wtedy rozważ wersję lokalną dla całości.

Pełny opis obu modeli, razem z warunkami i cennikiem, jest na stronie asystenta AI, a codzienną pracę z panelem pokazuje galeria zrzutów ekranu. Jeśli chcesz omówić swój przypadek, napisz do nas: rozmowę zaczynamy od listy materiałów, bo to ona rozstrzyga wybór, a nie odwrotnie.