Bezpieczna transkrypcja z Whisper
Bezpieczna transkrypcja. Co zrobić jak nie masz Copilota lub Teams Premium
Wiedza jest dzisiaj walutą. Każdego dnia w Naszej Firmie odbywają się dziesiątki, jeśli nie setki spotkań na platformie Microsoft Teams. Są też inne źródła. Nagrania audio. Nagrania z telefonu. Wideo i sam głos. Godziny nagrań. Gigabajty danych. Wypowiedziane słowa, podjęte decyzje, kluczowe ustalenia z Klientami. Ustalenia wewnętrzne. Często ta wiedza jest ulotna. Zapisana jedynie w pliku wideo, do którego nikt nie wraca, bo brakuje czasu na jego ponowne odsłuchanie. Nawet nagrane szkolenia są zbyt obszerne, żeby do nich wrócić. Dojrzała Organizacja wie, że w tych nagraniach kryje się wartość, którą trzeba wydobyć. Może coś przyspieszyć. Pojawia się jednak wyzwanie. Co w sytuacji, gdy nie posiadamy jeszcze wdrożonego asystenta Microsoft Copilot? Może dodatkowo mikro muśnięcie tematu wykorzystania uczenia maszynowego lub LLM, w miejsce zakupu licencji? Co, jeśli polityki bezpieczeństwa zabraniają nam wysyłania wrażliwych nagrań do publicznych modeli językowych dostępnych w sieci? Może nagrania są zbyt duże lub masz ich zbyt wiele?
Rozwiązaniem jest podejście inżynierskie. Lokalne. Bezpieczne. Skalowalne. Przy okazji proste. Bezpłatne.
Dylemat bezpieczeństwa danych w erze AI
Świadomy Zarząd i działy bezpieczeństwa słusznie obawiają się cienia IT (Shadow IT). Pracownicy, chcąc ułatwić sobie pracę, często kopiują treści spotkań lub wrzucają pliki do darmowych narzędzi w Internecie. To ryzyko. To utrata kontroli. Dane Naszych Klientów, informacje o kontraktach, strategie rozwoju – to wszystko musi być chronione. Fizycznie i logicznie.
Wymagania są jasne. Potrzebujemy transkrypcji. Potrzebujemy podsumowania. Ale potrzebujemy też stuprocentowej pewności, że bajty danych nie opuszczą Naszego komputera. Że zostaną przetworzone na Naszym sprzęcie. Pod Naszą kontrolą.
Technologia w służbie Biznesu: OpenAI Whisper
Odpowiedzią na to wyzwanie jest wykorzystanie otwartych modeli, takich jak OpenAI Whisper, uruchamianych lokalnie (Windows 11 lub nawet 10 da radę). To technologia, która pozwala na zamianę mowy na tekst z niespotykaną dotąd precyzją, obsługując wiele języków, w tym język polski. Nie jest to rozwiązanie „pudełkowe”, ale trudności wielkiej nie ma jeśli zapoznasz się z tym artykułem. Potencjalnie też raz skonfigurowane może być łatwo wywoływane.
Zastosowanie tego modelu nie wymaga chmury publicznej. Wymaga jedynie odpowiedniej mocy obliczeniowej. Procesora. Karty graficznej (nawet nie musi być nvidia). Pamięci RAM. Uruchamiamy środowisko u Siebie. Na laptopie lub na dedykowanym serwerze wewnątrz Organizacji.
Proces oprzemy na dwóch filarach: Miniconda (do zarządzania środowiskiem) oraz OpenAI Whisper (silnik transkrypcji). Obydwa wiarygodne i legalne. To podejście daje nam elastyczność.
Poniżej przedstawiam sprawdzoną ścieżkę instalacji dla systemów Windows. Przejdźmy zatem od teorii do praktyki.
- Fundament. Instalacja Miniconda
Często spotykam się z pytaniem: dlaczego nie instalować Pythona bezpośrednio? Odpowiedź jest prosta. Zarządzanie zależnościami. Projektów AI będzie przybywać. Jeśli wrzucimy wszystko do jednego worka, szybko napotkamy na problemy z kompatybilnością (tzw. „piekło zależności”). Miniconda pozwala nam tworzyć izolowane „kontenery” dla każdego projektu osobno.
To czystość. To bezpieczeństwo. To profesjonalizm. A tu link (Installing Miniconda – Anaconda)
Kroki instalacji:
- Pobierz instalator Miniconda dla systemu Windows (wersja 64-bit) z oficjalnej strony dokumentacji Conda.
- Uruchom instalator. Zalecam instalację dla „Just Me” (tylko dla bieżącego użytkownika), aby uniknąć problemów z uprawnieniami administratora przy późniejszym zarządzaniu pakietami.
- Po zakończeniu instalacji, najlepiej może nie dla wszystkich preferujących graficzne GUI, przez linię poleceń, przejdź do folderu miniconda3
- Nie pracujemy na „żywym organizmie” głównego systemu. Tworzymy dedykowane środowisko. Nazwijmy je roboczo myenv2 (lub cokolwiek). Dzięki temu, jeśli cokolwiek pójdzie nie tak, po prostu usuwamy środowisko, a Twój system pozostaje nienaruszony.
- Wpisz w konsoli następujące polecenie, aby utworzyć środowisko z konkretną, stabilną wersją Pythona (3.10 dla największej kompatybilności):
conda create –name myenv2 python=3.10.
6. Przygotowanie przestrzeni roboczej
Zatwierdź instalację wpisując y. Gdy proces się zakończy, musimy wejść do tego „wirtualnego pokoju”. Aktywuj środowisko:
conda activate myenv2
Zauważysz zmianę. Przed znakiem zachęty pojawi się (myenv2 lub Twoja nazwa). Jesteś teraz w odseparowanym, bezpiecznym obszarze. Widok linii poleceń powyżej
7. Silnik i narzędzia. Instalacja FFmpeg i Whisper
Sam model AI to za mało. Aby przetwarzać pliki audio/wideo, potrzebujemy kodeków i narzędzia do obsługi strumieni multimedialnych. Standardem przemysłowym jest tutaj FFmpeg. Jego ręczna instalacja w systemie Windows bywa uciążliwa dla mniej technicznych pracowników. Dzięki Condzie zrobimy to jedną komendą, która pobierze i skonfiguruje wszystko automatycznie.
Wpisz:
conda install -c conda-forge ffmpeg
Gdy mamy już fundamenty multimedialne, instalujemy właściwy model Whisper bezpośrednio z repozytorium Pythona (pip).
Wpisz:
pip install -U openai-whisper
System pobierze niezbędne biblioteki. Torch. Tiktoken. Whisper. Może to chwilę potrwać w zależności od łącza internetowego Twojej Organizacji. Na pewno zaskoczy cię ilość ekranów jaka przeleci.
8. Weryfikacja i pierwsze uruchomienie
Infrastruktura jest gotowa. Czas na test. Przygotuj plik audio, np. spotkanie.mp3 lub wideo (u mnie jest mov) i umieść go w łatwo dostępnym folderze (np. na dysku C w katalogu Dane, ja wrzucam w katalog miniconda co może nie jest zbyt BHP, ale najszybsze, jeśli chodzi o wpisywanie ścieżki).
W konsoli przejdź do tego katalogu i uruchom transkrypcję. Użyjemy modelu medium – stanowi on złoty środek między szybkością działania a dokładnością dla języka polskiego (domyślny jest turbo).
Bash
whisper test-wideo.mov –model medium –language pl
Co dzieje się teraz?
Twój komputer staje się serwerem obliczeniowym. Procesor i karta graficzna analizują widmo dźwięku. Nie wysyłamy ani bajta do sieci.
Po kilku minutach/godzinach (w zależności od długości nagrania) w folderze pojawią się pliki tekstowe. Test-wideo.txt. test-wideo.srt (lub zadany format, jeśli użyjesz parametrów).
A parametrów jest wiele, więc jeśli jakość słabsza lub należy zwiększyć dokładność można się dalej pastwić nad parametrami.
Dane zostały przetworzone. Wiedza została wydobyta. Bezpieczeństwo zachowane.
Proces jest przejrzysty:
- Pobranie nagrania ze spotkania, szkolenia, nagrania z telefonu, innych nagrań z Teams, Zooma gdzie brak jest transkrypcji, wideo z kamer
- Ekstrakcja ścieżki dźwiękowej nie jest wymagana – mp3 lub wideo np. mov
- Przetworzenie jej przez model Whisper.
- Otrzymanie pliku tekstowego z pełnym zapisem rozmowy.
To fundament. Dopiero mając tekst, możemy myśleć o dalszej obróbce. O analizie. O wnioskach. Bezpiecznie. Lokalnie. U Nas. Czasami wystarczy tylko przeczytać lub zachować kB na dysku ( w miejsce obszernych danych wideo)
Od tekstu do wiedzy. Podsumowanie bez chmury
Mając transkrypcję, stajemy przed kolejnym wyzwaniem: jak to podsumować bez wysyłania do ChatGPT? Tutaj wkraczają Lokalne Modele Językowe (LLM), które możemy hostować we własnej infrastrukturze. Modele takie jak Llama czy Mistral, uruchamiane za pomocą narzędzi typu Ollama czy LM Studio.
Te narzędzia pozwalają „nakarmić” model naszą transkrypcją i poprosić o wyciągnięcie kluczowych wniosków, listy zadań czy dat. Wszystko to dzieje się wewnątrz Naszej sieci. Wewnątrz Naszego komputera. Nie ma ryzyka wycieku. Jest tylko czysta kalkulacja. Artykuł o lokalnym modelu wkrótce. Mając transkrypcję szkoleń czy innych materiałów możesz też wykorzystać swoją licencje Copilot. Tutaj ryzyka pracy z publicznymi LLM-ami są mniejsze więc dajesz mu dodatkowe źródło do opracowania. Czego? Analizy. Syntezy. Wnioskowania. Raportu.
Dzięki temu pracownik otrzymuje gotowe notatki ze spotkania. Może wrócić do kluczowych fragmentów. Może wyszukać, co dokładnie obiecaliśmy Klientowi. Oszczędność czasu jest ogromna. Ryzyko błędu ludzkiego – zminimalizowane.
Dlaczego warto myśleć o architekturze hybrydowej?
Opisane rozwiązanie to dowód na to, że można budować innowacje w oparciu o dostępne zasoby, zachowując pełne bezpieczeństwo. Jest to rozwiązanie wymagające pewnej wiedzy technicznej przy pierwszym uruchomieniu. 100% działa. 100% free.
Dlatego w ISCG patrzymy na to szerzej. Lokalne przetwarzanie to świetny krok, by zrozumieć potencjał AI. By nauczyć się, jak wartościowe są Nasze dane. By przygotować się na wdrożenie rozwiązań klasy Enterprise.
Microsoft Copilot to kolejny poziom tej ewolucji. To narzędzie, które robi to wszystko automatycznie, wbudowane w ekosystem, z którym pracujemy na co dzień. Ale wdrożenie Copilota wymaga przygotowania. Wymaga „posprzątania” uprawnień. Wymaga klasyfikacji danych. Wymaga governance.
Jeśli Twoja Firma nie jest jeszcze gotowa na pełne wdrożenie chmurowe, rozwiązania lokalne są pomostem. Pozwalają budować kulturę pracy z AI. Pozwalają oswajać Zespół z nową rzeczywistością.
Partnerstwo w erze cyfrowej
Wdrażanie takich rozwiązań to nie tylko instalacja oprogramowania. To zmiana procesów biznesowych. To zmiana myślenia o danych. Wymaga to doświadczenia. Wymaga to Partnera, który rozumie zarówno kod, jak i biznes.
Jako ISCG pomagamy Firmom przejść tę drogę. Od prostych skryptów lokalnych, po zaawansowane wdrożenia Microsoft Copilot z pełnym zachowaniem polityk bezpieczeństwa. Pomagamy dobrać odpowiednie narzędzia technologiczne. Wizualizacji. Drążenia danych.
Nie zostawiaj swoich danych odłogiem. Nie ryzykuj ich bezpieczeństwa w publicznych narzędziach. Zbuduj z nami środowisko, które będzie wspierać Twój biznes.
Technologia jest dostępna. Modele są dostępne. Wiedza jest w zasięgu ręki.
To od Nas zależy, jak ją wykorzystamy. Czy pozwolimy, by spotkania były tylko straconym czasem, czy zamienimy je w bazę wiedzy.
Bezpiecznie. Lokalnie. Świadomie. Z zyskiem.
Jeśli uważasz temat za ciekawy, chcesz skonsultować więcej, martwi cię dostępność danych wewnętrznych, brak polityk a środowisko trzeba zaudytować poniżej masz link do umówienia się na spotkanie. Zapraszamy do kontaktu. Porozmawiajmy o Twoim bezpieczeństwie w dobie AI. Porozmawiajmy o Copilot. Porozmawiajmy o przyszłości Twojej Organizacji.