SysOps/DevOps Katowice MeetUp #26: automatyzacja certyfikatów w ING i eksperymenty z LLM na DGX Spark

Społeczność SysOps/DevOps wraca do Katowic z kolejnym, jesiennym wydaniem cyklicznych spotkań. Tym razem organizatorzy zmienili miejsce - MeetUp #26 odbędzie się 14 października w przestrzeniach udostępnionych przez ING Hubs Poland. Na uczestników czekają dwa wystąpienia o profilu inżynierskim, a po każdym z nich przewidziano czas na pytania od publiczności.

Jak bank radzi sobie z wygasającymi certyfikatami

Pierwszy temat dotyczy zarządzania cyklem życia certyfikatów - elementu, bez którego trudno mówić o bezpiecznej komunikacji w rozbudowanym środowisku IT. Problem w tym, że im więcej aplikacji działa w organizacji, tym trudniej ręcznie pilnować terminów odnowień, a pojedyncze przeoczenie potrafi wywołać poważną awarię na produkcji.

O tym, jak z tym wyzwaniem poradzili sobie w ING, opowie Marcin Woźnica, inżynier DevOps odpowiedzialny między innymi za utrzymanie aplikacji powiązanych z obsługą kart płatniczych. Prelegent pokaże praktyczne podejście wypracowane w ING Hubs, oparte na certbot od Let's Encrypt oraz dodatkowych, własnych rozszerzeniach. Dzięki temu zarządzanie wygasającymi certyfikatami w skali całego przedsiębiorstwa ma przestać być źródłem stresu dla zespołów utrzymaniowych.

Automatyzacja benchmarków lokalnych LLM-ów na sprzęcie NVIDIA

Drugie wystąpienie poświęcone będzie pracy z lokalnie uruchamianymi dużymi modelami językowymi - obszarowi, w którym pojedyncze zapytanie testowe potrafi przerodzić się w wielogodzinny proces analiz i porównań. dr Lech Kalinowski opowie o budowaniu powtarzalnych benchmarków na bazie własnego homelabu opartego na NVIDIA DGX Spark.

Prelegent przeprowadzi słuchaczy przez cały proces: od przygotowania zbiorów danych, przez uruchamianie kolejnych wariantów eksperymentów i ich automatyzację, aż po diagnozowanie problemów bez udziału człowieka oraz zestawianie wyników ze sobą. W trakcie prezentacji pojawią się konkretne konfiguracje sprzętowe, napotkane ograniczenia oraz rezultaty wyciągnięte z codziennej pracy nad lokalnymi LLM-ami.

Networking i pizza po prelekcjach

Po części merytorycznej organizatorzy zapraszają na nieformalne zakończenie wieczoru - networking przy gorącej pizzy. To okazja do kuluarowych rozmów, dzielenia się własnymi doświadczeniami oraz dopytania Marcina Woźnicy i Lecha Kalinowskiego o szczegóły omawianych rozwiązań.

Zapisy oraz pełne informacje o wydarzeniu dostępne są na stronie Meetup SysOps/DevOps Katowice.