Szanowni Państwo!
Z dużą przyjemnością przekazujemy Państwu publikację pt. „Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych”, przygotowaną przez ekspertów Polskiej Agencji Rozwoju Przedsiębiorczości i Uniwersytetu SWPS. W publikacji zaprezentowano zagadnienia związane z wykorzystaniem generatywnych modeli sztucznej inteligencji (gen AI) w szeroko rozumianych pracach analityczno-badawczych instytucji. Szczególny nacisk kładziemy przy tym na potencjalne zastosowania gen AI w ewaluacji polityk publicznych, w tym ewaluacji programu Fundusze Europejskie dla Nowoczesnej Gospodarki 2021–2027 (oraz jego następcy na lata 2028–2034).
Publikacja ma formę przewodnika przez świat gen AI – od informacji podstawowych, po konkretne przykłady wykonywania zadań ze wsparciem sztucznej inteligencji, omawiające napotykane wyzwania i sposoby radzenia sobie z nimi. W poszczególnych rozdziałach przedstawiono zasady działania gen AI, opisano metody efektywnej komunikacji z modelami językowymi i przykłady ich zastosowań w analizach ilościowych i jakościowych. Zwrócono również uwagę na kwestie dotyczące bezpieczeństwa danych i rzetelności wyników, a także zasygnalizowano etyczny kontekst wykorzystania sztucznej inteligencji. Ponadto, w publikacji poruszony został temat regulacji wewnętrznych oraz niezbędnych adaptacji organizacyjnych – pilnych do przygotowania i wprowadzenia w życie w najbliższych miesiącach i latach – które według Autorów są kluczowe, aby skutecznie wdrażać rozwiązania oparte na sztucznej inteligencji w instytucjach publicznych.
Choć niniejsze opracowanie skupia się na ewaluacji, z pewnością dostarczy także wartościowych wskazówek osobom, które na co dzień zajmują się innymi badaniami eksploracyjnymi i aplikacyjnymi w instytucjach, w szczególności służącym pokrewnym dziedzinom, takim jak planowanie strategiczne, projektowanie usług, selekcja projektów, monitoring programów czy szeroko pojęta analityka i raportowanie zarządcze.
Liczymy, że publikacja stanie się ważnym wkładem w debatę na temat wyzwań – choćby takich jak przejrzystość działań, ochrona danych osobowych czy efektywne zarządzanie zasobami – które stawia przed instytucjami publicznymi dynamiczny rozwój technologii cyfrowych. Naturalnymi stają się pytania dotyczące m.in. koordynacji wykorzystania sztucznej inteligencji w sektorze publicznym czy określenia odpowiedzialności za wykorzystywane aplikacje i procesy oparte na sztucznej inteligencji. Wyzwaniem jest również wypracowanie efektywnego zarządzania narzędziami AI oraz stworzenie odpowiednich regulacji wewnętrznych, określających zasady korzystania ze sztucznej inteligencji przez pracowników instytucji publicznych i podmioty współpracujące (np. beneficjentów lub wykonawców usług na rzecz sektora publicznego).
Wierzymy, że publikacja stanowić będzie inspirującą lekturę oraz wesprze nie tylko specjalistów, ale również osoby decyzyjne, w pracy nad odpowiedzialnym i efektywnym wykorzystaniem gen AI w naszych instytucjach.
Co zawiera publikacja
Słowo wstępne
CZĘŚĆ I Kwestie horyzontalne współpracy z gen AI
1. Wprowadzenie do zagadnień zastosowania gen AI w ewaluacji
1.1. Zasady działania i wykorzystania gen AI
1.2. Spektrum typów gen AI
1.3. Spektrum zastosowań gen AI w ewaluacji
1.4. Struktura książki
2. Promptowanie, czyli jak komunikować się z modelem językowym
2.1. Wstęp
2.2. Wyzwania po stronie gen AI
2.3. Wyzwania po stronie użytkownika
2.4. Komunikacja z gen AI
2.5. Podsumowanie
3. BHP pracy z gen AI – bezpieczeństwo danych i poufność
3.1. Wprowadzenie
3.2. Udostępnienie przekształconych danych
3.3. Identyfikacja danych do przekształcenia
3.4. Wykorzystanie narzędzi gen AI jako platformy low-code
3.5. Wykorzystanie modeli LLM działających na lokalnej infrastrukturze
3.6. Podsumowanie
4. Integracja modeli gen AI z bazami dokumentów
4.1. Wstęp
4.2. Jak działa RAG?
4.3. Zastosowania RAG w praktyce badawczej
4.4. Rozpoczęcie pracy z RAG
4.5. Podsumowanie
CZĘŚĆ II Zastosowania gen AI w procesie ewaluacji
5. Zamawianie usług ewaluacyjnych – tworzenie Opisu Przedmiotu Zamówienia
5.1. Wstęp
5.2. Tworzenie OPZ z wykorzystaniem gen AI – ogólne zasady
5.3. Podsumowanie
6. Analizy jakościowe wspierane gen AI
6.1. Wprowadzenie
6.2. Specyfika analizy danych jakościowych
6.3. Analiza pojedynczego dokumentu
6.4. Użycie gen AI w jakościowym kodowaniu indukcyjnym
6.5. Użycie gen AI w jakościowym kodowaniu dedukcyjnym
6.6. Automatyzacja procesów badawczych z wykorzystaniem gen AI
6.7. Podsumowanie
7. Przeglądy źródeł wspierane gen AI
7.1. Wprowadzenie
7.2. Typy przeglądów i rodzaje źródeł w przeglądach
7.3. Rodzaje źródeł tekstowych
7.4. Dostępność źródeł dla gen AI
7.5. Perspektywy zastosowań gen AI w przeglądach źródeł
7.6. Wnioski końcowe
8. Analizy ilościowe wspierane gen AI
8.1. Wprowadzenie: ewolucja dużych modeli językowych
8.2. Wybór środowiska analitycznego
8.3. Ocena i przygotowanie danych wejściowych
8.4. Analiza danych
8.5. Ocena wyników
8.6. Zakończenie
9. Analizy sieciowe wspierane gen AI
9.1. Wprowadzenie
9.2. Pozyskanie danych
9.3. Analiza pozyskanego zbioru danych
9.4. Analizy sieciowe z użyciem modeli gen AI
9.5. Podsumowanie
10. Strategie komunikacji i prezentacji wyników
10.1. Wprowadzenie
10.2. Wykorzystanie generatywnej AI w dostosowywaniu treści raportów ewaluacyjnych – krok po kroku
10.3. Podsumowanie
10.4. Zakończenie
CZĘŚĆ III Gen AI w administracji publicznej – implikacje systemowe
11. Gen AI w organizacjach publicznych – regulacje i codes of conducts
11.1. Wprowadzenie
11.2. Zbadana populacja dokumentów
11.3. Zidentyfikowane zasady, wytyczne i wskazówki
11.4. Uwagi końcowe
12. Perspektywy adaptacji organizacyjnych i systemowych wykorzystania AI w ewaluacji
12.1. Wstęp
12.2. Czynniki blokujące transformację ewaluacji w kierunku wykorzystania gen AI
12.3. Czynniki katalityczne dla transformacji ewaluacji w kierunku wykorzystania gen AI
12.4. Zakończenie
13. Zakończenie
13.1. Odkrywanie potencjału gen AI
13.2. Architektura współpracy z gen AI
13.3. Szersze implikacje płynące z zastosowań gen AI
13.4. Refleksja przy eksperymentowaniu – pytania otwarte
14. Autorzy
15. Aneksy
Aneks 1. Informacje o projektach, w których testowaliśmy użycie gen AI
Aneks 2. Zaplanowanie przeglądu
Aneks 3. Szukanie i selekcja źródeł
Aneks 4. Analiza i synteza źródeł
Aneks 5. Metodyka wyszukiwania i analizy dokumentów
