text_structure.xml
43.6 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
<?xml version='1.0' encoding='UTF-8'?>
<teiCorpus xmlns:xi="http://www.w3.org/2001/XInclude" xmlns="http://www.tei-c.org/ns/1.0">
<xi:include href="PPC_header.xml"/>
<TEI>
<xi:include href="header.xml"/>
<text>
<body>
<div xml:id="div-1">
<u xml:id="u-1.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Z małym poślizgiem, ale otworzymy posiedzenie. Otwieram posiedzenie podkomisji stałej do spraw regulacji prawnych dotyczących algorytmów cyfrowych.</u>
<u xml:id="u-1.1" who="#PrzewodniczacyposelGrzegorzNapieralski">Stwierdzam kworum.</u>
<u xml:id="u-1.2" who="#PrzewodniczacyposelGrzegorzNapieralski">Witam posłów, członków podkomisji. Witam gości. Bardzo serdecznie witam – pan Robert Kroplewski… Jeszcze nie dotarł? Ale już ładnie przywitamy. Pan Robert Kroplewski, pełnomocnik ministra cyfryzacji do spraw społeczeństwa informacyjnego. Urząd Ochrony Konkurencji. Proszę? Dobrze.</u>
<u xml:id="u-1.3" who="#PrzewodniczacyposelGrzegorzNapieralski">Akademia Leona Koźmińskiego – pani dr hab. Katarzyna Kolasa, kierownik Zakładu Ekonomiki Zdrowia i Zarządzania Opieką Zdrowotną. Dzień dobry, pani profesor. Witam serdecznie. Tomasz Jaworski, dyrektor Transformacji Cyfrowej Sektora Publicznego w Microsoft. Dzień dobry, witam serdecznie. I Anna Zawada, kierownik studium... Też nie ma pani Anny… Dobrze. Naczelna Izba Lekarska? Konfederacja Lewiatan? Witam bardzo serdecznie przedstawicielkę Konfederacji Lewiatan – panią ekspert Magdalenę Żukowską. Dzień dobry. Bardzo dziękuję za przybycie. Pani Joanna Karczewska, członek Stowarzyszenia ISACA. Witam serdecznie, panią Joannę. Centrum Europejskiego Uniwersytetu Warszawskiego – dr hab. Marta Grabowska, profesor Uniwersytetu Warszawskiego. Witam bardzo serdecznie panią profesor.</u>
<u xml:id="u-1.4" who="#PrzewodniczacyposelGrzegorzNapieralski">Porządek dzisiejszego posiedzenia przewiduje dyskusję na temat regulacji dotyczących korzystania z algorytmów i sztucznej inteligencji na rzecz poprawy zdrowia Polaków. Czy są uwagi do porządku obrad? Nie widzę.</u>
<u xml:id="u-1.5" who="#PrzewodniczacyposelGrzegorzNapieralski">Szanowni państwo, przystępujemy do realizacji porządku dziennego. Bardzo proszę panią profesor o wprowadzenie – jeszcze zanim będziemy mieli pilota do prezentacji.</u>
<u xml:id="u-1.6" who="#PrzewodniczacyposelGrzegorzNapieralski">Ja tylko tak na wstępnie chciałbym powiedzieć, że od pewnego czasu informacje dotyczące sztucznej inteligencji, czy wpływu algorytmów na nasze życie jest coraz więcej. Tak naprawdę dotyczy to już coraz liczniejszych dziedzin naszego życia i naszej codzienności. Myślę, że jeszcze nie w tym parlamencie, ale w przyszłym, w nowej kadencji, kwestie dotyczące sztucznej inteligencji i tego, co dzieje się ze sztuczną inteligencją i algorytmami, powinny być już nie pracami podkomisji, ale powinny być włączone do prac stałej Komisji sejmowej. Myślę, że do tego powinniśmy dążyć i o tym dyskutować, aby po prostu przygotować ramy prawne dla funkcjonowania sztucznej inteligencji i algorytmów. Wielokrotnie o tym dyskutowaliśmy.</u>
<u xml:id="u-1.7" who="#PrzewodniczacyposelGrzegorzNapieralski">Udało nam się dzięki uporowi i zaangażowaniu również pana przewodniczącego Zandberga przygotować projekt ustawy dotyczący związków zawodowych i możliwości zaglądania w te algorytmy, ale tutaj Prawo i Sprawiedliwość – niestety nie wiemy dlaczego – bardzo utrudnia nam dalsze procedowanie tej ustawy, chociaż w stałej komisji sejmowej ta ustawa przeszła jednogłośnie. Nie było żadnych uwag. Również Biuro Legislacyjne nie zgłosiło żadnych uwag. Trudno nam powiedzieć, dlaczego tak się stało. Niemniej jednak przed polskim parlamentem jest dużo pracy do wykonania, aby to wszystko okiełznać, jeżeli chodzi o ramy prawne. Chciałem pani profesor bardzo podziękować, bo od dłuższego czasu już współpracujemy jako podkomisja… Dziękuję też za konferencję, na której mogłem zabrać głos, która była organizowana z Naczelną Izbą Lekarską, dotyczącą właśnie tego, co dzieje się w systemie ochrony zdrowia, jeżeli chodzi o sztuczną inteligencję i wykorzystanie tych nowoczesnych osiągnięć technologicznych, by dbać przede wszystkim o zdrowie pacjenta, jego bezpieczeństwo – żeby one nam się nie wymknęły spod kontroli.</u>
<u xml:id="u-1.8" who="#PrzewodniczacyposelGrzegorzNapieralski">Bardzo dziękuję za taką możliwość. Przy każdych takich konferencjach, jak myślę, ja i moi koledzy z podkomisji jesteśmy do państwa dyspozycji. Jeśli nas zaprosicie, bardzo chętnie zabierzemy tam głos i po prostu się pojawimy. Myślę, że świat nauki, ale również świat gospodarczy, czy świat dużych firm, powinien dzisiaj być dla nas zapleczem merytorycznym, abyśmy później mogli tworzyć dobre prawo. Bez ludzi z dużą wiedzą, bez waszej wiedzy i bez waszego doświadczenia – myślę również o firmach technologicznych – ciężko będzie pisać ramy prawne, szczególnie dla sztucznej inteligencji.</u>
<u xml:id="u-1.9" who="#PrzewodniczacyposelGrzegorzNapieralski">Nie chciałbym już przedłużać. Pani profesor, oddaję głos. Widzę, że ma pani już narzędzie, że tak powiem, zbrodni, więc proszę bardzo.</u>
</div>
<div xml:id="div-2">
<u xml:id="u-2.0" who="#KatarzynaKolasa">Bardzo dziękuję, panie przewodniczący. Bardzo dziękuję za zaproszenie i witam serdecznie wszystkich obecnych na sali i tych online, jeżeli tacy są. Jest to moje drugie wystąpienie w ramach tej podkomisji. Muszę przyznać, że cały czas mam wrażenie, że jesteśmy w tyle za postępem technologicznym i pomimo tego, że robimy kroki do przodu, jesteśmy na początku drogi. Dlatego bardzo się cieszę na to spotkanie i traktuję to jako misję bycia naukowcem, żeby przybliżyć troszeczkę te szanse i zagrożenia, które stają przed ochroną zdrowia. Ale chcę też wskazać, że jest czas na akcję tu i teraz, że niestety nie możemy czekać, aż pewne rozwiązania będą zrealizowane same sobie. Tak, że bardzo dziękuję panu posłowi za uczestniczenie w naszej konferencji, na której zebrało się sporo ekspertów – mieliśmy ponad 150 osób. W większości byli to eksperci zajmujący się ochroną zdrowia i wszyscy byli zainteresowani sztuczną inteligencją. Na podstawie tego przygotowaliśmy raport i chcemy iść dalej, badając temat w Polsce.</u>
<u xml:id="u-2.1" who="#KatarzynaKolasa">Dlaczego uważam, że należy się skoncentrować na Polsce? Właśnie to przybliżę państwu na tych kolejnych slajdach – zaczynając jednak od spojrzenia globalnego, które wynika z tego, że po prostu brakuje nam lekarzy. Problem braku kadry medycznej jest problemem światowym. Szacuje się, że do 2030 roku zabraknie nam około 18 milionów pracowników sektora ochrony zdrowia. Wszyscy żyjemy coraz dłużej, ku naszej radości, ale niestety są to też wzrastające koszty systemu ochrony zdrowia. Szacuje się, że 80-latków będzie w 2050 roku około 10% całej populacji. Mamy świadomość, co to oznacza dla systemu ochrony zdrowia. Za parę lat średnio około 10% PKB będziemy przeznaczać w grupie krajów OECD na ochronę zdrowia. W związku z tym musimy tak samo, jak zajmujemy się ociepleniem klimatu, zastanowić się, co zrobić z tą katastrofą, która przed nami czeka, a szczególnie przed systemem ochrony zdrowia i niemożności sfinansowania wszystkich potrzeb zdrowotnych. Na szczęście jak spojrzymy na to, gdzie te innowacje na świecie i w Europie się gromadzą, to na drugim miejscu mamy medical technology, ale na pierwszy mamy digital communication. Rzeczywiście żyjemy w dobie transformacji cyfrowej, którą mamy przyjemność zajmować się głównie naukowo, ale też hobbystycznie, jak również zawodowo. Tu może powinnam powiedzieć na samym wstępie, że reprezentuję Akademię Leona Koźmińskiego, gdzie prowadzę kurs Digital Health dla start-upów. Również w Naczelnej Izbie Lekarskiej mam przyjemność prowadzić grupę roboczą do spraw sztucznej inteligencji, najliczniejszą grupę roboczą w grupie innowatorów. W związku z tym to też pokazuje duże zainteresowanie personelu medycznego tymże tematem.</u>
<u xml:id="u-2.2" who="#KatarzynaKolasa">W związku z transformacją cyfrową mamy duże możliwości. One wynikają z tego rozwoju technologicznego, czyli ilości chipów, ale też młodego pokolenia, które coraz częściej korzysta z rozwiązań cyfrowych, lecząc się na własną rękę albo wspierając swój proces leczenia w sytuacji, kiedy nie ma dostępu do personelu medycznego. Jest ponad 300 tys. aplikacji zdrowotnych obecnych już w App Store czy w Google Store. Czy powinniśmy sobie te aplikacje przygotować w telefonie komórkowym i zapomnieć o systemie ochrony zdrowia? Myślę, że jeszcze nie, bo większość z nich okazuje się być niezwalidowana. Według wyliczeń mojego zespołu – zrobiliśmy przegląd systematyczny – wszystkich publikacji naukowych odnośnie algorytmów sztucznej inteligencji jest ponad 10 tys. Ale raptem 100 jest zwalidowanych, jeśli chodzi o ich zdolność do symulacji tego, co by zrobił lekarz w przypadku danej diagnostyki czy podejmowania decyzji. W związku z tym mamy niebagatelny zasób tych rozwiązań technologicznych, ale niestety nie są one zwalidowane. Nie są zwalidowane, bo brak jest regulacji. W samych Stanach Zjednoczonych jest tylko 500 dopuszczonych do rynku. W Europie jest jeszcze mniej. Refundowanych jest poniżej 100. W związku z tym mamy ogromną przepaść między tym, co jest dostępne, a tym, co jest możliwe do wprowadzenia do systemu ochrony zdrowia. W moim osobistym przekonaniu brak regulacji jest przyczynkiem, dla którego dzisiaj się spotykamy. Myślę, że te regulacje powinny być zorganizowane nie tylko na poziomie europejskim, ale głównie na poziomie kraju.</u>
<u xml:id="u-2.3" who="#KatarzynaKolasa">Rozwiązania technologiczne dają nam niesamowitą nadzieję na rozwiązywanie problemów zdrowotnych inaczej niż do tej pory, czyli technologiami, które nie są prozdrowotne, ale które wspierają naszą profilaktykę zdrowia. Są prowadzone badania, jak dostępność do terenów zielonych wpływa na nasze zdrowie psychiczne. Dostępne już badania pokazują, jak to, że mamy zegarki, które mierzą nasz poziom kroków, przedłużają nam życie, kiedy korzystamy z tych rozwiązań, a korzystamy częściej mając je. To daje oszczędność dla systemu ochrony zdrowia, bo ograniczamy nasze ryzyka – na przykład chorób układu krążenia. Czy powinniśmy zrobić to samo, co Singapur robi już dzisiaj? Dano społeczeństwu aplikację do mierzenia ilości kroków. Tym, którzy przekroczyli swoje progi, daje się bony do supermarketów. W ten sposób motywuje się społeczeństwo do działań prozdrowotnych. Ale to jest tylko możliwe dzięki zwalidowanym rozwiązaniom cyfrowym, których wciąż nam brakuje.</u>
<u xml:id="u-2.4" who="#KatarzynaKolasa">Inne przykłady z literatury pokazują, jak to wyposażenie pacjentów – po operacji na przykład stawu kolanowego – w odpowiednie monitorowanie ich zdrowia i plan rehabilitacji daje konkretne oszczędności dla systemu, zmniejsza ryzyko ponownych interwencji – trzykrotnie. To było uznane za istotność statystyczną w tymże badaniu.</u>
<u xml:id="u-2.5" who="#KatarzynaKolasa">Nie jest moją intencją, żebyście państwo zrozumieli do końca ten slajd, tylko chciałam pokazać, jak rozwiązania cyfrowe mogą wspomóc na dzisiaj proces leczenia pacjenta poprzez komunikację między pacjentem a lekarzem. Bo to, że dane są zgromadzone w naszym telefonie i udostępniane na przykład lekarzowi, pozwalają mu podjąć właściwą decyzję we właściwym momencie odnośnie do zmiany procesu leczenia. Jest badanie, które zostało zrealizowane w Holandii, gdzie pacjenci chorujący na stwardnienie rozsiane, czyli chorobę, która wymaga ciągłego monitorowania... Dostęp do danych z telefonu pacjenta i wypełnianie codziennie przez pacjenta kwestionariuszy pozwala na oszczędności dla systemu ochrony zdrowia, ponieważ ten lekarz może zmodyfikować proces leczenia w trakcie rzeczywistym. Pacjent nie musi czekać ileś tygodni na wizytę w gabinecie i pamiętać swoich zachowań w przeciągu 2 miesięcy, tylko te dane pozwalają na monitorowanie, ale również podejmowanie właściwych decyzji – ponieważ lekarz jest wyposażony w dostęp do danych pochodzących z telefonu pacjenta.</u>
<u xml:id="u-2.6" who="#KatarzynaKolasa">Wszystko to jest możliwe tylko wtedy, kiedy pacjent jest zaprzyjaźniony z tymi rozwiązaniami cyfrowymi. A to zaprzyjaźnienie to nie jest tylko kwestia badań klinicznych, badania tych walidacji, o których mówiłam w stosunku do tego, co by powiedział lekarz w danej sytuacji, ale to jest też przybliżenie tych rozwiązań cyfrowych dla pacjenta. Stworzenie takich rozwiązań, które będą przyjazne. Tak samo jak my podejmujemy na co dzień decyzję – coś nam się podoba, a coś nie w kontekście naszych wyborów konsumenckich – tak samo będziemy podejmowali wybory, jeśli chodzi o rozwiązania cyfrowe dla poprawy naszego zdrowia. Ich użyteczność – czy one są łatwo używane czy trudniej używane, czy jesteśmy w stanie mieć do nich dostęp niezależnie od miejsca, w którym przebywamy… Czy sensory powinny być wyłącznie w domu, czy one powinny być noszone z nami na co dzień… Jest ileś tych pytań, które nie dotyczą sfery medycznej, a sfery zdolności pacjenta do adaptacji tych rozwiązań. W związku bardzo ważne jest badanie społeczeństwa w danej lokalizacji, ponieważ nasze preferencje niekoniecznie muszą być zbieżne z preferencjami kogoś w Stanach Zjednoczonych czy nawet w Niemczech. O tym, jakie to ma niebagatelne znaczenie przy skuteczności tych rozwiązań, przekonali się tacy wielcy jak firma Apple, która wprowadzając zegarek do pomiaru migotania przedsionków, niestety nie była w stanie skorzystać ze swojej inwestycji przeprowadzenia badania na ponad 4 tys. pacjentów, ponieważ pacjenci zapomnieli wysłać odpowiedni zestaw do mierzenia migotania przedsionków po skończonym badaniu. W związku z tym pomimo tego, że technologia nie zawiodła, zawiodła współpraca z pacjentem. To pokazuje w sposób dobitny, jak ważna jest ta współpraca między lekarzem a pacjentem. Te rozwiązania technologiczne to nie jest tylko skuteczność w kontekście osiągnięć zdrowotnych, tylko to jest ta przyjaźń z rozwiązaniem technologicznym, po to, żeby pacjent chciał z niego skorzystać, jak nie jest w gabinecie lekarskim. Jest to coś więcej niż codzienne przyjmowanie tabletki.</u>
<u xml:id="u-2.7" who="#KatarzynaKolasa">Skoro mowa o przyjmowaniu tabletki, są już takie firmy farmaceutyczne, które rzeczywiście korzystają z tych rozwiązań. Może to dosyć kontrowersyjny przykład, ale z premedytacją go tutaj przytaczam – jedna z firm farmaceutycznych wyposaża swoich pacjentów w rozwiązania na telefon, dając im aplikację, dając im kwestionariusz, który muszą codziennie wypełniać. Nie tylko przyjmują swoje leki, ale również dokonują wglądu w tę aplikację i wypełniają codziennie kwestionariusz. Dostają za to konkretne wynagrodzenie pieniężne. Mianowicie są to bonusy do zakupów podarunkowych na Amazon. W związku z tym pytanie, czy powinniśmy iść tak daleko? Czy nasze społeczeństwo by chciało skorzystać z takich modyfikacji w systemie ochrony zdrowia, czy też by uznało to za niewłaściwe?</u>
<u xml:id="u-2.8" who="#KatarzynaKolasa">A pytanie jest ważkie. Jeżeli spojrzymy na to, jak stoimy w stosunku do reszty Europy, jeśli chodzi o tak zwane digital literacy, czyli naszą zdolność do posługiwania się rozwiązaniem cyfrowymi, to gorzej jest tylko w Bułgarii i Rumunii. W związku z tym musimy przygotować nasze społeczeństwa na tę transformację cyfrową albo przygotować się na bankructwo systemu ochrony zdrowia. W moim przekonaniu trzeciej drogi nie ma. Myślę, że ważne jest, żeby zacząć już dziś o tym mówić, jak stworzyć przyjazny system ochrony zdrowia wyposażony w rozwiązania cyfrowe na rzecz pacjenta. Szanse są dosyć konkretne, bo są to oszczędności finansowe. Z premedytacją nie przytaczam tu tych mnóstwa przykładów rozwiązań, które pokazują, o ile jest taniej, ponieważ, jak mówiłam, większość z nich nie jest zwalidowanych i nie ma odniesienia do polskiej perspektywy. Te rozwiązania, które są, zdecydowanie pokazują, że one mogą poprawić jakość życia i zadowolenie pacjentów, ponieważ. nie muszą stać w kolejkach, nie muszą czekać na decyzję lekarza, widzą postępy swojego leczenia tu i teraz. Dzięki takim rozwiązaniom wspieramy też innowacje. Robi to Finlandia, udostępniając dane zgromadzone w ramach rozwiązań cyfrowych na rzecz firm farmaceutycznych, na rzecz organizacji badań i rozwoju. W ten sposób pokazuje się społeczeństwu, że nie tylko się leczymy, ale również dzięki naszym danym możemy wspierać innowacje na rzecz leczenia tych chorób, które wciąż są niezaspokojone skutecznymi terapiami.</u>
<u xml:id="u-2.9" who="#KatarzynaKolasa">Żeby przystąpić do tego dość optymistycznego zadania, musimy mieć w świadomości te wszystkie zagrożenia poza cyberbezpieczeństwem, które są znane nam na co dzień z doniesień medialnych. Te wynikające z braku dowodów na korzyści, jakie to technologiczne rozwiązanie nam daje… Nie są one zwalidowane, mogą mieć braki i kolejne update’y danego software’u pozwalają na cyberataki albo powodują niemożność skorzystania z danego rozwiązania, ponieważ nasz telefon nie daje możliwości użycia nowego rozwiązania w naszym telefonie, bo mamy ten telefon albo za stary, albo zbyt nowy. Jest mnóstwo zagrożeń wynikających z równości dostępu i szereg błędów, nad którymi już w tej chwili świat naukowy debatuje, co z nimi zrobić. Ponieważ dane, które wykorzystywane są przez te algorytmy do ich stworzenia, nie są tymi danymi, na których ten algorytm będzie działał. W związku z tym, jak to ocenić? Skuteczność jest na poziomie 98%, podczas tworzenia tego algorytmu, ale kiedy będzie on działał w innej grupie docelowej pacjentów, jego skuteczność będzie zupełnie inna. Mówię tutaj o czułości czy wrażliwości tych rozwiązań, jeżeli to jest diagnostyka. W związku z tym konieczność wynika nie tylko z przygotowania społeczeństwa, ale też systemu i deweloperów, którzy powinni mieć za zadanie walidować te rozwiązania.</u>
<u xml:id="u-2.10" who="#KatarzynaKolasa">Summa sumarum żyjemy w czasie, kiedy sztuczna inteligencja zacznie rządzić się sama, chyba że my przygotujemy system do zarządzania nią. Dlatego chciałam zaproponować, żebyśmy zastanowili się, jak wyglądają preferencje głównych grupy społecznych, ale też tych, którzy będą korzystać albo dostarczać nam tych rozwiązań cyfrowych –mówię tutaj głównie o lekarzach i kadrze zarządzającej szpitali. Czy jesteśmy przygotowani na transformację cyfrową w ochronie zdrowia? Co zrobić, żebyśmy byli lepiej przygotowani? W związku z tym takie badanie preferencji Polaków wydaje mi się być nie tylko wskazane, ale przede wszystkim konieczne. Stąd moja prośba o patronat podkomisji sejmowej nad takowymi badaniami. Na podstawie tego chciałabym przygotować dla państwa, dla decydentów, rekomendacje, co zrobić, aby nie tylko zmniejszyć tę potencjalną nierówność – patrząc na Polskę versus resztę Unii Europejskiej, jeśli chodzi o wspomniane korzystanie z rozwiązań cyfrowych, jesteśmy na końcu Europy – ale też zrozumieć, jakimi kryteriami te rozwiązania powinny być oceniane. Bo jeżeli spojrzymy na to, jak dzisiaj są oceniane leki i wyroby medyczne, to nijak się to ma z tym, jak powinny być oceniane rozwiązania cyfrowe. Mam na myśli to, że te rozwiązania cyfrowe będą w rękach pacjentów. Te przykłady pokazują, że musimy zastanowić się nad kryteriami oceny, nie tylko z perspektywy klinicznej, ale też z perspektywy użytkownika, czyli pacjenta, który staje się konsumentem świadczeń zdrowotnych. W związku z tym wydaje się, że takie badanie preferencji daje nam szereg spostrzeżeń. Będzie nam łatwiej przygotować nowelizację dotychczasowych regulacji prawnych albo przygotować nowe, które pozwolą systemowi ochrony zdrowia finansować te rozwiązania, które nie tylko są skuteczne, ale które są akceptowalne przez pacjentów. To, że jest to problemem, pokazują przykłady na przykład Niemiec, gdzie te rozwiązania cyfrowe już są dostępne na receptę – mam tu na myśli aplikacje mobilne – ale niekoniecznie rynek rośnie w tak dynamicznym tempie. Większość jednak ma ten dylemat, jak z nich korzystać. W związku z tym jest potrzeba spojrzenia lokalnego, spojrzenia w każdym kraju osobno. Myślę, że Polska z uwagi na swoje zacofanie cyfrowe wymaga szczególnego spojrzenia. Natomiast myślę, że dzięki właśnie… Chciałam jeszcze raz podziękować przewodniczącemu za wsparcie i za nasze wspólne działania do tej pory, podczas tej konferencji. Liczę na więcej. Liczę na to, że będziecie mogli państwo nam pomóc w przygotowaniu tych badań naukowych, a my z naszej strony przygotujemy odpowiednie rekomendacje i wyniki tych badań.</u>
<u xml:id="u-2.11" who="#KatarzynaKolasa">We wrześniu z przyjemnością byśmy państwa zaprosili na Akademię Leona Koźmińskiego, gdzie możemy zrobić przedstawienie tych wyników i też wspólnie zorganizować taką debatę, co zrobić, aby sztuczna inteligencja była przyjazna Polakowi w systemie ochrony zdrowia. Bardzo dziękuję.</u>
</div>
<div xml:id="div-3">
<u xml:id="u-3.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Bardzo dziękuję, pani profesor, za tą prezentację. Od razu moje pytanie jest takie – czy możemy tę prezentację rozesłać posłom i posłankom z Komisji?</u>
</div>
<div xml:id="div-4">
<u xml:id="u-4.0" who="#KatarzynaKolasa">Oczywiście.</u>
</div>
<div xml:id="div-5">
<u xml:id="u-5.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Bardzo dziękuję. Ale to już, jak rozumiem, później, po posiedzeniu podkomisji. Bardzo dziękuję za tę prezentację, za ten głos. Otwieram dyskusję. Czy ktoś z państwa chciałby zabrać głos? Czy są pytania, sugestie? Proszę bardzo, pani profesor.</u>
</div>
<div xml:id="div-6">
<u xml:id="u-6.0" who="#MartaGrabowska">Dzień dobry. Marta Grabowska, Centrum Europejskie Uniwersytetu Warszawskiego. W pierwszej kolejności chciałabym zapytać, jak dalece w tych rozważaniach przeanalizowano, dokumenty Unii Europejskiej i Rady Europy? Mam tu na myśli przede wszystkim Artificial Intelligence Act, który w tej chwili jest w przygotowaniu, białą księgę, ale również niektóre konwencje Rady Europy, które dotyczą praw człowieka. Jaki jest właściwie cel? Czy pani chce opracować jakieś nasze lokalne rekomendacje? Bo one oczywiście nie mogą odbiegać od tego wszystkiego, czego wymaga zarówno Rada Europy, jak i Unia Europejska. Jesteśmy w bardzo niewygodnym momencie. Bo jeśli chodzi o Unię Europejską, to ten Artificial Intelligence Act ma być rozporządzeniem i w pewnym sensie jest w końcowym etapie przygotowania. Dopóki on nie zostanie przyjęty i te ostateczne ustalenia dotyczące sztucznej inteligencji w ogóle w Unii Europejskiej nie zostaną przyjęte, możemy trochę balansować w jedną albo w drugą stronę. To jest pierwsza rzecz.</u>
<u xml:id="u-6.1" who="#MartaGrabowska">Ale jest jeszcze inny źródło. Mam tu na myśli standardy, normy. Mianowicie, jak wiadomo, Unia Europejska ma trzy organizacje standaryzacyjne: CEN, CENELEC i ETSI. W ETSI, który się zajmuje właśnie problematyką cyfrową, są już pewne standardy dotyczące na przykład rozwiązań etycznych. Są to takie standardy i zalecenia dość ogólne, ale są. Na ile te wszystkie dokumenty są tutaj brane pod uwagę? Bo myślę, że pominąć ich absolutnie nie można. Trzeba się w miarę trzymać tego, co już albo jest przygotowane i weszło w życie, albo jest w przygotowaniu – żebyśmy nie odeszli w siną dal. To takie moje pytanie. Dziękuję bardzo.</u>
</div>
<div xml:id="div-7">
<u xml:id="u-7.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Bardzo dziękuję. Pani profesor, proszę uprzejmie.</u>
</div>
<div xml:id="div-8">
<u xml:id="u-8.0" who="#KatarzynaKolasa">Z przyjemnością odpowiem. Bardzo dziękuję. Tak, oczywiście – my przede wszystkim w tej chwili robimy przegląd literatury. Już zaczęliśmy to badanie. Robimy przegląd literatury, bo to, co pani profesor słusznie zauważyła, jest w trakcie przygotowań, więc nie mamy jeszcze ostatecznych aktów normatywnych. Ale poza tym jest strasznie dużo publikacji i badań na ten temat. W związku z tym korzystamy z tego dobrodziejstwa. Jeśli chodzi o moje osobiste spostrzeżenie na temat aktów normatywnych, które się tworzą – one moim zdaniem pozostawiają bardzo duże pole do rozwiązań lokalnych. Nie myślę tylko o refundacji – bo wiadomo, że w każdym kraju pomimo regulacji Unii Europejskiej jest refundacja produktów medycznych. Myślę, że nasz wkład głównie będzie polegał na tym, żeby taki system refundacji stworzyć. Artificial Intelligence Act jednak koncentruje uwagę na ryzykach, natomiast nie koncentruje uwagi na tym, co też wielu ekspertów pokazuje – że sztuczna inteligencja zawsze będzie miała ryzyka i korzyści. Ryzyka są globalne, a korzyści są lokalne – tak jest w moim przekonaniu. Bo korzyści wynikają z tego, jak my w danym kraju będziemy mogli korzystać z tej sztucznej inteligencji. Myślę, że zupełnie inaczej będzie to w Szwecji czy w krajach nordyckich, które są bardziej zaawansowane, niż u nas. Natomiast zdecydowanie tak – jak mówię, robimy ten przegląd literatury. Mam dwóch doktorantów i nie tylko doktorantów… W tej chwili mamy spory zespół. Analizujemy dokumenty normatywne, robimy przegląd literatury, żeby stworzyć ankietę badawczą w odniesieniu do tych źródeł informacji. Oczywiście musimy się posługiwać tym, co inni już zrobili albo tym, co właśnie Unia Europejska nam przygotowuje na koniec tego roku – mam nadzieję, że Artificial Intelligence Act będzie już ustabilizowany. Dziękuję bardzo.</u>
</div>
<div xml:id="div-9">
<u xml:id="u-9.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Dziękuję bardzo. Ja też uspokoję panią profesor. Oczywiście my nie zrobimy nic, co byłoby sprzeczne z zaleceniami Unii Europejskiej. Natomiast mogę powiedzieć z własnego doświadczenia, pani profesor, jako wiceprzewodniczącego Komisji Cyfryzacji, Innowacyjności i Nowoczesnych Technologii – często jest w naszym parlamencie tak, że coś już dawno w Unii Europejskiej jest, a my to na koniec, na szybko, na kolanie musimy tu przyjmować i robić. Moglibyśmy w końcu zrobić coś odwrotnie – być przygotowani na to. Myślę, że tu nie mamy wyjścia. To jest tak ważki temat i tak poważna sprawa, że trzeba być do tego przygotowanym. Myślę, że partie polityczne, które będą startowały w wyborach parlamentarnych, powinny mieć też taką świadomość, żeby to umieścić we własnych programach wyborczych. Przyszła kadencja to nie może być tylko dyskusja. To musi też być praca nad konkretnymi przepisami.</u>
<u xml:id="u-9.1" who="#PrzewodniczacyposelGrzegorzNapieralski">Jeszcze raz wrócę do tego, o czym mówiłem przez chwilę – jak pracowaliśmy z panem przewodniczącym Zandbergiem na temat ustawy o algorytmach, jeżeli chodzi o zatrudnianych pracowników i pracownice w różnych miejscach. Pamiętam, ile mieliśmy spotkań różnych. Byliśmy na Uniwersytecie Łódzkim i rozmawialiśmy z prawnikami, którzy zajmują się prawem pracy dotyczącym właśnie tych nowoczesnych rozwiązań. Mieliśmy przedstawicieli związków zawodowych. Ta materia jest tak skomplikowana… Bo z jednej strony my chcemy tej nowoczesności, wiemy, że ona jest nam potrzebna, że będzie nam ułatwiać życie, a z drugiej strony zaułków, niebezpieczeństw czy dziur, w które możemy wpaść, jest naprawdę bardzo dużo. Czym lepiej się do tego przygotujemy, czym więcej dyskusji przeprowadzimy, czym więcej osób poprosimy o konsultacje, tym dla nas – którzy na koniec będą musieli podnieść rękę za konkretnym rozwiązaniem – po prostu lepiej.</u>
<u xml:id="u-9.2" who="#PrzewodniczacyposelGrzegorzNapieralski">Proszę bardzo.</u>
</div>
<div xml:id="div-10">
<u xml:id="u-10.0" who="#MartaGrabowska">Jeśli mogę uzupełnić… Tu jest pewien problem, ponieważ w tym dokumencie właśnie, o którym mówimy – Artificial Intelligence Act – sugeruje się certyfikację tych urządzeń. W Europie troszeczkę inaczej podchodzimy do różnych technologii niż na przykład w Stanach Zjednoczonych, w Chinach czy w innych krajach. Rozumiem, że te rekomendacje miałyby się skończyć czymś takim, że jakieś konkretne urządzenia będą rekomendowane do użytku. Z góry trzeba sobie zdawać sprawę, że w jakimś momencie, jak te dokumenty unijne wejdą w życie, to albo one się utrzymają na tym rynku ze względu na to, że będą spełniać te wymagania certyfikacyjne, albo niestety się nie utrzymają. Zatem tu też trzeba brać pod uwagę jak są tworzone te progi certyfikacyjne. Wiem, że kiedy ten akt był w przygotowaniu, to było bardzo duże zainteresowanie różnych firm spoza Unii Europejskiej – jak to dostosować tak, żeby one na ten rynek europejski mogły wejść. Bo one nie będą w ogóle mogły wejść, jak nie spełnią tych warunków certyfikacyjnych. Te certyfikaty będą musiały osiągnąć. To może właśnie spowodować pewne ruchy na tym wspólnym naszym rynku – coś będzie mogło wejść albo firmy będą musiały troszkę dostosować te urządzenia. To tyle. Dziękuję.</u>
</div>
<div xml:id="div-11">
<u xml:id="u-11.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Dziękuję bardzo. Pani profesor? Proszę.</u>
</div>
<div xml:id="div-12">
<u xml:id="u-12.0" who="#KatarzynaKolasa">Powiem jedną rzecz. Większość tych rozwiązań cyfrowych w tej chwili jest już certyfikowana jak wyroby medyczne – mamy Medical Device Regulation, która na szczęście ma to zapisane. Jest zrobiona nowelizacja pod kątem cyfryzacji. Poza tym mamy certyfikaty ISO, którymi posługują się te technologie. Właśnie jest nawet nowo powstałe ISO dla mobilnych aplikacji dla zdrowia. W związku z tym rzeczywiście na poziomie certyfikacji sporo się dzieje. I słusznie, bo to zabezpiecza nas przed niebezpieczeństwem. Ale dalej, wydaje mi się, że tu, jak i w każdym kraju, mamy dylemat, jakimi kryteriami oceniać. Bo to jeszcze trzeba mieć w świadomości, które spośród tych 300 tys. aplikacji, które mamy już na dziś, doprowadzić do tego, żeby były w polskim systemie ochrony zdrowia. Wydaje mi się, że nasza misja jest taka, żeby pomóc w ustaleniu tych kryteriów oceny. Nie chodzi o powodzenie – ten jest zły, a ten dobry – tylko o powiedzenie, jakimi kryteriami oceniać to na poziomie kraju. Decyzje regulacyjne, jeśli chodzi o leki, podejmowane są na poziomie centralnym, natomiast dalej, decyzje refundacyjne są na poziomie lokalnym. Myślę, że tutaj, na poziomie lokalnym te kryteria oceny mogą nam pomóc w tych właśnie wyborach. To byłby cel, prawda? Dziękuję bardzo.</u>
</div>
<div xml:id="div-13">
<u xml:id="u-13.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Jeszcze jeden głos. Proszę, panie dyrektorze.</u>
</div>
<div xml:id="div-14">
<u xml:id="u-14.0" who="#DyrektorDepartamentuNowychTechnologiiUrzeduOchronyDanychOsobowychTomaszSoczynski">Dzień dobry, panie przewodniczący. Proszę o dołączenie mnie do głosów. Nazywam się Tomasz Soczyński. Dziś przyjmę czapeczkę doktoranta Uniwersytetu Gdańskiego, Wydziału Prawa i Administracji, gdzie mam zaszczyt popełnić – już po pierwszej recenzji pozytywnej – doktorat na temat oceny skutków dla ochrony danych osobowych na poziomie legislacyjnym. Jeśli mógłbym prosić o włączenie tejże mojej pracy… To jest na gruncie norm tak naprawdę – bo to są prawne instrumenty oceny skutków. Dlatego myślę, że ten poziom oceny wpływu na prywatność, certyfikacji i oceny skutków dla prywatności jest jak najbardziej, wydaje mi się, słuszny. Dlatego prosiłbym szanowną podkomisję i pana przewodniczącego o włączenie mnie w przyszłości jako doktoranta Uniwersytetu Gdańskiego, a chętnie się podzielę swoją pracą. Myślę, że może ta macierz posłużyć właśnie do tego, żeby dokonać tej oceny. Jest to rozbudowane narzędzie legislacyjne, które umożliwia właśnie… Taka check lista odpowiadająca na pytania, posługując się również punktacją, pozwala odpowiedzieć na te pytania, które są stawiane dzisiaj w trakcie spotkania. Dziękuję.</u>
</div>
<div xml:id="div-15">
<u xml:id="u-15.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Super. Bardzo dziękuję za tę deklarację i propozycję. Oczywiście chętnie zapraszamy do współpracy każdego człowieka dobrej woli. Czym będzie nas więcej, czym więcej osób zaangażujemy, szczególnie ze świata nauki, tym lepiej dla nas, dla parlamentu. Ja to mówiłem już wielokrotnie. Bez was, bez waszych doświadczeń i bez waszych spostrzeżeń i badań naukowych my sobie po prostu nie damy rady. Bo materia jest naprawdę skomplikowana i też czasami mało zrozumiała dla przeciętnego Polaka czy Polki, również dla parlamentarzystów. Wasze wsparcie na pewno będzie dla nas dużą pomocą i dużym wkładem w pracę. Serdecznie zapraszamy. Myślę, że my robimy taki trochę fundament, pod to, co będzie się działo w przyszłej kadencji. Wtedy będzie poważna dyskusja nad rozwiązaniami. My tak naprawdę czyścimy teraz przedpole, mówiąc młodzieżowym językiem. Przygotowujemy to przedpole na poważną dyskusję nad konkretnymi przepisami prawa. Mam głęboką nadzieję, że będziemy jako jeden z krajów europejskich pionierem w tych rozwiązaniach prawnych. Będziemy robić wszystko, żeby to się udało. Jeszcze raz dziękuję za deklarację i oczywiście wpiszemy pana na listę gości, których zapraszamy. Bardzo chętnie będziemy współpracować.</u>
<u xml:id="u-15.1" who="#PrzewodniczacyposelGrzegorzNapieralski">Tak? Przepraszam. Proszę bardzo, oddaję panu głos. Pan Tomasz Jaworski, bardzo proszę. Później pani Joanna.</u>
</div>
<div xml:id="div-16">
<u xml:id="u-16.0" who="#DyrektorTransformacjiCyfrowejSektoraPublicznegowMicrosoftTomaszJaworski">Ja jeszcze chciałem odnieść się do tego, co pani profesor podniosła. Pan przewodniczący też słusznie zwrócił uwagę, że możemy mieć ambicję, żeby troszeczkę nadawać ton tej dyskusji o zakorzenieniu nowych technologii i sztucznej inteligencji w naszej tradycji europejskiej, w pewnych wartościach, w pewnych normach, które mamy wypracowane. Bo to jest bardzo istotne. Powiem państwu tak – jeżeli ktoś by chciał zapytać pana Axela Vossa, który przygotowywał właśnie Artificial Intelligence Act… Chyba to poseł sprawozdawca. Przepraszam, jeśli jestem tu nieprecyzyjny w podaniu funkcji. Ale to główna osoba koordynująca przygotowanie Artificial Intelligence Act. Zdanie o polskim zespole, który kontrybuował, między innymi też z Akademii Koźmińskiego, będzie bardzo wysokie. To stanowisko polskie do Artificial Intelligence Act zostało ocenione bardzo wysoko, jako bardzo pragmatyczne i dość mocno wpłynęło na pewną modyfikację. Wcześniejszy akt dość sztywno zabraniał właściwie jakiejkolwiek aktywności w tym obszarze. To, co z kolei pani profesor podnosi, to jest właśnie troszeczkę pewna wartość dodana do Artificial Intelligence Act. Zamiast identyfikacji ryzyk – co akt robi dość dobrze – zidentyfikowanie tego, jak możemy korzystać ze sztucznej inteligencji. I podam państwu taki już bardzo konkretny przykład. Jak mówimy o aplikacjach mobilnych, których coraz więcej używamy, w badaniach klinicznych farmaceutyków jest zawsze zastosowane placebo – i teraz pytanie jak zastosować placebo w telefonie komórkowym? Oczywiście są już wypracowane na to rozwiązania. Właśnie tutaj zespół pani profesor zajmuje się między innymi takimi rzeczami. Ale ich jest znacznie więcej, bo to jest bardzo rozległa dziedzina. Tu warto rozmawiać zawsze o konkretnych przykładach o konkretnych zastosowaniach. Jako Polacy na pewno możemy tutaj mieć bardzo duży wkład. Zresztą Uniwersytet Warszawski też ma bardzo dobrą historię umieszczania informatyków w różnych zacnych międzynarodowych instytucjach, prawda? Myślę, że jako Polacy możemy rzeczywiście nadawać trochę ton tej dyskusji.</u>
</div>
<div xml:id="div-17">
<u xml:id="u-17.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Super. Serdecznie panu dziękuję. Pani Joanna Karczewska, bardzo proszę.</u>
</div>
<div xml:id="div-18">
<u xml:id="u-18.0" who="#CzlonekstowarzyszeniaISACAWarszawaJoannaKarczewska">Dzień dobry. Nazywam się Joanna Karczewska. Reprezentuję osoby, które na co dzień zajmują się cyberbezpieczeństwem, bezpieczeństwem informacji i ochroną danych osobowych. Słuchając pani, cieszę się, że wspomina pani o cyberzagrożeniach, natomiast zabrakło mi podstawowego elementu – czyli niewłaściwego wykorzystania danych, które będą zbierane. Bo to, czy haker się włamie, czy nie, to jest wtórne. Czego ja się najbardziej obawiam? Właśnie niewłaściwego wykorzystania, czyli wyjścia poza pierwotne założenia. W związku z tym – i tu bardzo proszę o uwzględnienie tego w waszych analizach i badaniach – kto w Polsce ma się tym zająć, zanim to zostanie przeanalizowane już w następnej kadencji? Kto ma ścigać, kto ma weryfikować, że dane nie są nadużywane? Bo jak na razie to widać na przykładzie danych osobowych… Jest urząd. Wczoraj była bardzo burzliwa dyskusja nad kandydaturą pana prezesa na drugą turę. Między innymi właśnie były pytania o to, czy urząd jest przygotowany na sztuczną inteligencję. Praktyka pokazuje, szczególnie w ekstremalnych sytuacjach, nietypowych, że są tak olbrzymie luki – już nawet nie mówię o prawie – w samych chęciach, żeby się tym zająć. Rozmawiając o sztucznej inteligencji, ja cały czas szukam – pomimo Artificial Intelligence Act, o którym pani profesor wspomniała – kto się tym ma zająć w Polsce? Jakie byłyby wasze rekomendacje? Chociażby w przypadku aplikacji które mają być niemalże wyrobem leczniczym, która agenda Ministerstwa Zdrowia? Czy samo Ministerstwo Zdrowia? Czy też zostanie to potraktowane właśnie jako naruszenie ochrony danych osobowych wrażliwych i zostanie to skierowane do Urzędu Ochrony Danych Osobowych? Żeby to nie umknęło… Bo chociażby właśnie to, co zostało zawarte w ustawie o związkach zawodowych – też bardzo potrzebna rzecz – stanęło w miejscu. Dużo osób się interesuje, z kolei prawnicy mówią, że to jest kiepski zapis. Ale niestety nie ma okazji porozmawiać z nimi bliżej na ten temat. Zatem, żeby już na wejściu, wchodząc z waszymi propozycjami, uwzględnić, kto konkretnie ma być umocowany jako naczelna instytucja, która będzie się zajmować skrajnymi przypadkami nadużycia danych – czy to przez hakerów, czy też przez, tak ich nazwijmy, administratorów danych.</u>
</div>
<div xml:id="div-19">
<u xml:id="u-19.0" who="#KatarzynaKolasa">Spoglądam na pana – musimy zacząć współpracę.</u>
</div>
<div xml:id="div-20">
<u xml:id="u-20.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Właśnie chciałem to powiedzieć, pani Joanno. Wstrzeliła się pani bardzo celnie akurat z tym tematem. Mamy osobę, która zgłosiła się do współpracy. Myślę, że jak będziecie robili te badania, pani profesor, to to, co powiedziała pani Joanna, warto wziąć pod uwagę rozmawiając z ekspertami z izby lekarskiej. Warto porozmawiać z prawnikami, którzy mogliby na to spojrzeć z perspektywy polskich przepisów prawa, ale też w takiej naszej polskiej... Szukam słowa, jak to powiedzieć… Tego wszystkiego, co przeżywamy, jeżeli chodzi o ochronę danych osobowych. Żeby mieć podgląd na nasze podwórko i wtedy stworzyć i przyjść z rekomendacjami we wrześniu. Mielibyśmy już taki naprawdę dobry podkład do poważniejszej dyskusji, jeżeli będziemy mówili o konkretnych przepisach prawnych, które będziemy musieli przyjąć w parlamencie.</u>
</div>
<div xml:id="div-21">
<u xml:id="u-21.0" who="#KatarzynaKolasa">Tak. Bardzo dziękuję za ten komentarz. Z przyjemnością zgłosimy się wcześniej, żeby też uzyskać opinie i ekspertyzy. Bo to są bardzo cenne uwagi. Mamy prawników w Akademii Leona Koźmińskiego zajmujących Artificial Intelligence Act, ale też zapraszamy do współpracy. Nadrzędnym celem jest zbadanie, co Polacy myślą – bo to też nam wtedy zdefiniuje, jak będą się czuli bezpiecznie przy korzystaniu z tych aplikacji, mając na uwadze, że ktoś, kto ma nie tylko zaplecze w postaci instytucji rządowych, ale również za tym stojące odpowiednie kwalifikacje. W związku z tym bardzo dziękuję za tę uwagę. Przyjrzymy się temu bacznie w naszych badaniach.</u>
</div>
<div xml:id="div-22">
<u xml:id="u-22.0" who="#PrzewodniczacyposelGrzegorzNapieralski">Dziękuję bardzo. Patrzę na panie – czy możemy jako podkomisja lub czy ja mogę jako przewodniczący podkomisji objąć patronatem takie badania? Tylko Komisja. Dobrze. Pani profesor, mamy teraz trochę zwołanych posiedzeń Komisji. Możemy dorzucić punkt dodatkowy punkt i poprosić o taki patronat nad badaniami – na przykład na jutrzejszym posiedzeniu? Jest taka możliwość, gdybym to zaproponował? Tak? To jeszcze lepiej. W takim razie będzie jeszcze większa ranga. Dziękuję bardzo, pani Wioletto.</u>
<u xml:id="u-22.1" who="#PrzewodniczacyposelGrzegorzNapieralski">Dobrze. W tym momencie proponuję zamknąć dyskusję. Poprosiłbym panią profesor o taki wniosek jak najszybciej na maila, żebym mógł to zgłosić na posiedzeniu Komisji Cyfryzacji, Innowacyjności i Nowoczesnych Technologii. I wtedy, jeżeli oczywiście Komisja by wyraziła na to zgodę, objęlibyśmy patronat nad takimi pracami. Wtedy z tymi badaniami już jako podkomisja wrócilibyśmy i musielibyśmy to przedłożyć na Komisji, jak rozumiem – jeżeli ona obejmuje to patronatem. Myślę, że byłoby to fair wobec koleżanek i kolegów posłów z Komisji.</u>
<u xml:id="u-22.2" who="#PrzewodniczacyposelGrzegorzNapieralski">Na dziś bardzo serdecznie dziękuję, szczególnie pani profesor i całemu zespołowi za to zaangażowanie.</u>
</div>
<div xml:id="div-23">
<u xml:id="u-23.0" who="#KatarzynaKolasa">Bardzo dziękuję.</u>
</div>
<div xml:id="div-24">
<u xml:id="u-24.0" who="#PrzewodniczacyposelGrzegorzNapieralski">To naprawdę duża sprawa. Dziękujemy za tę współpracę pro bono z naszą podkomisją i z parlamentem. Bardzo za to dziękuję. Oczywiście pani profesor i pani Joannie też dziękuję. Pani Joanna jest na naszych posiedzeniach stałym bywalcem i dobrym doradcą w niektórych sprawach. W niektórych czasem nawet się z nami kłóci.</u>
<u xml:id="u-24.1" who="#PrzewodniczacyposelGrzegorzNapieralski">Bardzo dziękuję. Wszystkiego dobrego życzę. Zamykam posiedzenie podkomisji.</u>
</div>
</body>
</text>
</TEI>
</teiCorpus>