text_structure.xml 77.3 KB

Edit Raw Blame History Permalink

<?xml version='1.0' encoding='utf-8'?>
<teiCorpus xmlns="http://www.tei-c.org/ns/1.0" xmlns:xi="http://www.w3.org/2001/XInclude">
  <xi:include href="PPC_header.xml" />
  <TEI>
    <xi:include href="header.xml" />
    <text>
      <body>
        <div xml:id="div-1">
          <u xml:id="u-1.0" who="#GrzegorzBernardNapieralski">Otwieram posiedzenie podkomisji stałej do spraw sztucznej inteligencji i przejrzystości algorytmów.</u>
          <u xml:id="u-1.1" who="#GrzegorzBernardNapieralski">Stwierdzam kworum.</u>
          <u xml:id="u-1.2" who="#GrzegorzBernardNapieralski">Serdecznie witam posłów, członków podkomisji. Witam serdecznie pana Radosława Nielka, dyrektora NASK. Witam serdecznie przedstawicieli Ministerstwa Zdrowia, resortu cyfryzacji, Urzędu Ochrony Konkurencji i Konsumentów, Urzędu Ochrony Danych Osobowych oraz Urzędu Komunikacji Elektronicznej. Witam również bardzo serdecznie przedstawicieli organizacji branżowych, zawodowych i społecznych: Polskiego Towarzystwa Informatycznego, Polskiej Izby Komunikacji Elektronicznej,  Polskiej Izby Radiodyfuzji Cyfrowej, Federacji Przedsiębiorców Polskich, Izby Gospodarczej  „Farmacja Polska”, Biura Pracodawców Medycyny Prywatnej, Polskiego Związku  Pracodawców Przemysłu Farmaceutycznego – Krajowych Producentów Leków,  Fundacji Telemedyczna Grupa Robocza, Ogólnopolskiej Izby Gospodarczej Wyrobów Medycznych Polmed, Konsorcjum Badawczo-Rozwojowego „Fotonica”, Koalicji AI  w Zdrowiu, a także Forum Związków Zawodowych BCC, thinktank oraz Stowarzyszenia @ELKApw. Są z nami także przedstawiciele środowisk naukowych zajmujących się problematyką wykorzystania sztucznej inteligencji w ochronie zdrowia. Witam  w szczególności panią prof. Katarzynę Kolasę. Bardzo dziękuję, pani profesor, że jest pani dzisiaj z nami. Witam kierownika Zakładu Ekonomiki Zdrowia i Zarządzania Opieką Zdrowotną w Akademii Leona Koźmińskiego oraz członków centrów cyfryzacji zdrowia oraz innowacji zdrowia działających na tej uczelni. Witam bardzo serdecznie wszystkich państwa.</u>
          <u xml:id="u-1.3" who="#GrzegorzBernardNapieralski">Porządek dzisiejszego posiedzenia przewiduje dyskusję na temat systemu refundacji stosowania nielekowych technologii cyfrowych, które wykorzystują sztuczną inteligencję, jako metody na poprawę organizacji systemu zdrowia i opieki zdrowotnej społeczeństwa. Czy są uwagi do porządku obrad? Nie widzę.</u>
          <u xml:id="u-1.4" who="#GrzegorzBernardNapieralski">Przystępujemy do realizacji. Proszę panią prof. Katarzynę Kolasę o przedstawienie badań i analiz, które będą wprowadzeniem do naszej dyskusji.</u>
          <u xml:id="u-1.5" who="#KatarzynaKolasa">Dzisiaj chciałam państwu przedstawić wyniki naszych badań. Badań preferencji  Polaków, preferencji personelu medycznego, ale też także doświadczenia z krajów zagranicznych, które postępują na tej ścieżce znacznie intensywniej, jeśli chodzi o uzyskanie dostępu do rozwiązań opartych na sztucznej inteligencji dla pacjentów. Wydaje mi się, że jesteśmy w dobrym momencie z uwagi na te doświadczenia, które pozwalają nam nie tylko nauczyć się na pomysłach, które są już implementowane przez kraje rozwinięte, ale również mamy dostęp do rozwiązań opartych na sztucznej inteligencji w Polsce. Dodatkowo obserwujemy niebagatelne zainteresowanie ze strony pacjentów. Właśnie  o tym chciałam dzisiaj państwu powiedzieć.</u>
          <u xml:id="u-1.6" who="#KatarzynaKolasa">Zajmuję się ochroną zdrowia ponad dwadzieścia lat. Pracowałam w firmach farmaceutycznych, w firmach zajmującymi się wyrobami medycznymi. Od 2018 r. intensywnie zajmuję się cyfryzacją w ochronie zdrowia. W ramach międzynarodowego stowarzyszenia ekonomistów ds. zdrowia prowadzę grupę roboczą poświęconą digital health oraz prowadzę szkolenia w tym zakresie.</u>
          <u xml:id="u-1.7" who="#KatarzynaKolasa">Myślę, że najważniejsze jest, żebyśmy wszyscy zrozumieli, co leży u podstaw naszej dzisiejszej dyskusji. Czyli sztuczna inteligencja w ochronie zdrowia, która odnosi się głównie do algorytmów i oprogramowania. Dzięki analityce danych pozwalają one na wsparcie procesów decyzyjnych albo samodzielne ich prowadzenie. Zatem to jest wszystko to, na co pozwala nam sztuczna inteligencja, aby poprawić służbę zdrowia; dzisiaj to głównie opiera się na analityce danych. Myślę, że przez ten pryzmat warto myśleć o rozwiązaniach i technologiach nielekowych, w jakim stopniu one analizują dane w zakresie zarówno poznawczym, jak i w zakresie również aktywności, czyli prognozowania pewnych działań.</u>
          <u xml:id="u-1.8" who="#KatarzynaKolasa">Czy sztuczna inteligencja w ogóle powinna być brana pod uwagę w poszukiwaniu innowacji w ochronie zdrowia? Myślę, że tak. Każdy z nas nieraz, domyślam się, korzystał z przelotu samolotem. Chciałam zwrócić państwa uwagę, że według wszelkich danych 90% czasu lotu jest zdominowana przez autopilota, a nie przez pilota, który siedzi za sterami samolotu – tylko dlatego, że ten samolot jest dobrze skategoryzowany, jeśli chodzi o kierunek lotu, ale również dobrze zanalizowany dzięki sensorom, które  w tym samolocie pozwalają na ciągłe gromadzenie danych. To właśnie ten system sztucznej inteligencji, który powinniśmy badać. Powinniśmy mieć na uwadze to, jak sztuczna inteligencja pozwala nam na poprawienie analityki danych w ochronie zdrowia.</u>
          <u xml:id="u-1.9" who="#KatarzynaKolasa">Takie systemy, rozwiązania, które są najbardziej rozwinięte, na które warto zwrócić uwagę, są stosowane na przykład w szpitalu Johns Hopkins w Baltimore, gdzie centrum sterowania NASA nie tylko decyduje o tym, jak wygląda ścieżka opieki nad pacjentem, ale determinuje również potencjalne zagrożenia dla pacjenta, który się pojawia w szpitalu. Dzięki tej analityce danych jest w stanie skrócić czas dostępu do właściwej opieki zdrowotnej, skrócić czas na diagnozę i przede wszystkim zniwelować konsekwencje nieprawidłowego postępowania i nieprawidłowych zabiegów chirurgicznych etc.  W związku z tym wydaje się, że jest to przykład, który pokazuje nam, jak analityka danych  i sztuczna inteligencja pozwala zmienić funkcjonowanie systemu ochrony zdrowia. Takich centrów jak Johns Hopkins w Baltimore jest już ponad 200 na świecie. To rozwiązania, które pokazują nam, gdzie powinniśmy zmierzać. Jednak sztuczna inteligencja i analityka danych to oczywiście mnóstwo software’ów i oprogramowań, które są dostępne dziś  w Polsce. Najbardziej spektakularnym było to, które dotyczyło leczenia dermatologicznego, czyli diagnostyki raka skóry, które nie tylko pozwalało nam wesprzeć pracę dermatologów, ale wyprzedzić ich diagnostykę w sposób statystycznie istotny.</u>
          <u xml:id="u-1.10" who="#KatarzynaKolasa">Czy jesteśmy już gotowi jako pacjenci na to, że to sztuczna inteligencja, algorytm podejmie za lekarza decyzję o naszym stanie zdrowia? Wydaje mi się, że jeszcze nie,  ale musimy się przygotować na to, że pacjenci, jak i lekarze będą postawieni przed takimi dylematami natury etycznej. Dlatego musimy myśleć o tym, jak wprowadzić systemy dostępu, czyli refundacji, do rozwiązań opartych na sztucznej inteligencji. Przykładem, który mamy na dziś, jest ten chyba najciekawszy – pierwszy algorytm, który uzyskał finansowanie publiczne w Stanach Zjednoczonych, to ten, który przyczynił się do skrócenia czasu diagnostyki pacjentów z udarem. Skrócenie czasu w przypadku właśnie nagłego zdarzenia zdrowotnego jest najważniejsze, ponieważ tutaj mamy to okienko czasowe czterech, pięciu godzin, kiedy musimy rozpocząć leczenie. Jeżeli zaprzepaścimy tę szansę, to są niebagatelne koszty zdrowotne dla pacjenta, ale przede wszystkim koszty finansowe dla systemu. W związku z tym takie rozwiązanie, które nie gwarantuje nam żadnej efektywności klinicznej, ale gwarantuje skrócenie czasu opieki nad pacjentem, przyczynia się do zainteresowania płatników w Stanach Zjednoczonych. Ponadto producent tej technologii dostaje ponad 1 tys. dolarów dofinansowania za każdego pacjenta, czyli nic. Tylko jest to prosty software, który przekłada się na konkretne oszczędności dla systemu. To, jak to jest finansowane na dziś w Stanach Zjednoczonych, to jest taka osobna, jednorodna grupa pacjentów, jeżeli chcielibyśmy przełożyć to na polską nomenklaturę. W poszukiwaniu oceny i uzyskaniu odpowiedniego finansowania dla takiego rozwiązania bierze się pod uwagę trzy proste parametry, nie tylko tej innowacyjności, ale też w jakim stopniu jest w stanie to rozwiązanie poprawić jakość i efektywność leczenia pacjenta. To brzmi może banalnie, ale nie jest takie oczywiste, ponieważ, jak wiele badań wskazuje, to nie jest tylko kwestia innowacji, nie polega to tylko na wdrożeniu danej technologii do praktyki klinicznej, ale niestety wymaga to zmiany systemu. Dlatego dzisiaj się spotykamy i o tym rozmawiamy.</u>
          <u xml:id="u-1.11" who="#KatarzynaKolasa">Jeżeli spojrzymy na badania nawet Apple Watch, Fitbit, czy Huawei, które wszystkie mierzą skłonność do problemów kardiowaskularnych, czyli migotania przedsionków, większość tych badań było bardzo dobrze przygotowanych, natomiast niestety nie uzyskały punktu końcowego tylko dlatego, że pacjenci byli nieprzygotowani do tego, żeby potwierdzić swoją diagnozę poprzez odbycie dodatkowej wizyty u lekarza. W związku z tym choć mamy rozwiązania cyfrowe, to musimy jeszcze przygotować nas samych na to, żeby z nich korzystać, a co najważniejsze – przeszkolić kadrę medyczną do tego, żeby umieli korzystać z tych nowych danych i zmienili swój sposób postępowania z pacjentem. Inaczej te wszystkie rozwiązania niestety nie będą dla nas korzystne, tylko zwiększą nasze obciążenia dla systemu.</u>
          <u xml:id="u-1.12" who="#KatarzynaKolasa">Jak to robić? Wydaje mi się, że dobrym przykładem jest Mayo Clinic. Przepraszam  za przykłady amerykańskie, ale tam chyba ten czas postępuje znacznie szybciej,  w związku z tym są one najciekawsze i pokazują, jak skwantyfikować ten sukces.  Właśnie Mayo Clinic pokazuje, że aby to wdrożenie miało sens, to nie jest to tylko kwestia innowacji, przygotowania algorytmu, ale pilotażu. Ten pilotaż trwał aż sześć miesięcy. Mówimy tutaj o algorytmie, który definiuje, jak postępować z pacjentem, który jest przyjmowany do szpitala, żeby zmniejszyć ryzyko rehospitalizacji. Algorytm daje 26 różnych rekomendacji dla personelu medycznego. Jednak zanim został wdrożony,  to został poddany pilotażowi w klinice przez sześć miesięcy. Najpierw testowano go, przygotowano personel medyczny, a następnie wprowadzono na stałe, zmniejszając ryzyko rehospitalizacji średnio o 25%. Zatem możemy korzystać z tych rozwiązań, ale niezależnie od tego, jak stworzymy nasze kryteria oceny, jak zdefiniujemy tę sztuczną inteligencję, co mówiłam na początku, dalej stajemy przed dylematem, jak zapewnić efektywne, optymalne wdrożenie.</u>
          <u xml:id="u-1.13" who="#KatarzynaKolasa">W związku z tym ta legislacja nie powinna dotyczyć w moim przekonaniu tylko kryteriów oceny, ale czegoś szerszego – żeby zapewnić etap wdrożenia, czyli jak powiedziałam na tym jednym z przykładów pilotażu. Jest to kluczowe, ponieważ nie jesteśmy w stanie powiedzieć dobrze, czy mamy ustawę o refundacji, czy o koszyku świadczeń – i skopiować te same rozwiązania, te same kryteria oceny. Myślę, że będzie to największy błąd, jaki moglibyśmy popełnić i przyczynić się do większych strat niż korzyści. Dlaczego? Dlatego że te software’y, czas innowacji, cykl innowacji w przypadku algorytmów to jest parę miesięcy, gdzie w przypadku leków, jak wiemy, jest to nawet do piętnaście lat. Koszty stałe są zupełnie inne, a koszty korzystania są również różne, czasami nawet zerowe.  W związku z tym jak opłacić korzystanie z danego programowania, jeżeli w zasadzie ono nic nie kosztuje, dopóki nie musimy zrobić jego nowelizacji? Czy wtedy staje się ono nowym oprogramowaniem, czy dalej jest tym samym? Czy ta innowacja się zmienia, czy zostaje dalej na tym samym poziomie? W związku z tym to jest ciągłe korzystanie z danych, nie tylko to, co zmieniamy w systemie, ale również jak to urządzenie działa. Pomijam tu kwestię bezpieczeństwa danych, bo to jest temat, myślę, że oczywisty i może nie na dzisiejsze spotkanie, ale warto zastanowić się nad tym, czy jesteśmy na to gotowi.</u>
          <u xml:id="u-1.14" who="#KatarzynaKolasa">Dlatego cały zeszły rok, dzięki naszej opiece ze strony pana posła Napieralskiego nad naszymi badaniami i uzyskaniu patronatu Komisji w poprzedniej kadencji, zrobiliśmy dwa spotkania z ekspertami, ale również z organizacjami, które zrzeszają deweloperów, oraz tymi, które zajmują się rozwiązaniami cyfrowymi, czyli start-upami. Na tych spotkaniach nie tylko pozwoliliśmy sobie na wygenerowanie rekomendacji, co zrobić, żeby właściwie oceniać rozwiązania cyfrowe. Nie będę tutaj wchodziła w szczegóły, mam nadzieję, że ta prezentacja będzie dla państwa dostępna. Mam tutaj zespół, który wraz ze mną prowadził ten cały zeszły rok wolontaryjnie ten cykl badań i szukał tych rozwiązań w trakcie tych dyskusji, jak i również w trakcie przeglądów literatury. Zrobiliśmy dwa ogromne przeglądy literatury rozwiązań dotyczących oceny technologii cyfrowych, ale również rozwiązań, jak one są walidowane na świecie. To rzeczywiście też są ciekawe wnioski, o których powiem za chwilę.</u>
          <u xml:id="u-1.15" who="#KatarzynaKolasa">Myślę, że najważniejszym wnioskiem z zeszłorocznych badań jest fakt, że polskie społeczeństwo jest otwarte na sztuczną inteligencję. Mówię „otwarte”, mając na względzie, że te 45–55% osób w tym istotnym przykładzie, czy jesteśmy gotowi na to, żeby nie korzystać z lekarza rodzinnego, ale korzystać z wirtualnego asystenta. Nawet średnio 55% Polaków uznało, że są gotowi na skorzystanie z tego wariantu wirtualnego. To są badania na reprezentatywnej grupie Polaków i przygotowane były w ramach hipotetycznych eksperymentów, żeby uwiarygodnić naszą metodologię badawczą.</u>
          <u xml:id="u-1.16" who="#KatarzynaKolasa">Jeśli chodzi o korzystanie z rozwiązań cyfrowych, takich jak te, które generują większą świadomość zdrowotną, mniejsze ryzyko zachorowań, to aż 90% społeczeństwa jest na tak. Myślę, że możemy z pełnym przekonaniem powiedzieć, że jest szansa na to, żeby wprowadzić cyfryzację w ochronie zdrowia pod warunkiem, że zrobimy to, niwelując możliwe ryzyka, a koncentrując się na zapewnieniu korzyści. Wciąż myśląc o tych korzyściach, musimy pamiętać, że społeczeństwo jest też świadome zagrożeń i oczekuje od nas, decydentów i ekspertów, aby technologie oparte na sztucznej inteligencji były przebadane, zwalidowane i miały gwarancję, certyfikację bezpieczeństwa i skuteczności. Jest też duże zainteresowanie prowadzeniem badań klinicznych, czy one są uwiarygodnione pod względem ich efektywności klinicznej. Również jest zainteresowanie tym, aby testować te rozwiązania w praktyce klinicznej.</u>
          <u xml:id="u-1.17" who="#KatarzynaKolasa">Ze strony personelu medycznego również mamy przekonania – ponieważ mam tutaj doktorantkę, która prowadzi badania wśród personelu medycznego, Ewelinę  Kowalewską. Bardzo miło, że jest z nami, więc może później opowie trochę więcej. Natomiast rzeczywiście ze strony personelu medycznego mamy inną narrację, problemy innej natury, ponieważ według tych badań, nawet wśród preferencji Polaków, jasno pokazujemy, że to lekarz będzie tym naszym gatekeeperem, czyli tym naszym łącznikiem  z pacjentem. Musimy zapewnić, że lekarz będzie chciał, aby dane rozwiązanie cyfrowe zostało wdrożone na rzecz poprawy zdrowia pacjenta. W moim osobistym przekonaniu bez współpracy z lekarzem, bez współpracy ze środowiskiem lekarskim nie zapewnimy sukcesu cyfryzacji w ochronie zdrowia. Pokazuje to przykład z Niemiec, gdzie system refundacji już istnieje i tych refundowanych rozwiązań na dziś jest ponad 60, ale wciąż jest ich niewiele wdrożonych, dlatego że lekarze nie przepisują na receptę aplikacji na telefon albo po prostu nie są zainteresowani. Oni nie widzą w tym swoich własnych korzyści dla siebie, dla swojego procesu opieki nad pacjentem. W związku z tym bardzo ważna jest rola lekarza.</u>
          <u xml:id="u-1.18" who="#KatarzynaKolasa">Kryteria, którymi powinniśmy się kierować przy budowaniu systemu oceny. Na pewno poza standardowymi kryteriami dotyczącymi oceny technologii również lekowych jest kwestia użyteczności dla pacjenta i tych względów etycznych. Czyli żebyśmy po prostu mieli taką możliwość włączenia i wyłączenia autopilota z samolotu, o którym mówiłam wcześniej, że jednak ta kontrola kapitana powinna być nad pojazdem. Pomimo że jestem entuzjastką rozwiązań cyfrowych, nie życzyłabym sobie, aby sztuczna inteligencja przejęła całkowicie kontrolę i postawiła ostateczną diagnozę dotyczącą mojego zdrowia.  Mi się wydaje, że są momenty, kiedy powinniśmy wykluczyć świadomie sztuczną inteligencję. To jest ważne, żebyśmy mieli ochronę nad dobrem pacjenta nie tylko w kontekście jego leczenia, ale w końcu ze względów etycznych i godności jednostki.</u>
          <u xml:id="u-1.19" who="#KatarzynaKolasa">Przegląd tematyczny, który zrobiłam z grupą ekspertów spoza Polski, pokazał dosyć dobitnie, że jesteśmy jeszcze na początku tej ścieżki. Systemy ochrony zdrowia na świecie nie są przygotowane na sztuczną inteligencję, bo nie ma systemów walidacji tych rozwiązań, nie ma badań klinicznych z ponad 10 tys. tych algorytmów, które już są dostępne na dziś. Ponad 10 tys. algorytmów opartych na sztucznej inteligencji jest dostępnych do leczenia na świecie, raptem 100 zostało przebadanych w badaniach klinicznych.  Za parę dni w Stanach Zjednoczonych będzie przygotowany draft legislacji w tym zakresie. Mamy również inne kraje, które podążają tą ścieżką rozwoju legislacyjnego.  W związku z tym jesteśmy też na początku tej drogi, ale z kolei nie ma tych wymogów na całym świecie, w związku z tym to też jest problem, żebyśmy robili to sami. Uważam, że rozwiązania legislacyjne powinny być robione w duchu międzynarodowej współpracy, żeby zrozumieć, że te badania kliniczne, które będą generowane na rzecz rozwiązań opartych o sztuczną inteligencję, będą miały wymiar wielokulturowy, ale też by były dostępne nie tylko dla polskich, ale dla innych pacjentów.</u>
          <u xml:id="u-1.20" who="#KatarzynaKolasa">Przykłady z kolei właśnie pokazują, jak te dane należy certyfikować. Dlaczego o tym tutaj mówię? To może jeden z ostatnich moich wniosków tej analizy, który pokazuje,  że niezależnie od tego, jak stworzymy legislację, to musimy udostępnić nasze dane  polskich pacjentów do przetestowania tych rozwiązań. Nawet jeżeli uzyskamy dostęp  do algorytmów, które funkcjonują i mają spektakularne efekty za granicą, to niekoniecznie te spektakularne efekty muszą być oczekiwane w Polsce, ponieważ mamy nie tylko inną heterogeniczność naszej populacji względem innych krajów, ale przede wszystkim mamy inny system ochrony zdrowia. W związku z tym musimy mieć pewność, że udostępniamy dane, żeby te rozwiązania przetestować i zwalidować tutaj, w Polsce.</u>
          <u xml:id="u-1.21" who="#KatarzynaKolasa">Koreańska agencja danych, czyli rządowa instytucja, która certyfikuje, które szpitale mogą udostępniać dane dla deweloperów, żeby to były te dane, które mają odpowiedni certyfikat jakości. Dzięki temu uczymy się algorytmów na danych, które uznajemy  za odpowiednie i wysokiej jakości.</u>
          <u xml:id="u-1.22" who="#KatarzynaKolasa">Jak może wyglądać przyszłość? Chciałabym na pewno mieszkać w jakimś stopniu  w Singapurze – z tego powodu, że tam, jak korzystam z basenu czy rano ćwiczę, a robię to codziennie rano, to tam dostaję bonus do supermarketu i robię tanie zakupy. Tak bym chciała. Wiem, że może to niekoniecznie jest dla wszystkich etyczne, ale niestety wsparcie społeczeństwa, żeby stosować profilaktykę na rzecz dobrego samopoczucia  i dobrego zdrowia, przekłada się na akcenty finansowe. Stoi za tym teoria Nasha, która dostała notabene parę lat temu Nagrodę Nobla. W związku z tym szukamy tych takich bodźców dla społeczeństwa, żeby zmienić nasze zachowanie. Gdy mówimy o cyfryzacji,  to mówimy o systemie ochrony zdrowia, który nie jest w szpitalu, nie jest w gabinecie lekarskim, tylko jest wokół nas. Stajemy się sami decydentami odnośnie do tego, jak powinno wyglądać nasze zdrowie. Myślę, że musimy także uświadomić społeczeństwo, że to my jesteśmy odpowiedzialni. Lekarz nie jest jedynym odpowiedzialnym za nasze zdrowie, a uzyskanie nowego, nowoczesnego leku nie przyczyni się do poprawy zdrowia, dopóki nie zmienimy swoich zachowań. W przypadku wielu chorób przewlekłych musimy nauczyć się korzystać z rozwiązań cyfrowych i być bardziej świadomi. Mówię „my” jako pacjenci, którzy mogą korzystać z takowych rozwiązań. Możemy też zostawić to firmom farmaceutycznym, jak to się dzieje w Stanach Zjednoczonych. Jedna  z firm farmaceutycznych oferująca produkt na leczenie astmy płaci pacjentom, którzy korzystają z tego leczenia w sposób konsekwentny, ponieważ widzi w tym korzyść nie tylko dla siebie, ale również dla systemu, czyli oszczędność na powikłaniach źle leczonej astmy. Znowu myślę, że to jest kwestia debaty, na ile takie rozwiązania mają charakter etyczny, ale naprawdę przekładają się na korzyści finansowe i też budują świadomość ze strony pacjenta.</u>
          <u xml:id="u-1.23" who="#KatarzynaKolasa">Ważnym elementem potencjalnej legislacji powinno być szukanie rozwiązań na rzecz poprawy dostępu do danych. W zasadzie nie znam kraju w Europie Zachodniej ani na przykład Stanów Zjednoczonych, gdzie polityka zbierania danych nie ma jakiejś formy projektów legislacyjnych. To jest właśnie przykład ze Stanów Zjednoczonych, gdzie zostało również pokazane, że my jako pacjenci, uczestnicy systemu mamy też swoją pewną powinność. Ta powinność polega na tym, żeby udostępniać dane na temat swojego stanu zdrowia i pozwolić firmom farmaceutycznym, które zajmują się generowaniem nowoczesnych technologii, ale również deweloperom na korzystanie z tego dobrodziejstwa danych i szukanie tych optymalnych rozwiązań na poprawę zdrowia.</u>
          <u xml:id="u-1.24" who="#KatarzynaKolasa">Gdzie możemy znaleźć wzory postępowania dotyczące przyszłej legislacji? Na pewno w Niemczech, Francja już wprowadziła pewne legislacje, jeśli chodzi o dostęp do rozwiązań cyfrowych. Jak wspomniałam, ostatnio, przed dwoma dniami, pojawiła się wiadomość ze Stanów Zjednoczonych, gdzie takowa refundacja digital therapeutics, czyli diagnostyki opartej nie tylko na cyfryzacji, będzie przedmiotem debaty.</u>
          <u xml:id="u-1.25" who="#KatarzynaKolasa">Wydaje mi się, że szukanie tych rozwiązań legislacyjnych możemy znaleźć tutaj,  w tym gronie ekspertów, ale również warto korzystać z dobrodziejstwa dorobku tej debaty i dialogów z krajów rozwiniętych. Ja tutaj reprezentuję również Naczelną Izbę  Lekarską – grupę innowatorów. Mamy tutaj, na Sali, reprezentantów naszej rady i jesteśmy gotowi do współpracy i szukania wspólnych rozwiązań. Tak że bardzo dziękuję za przybycie. Wraz ze swoim zespołem chciałam jeszcze raz podziękować za możliwość udziału w dzisiejszym spotkaniu i chciałam podziękować bardzo mojemu zespołowi, który nie tylko wolontaryjnie, ale bardzo efektywnie i z dużym sukcesem jak do tej pory postępuje na tej drodze szukania rozwiązań cyfrowych. Mamy dwie publikacje w przygotowaniu, doktoraty i prace magisterskie, więc mam nadzieję, że ten dorobek również może być wykorzystany w przyszłości. Współpracujemy z ekspertami zza granicy – wspierają nas  w naszych badaniach naukowych, ale też pokazują nam, jak postępuje ten proces legislacji, jeśli chodzi o cyfryzację ochrony zdrowia. Bardzo ciekawy przykład jest  z Katalonii, gdzie lekarze mają specjalny program studiów magisterskich à propos sztucznej inteligencji. W Stanach Zjednoczonych – właśnie mówiłam o tych rozwiązaniach legislacyjnych. Izrael ma w każdym szpitalu centrum innowacji, a w Niemczech buduje się właśnie system refundacji rozwiązań cyfrowych, gdzie Axel Mühlbacher jest jednym z ekspertów. W związku z tym zapraszamy do współpracy i czekam na pytania, ewentualne komentarze. Dziękuję bardzo za uwagę.</u>
          <u xml:id="u-1.26" who="#GrzegorzBernardNapieralski">Od samego początku tej kadencji, razem z panem Pejo, przewodniczącym Komisji Cyfryzacji, Innowacyjności i Nowoczesnych Technologii, jesteśmy świadomi, że ta kadencja to będzie praca nad konkretnymi prawnymi rozwiązaniami. Bez udziału osób, które są na co dzień zagłębiane w tą tematykę, szczególnie ze środowiska naukowego czy też gospodarczego, ciężko będzie nam przygotować dobre rozwiązania. Dlatego tym bardziej serdecznie dziękuje pani profesor i współpracownikom za tę prezentację, za zaangażowanie i za to, że możemy współpracować na co dzień. Dziękuję za prezentację.</u>
          <u xml:id="u-1.27" who="#GrzegorzBernardNapieralski">Otwieram dyskusję. Bardzo proszę, czy ktoś z państwa chciałby zabrać głos? Jeżeli nie zabierają głosu parlamentarzyści, to bardzo proszę, każdy z państwa, kto będzie chciał zabrać głos, aby się na początku przedstawił – jest to nam potrzebne do późniejszego budowania stenogramu.</u>
          <u xml:id="u-1.28" who="#GrzegorzBernardNapieralski">Bardzo proszę, oddaję panu głos.</u>
          <u xml:id="u-1.29" who="#JacekStępień">Otóż nie obawiałbym się, jeśli chodzi o kwestie danych pozyskiwanych z ustrukturalizowanych badań klinicznych, które wymagają zgody komisji bioetycznej. Te badania należałoby wspierać, ponieważ stanowią bazę pokarmową dla prawidłowego uczenia  i dopracowywania systemów sztucznej inteligencji. Tutaj oparłbym się na tym, co mamy do dyspozycji, jeśli chodzi o rozporządzenia europejskie bezpośrednio w odniesieniu do wyrobów medycznych, które nie wymieniają nawet sztucznej inteligencji. Faktycznie ona działa. Jeśli chodzi z kolei o drugi poziom certyfikacji, czyli jednostki notyfikowane i normy, które odnoszą się specyficznie do oprogramowania – także tutaj bym się tego nie bał.</u>
          <u xml:id="u-1.30" who="#JacekStępień">Zalecałbym skupienie się nad tym, żeby dane medyczne, jeżeli zostały zadeklarowane, że będą pobierane jako dane do wytworzenia i uczenia systemów medycznych, nie stały się później pożywką dla tworzenia systemów innych niż medyczne. Jest taki przykład firmy Cogito amerykańskiej, która zbierała w internecie dane od osób, które udzielały próbek głosu w celu rzekomo stworzenia oprogramowania do wczesnego wykrywania symptomów choroby Parkinsona. Potem okazało się, że gdy zebrano odpowiednio dużą bazę, to zaczęły się również uzupełnienia tej bazy o różne inne przypadki –  i wtedy okazało się, że wcale nikt nie chce tworzyć aplikacji medycznej dla osób chorych  na Parkinsona, tylko stworzono z tego jakąś aplikację wspomagającą rozpoznawanie pewnych niuansów psychologicznych, które zawarte są w nieustrukturalizowanych komponentach mowy. Można na przykład wykrywać emocje, można wykrywać nawet to, czy kobieta jest w ciąży, bo zmienia się troszeczkę tembr głosu, zanim pokaże nam to test paskowy. To jest takie ryzyko, że jeżeli firma przychodzi i mówi: proszę bardzo, ja chcę zbierać dane medyczne do karmienia systemu sztucznej inteligencji, to musi się zadeklarować, że rzeczywiście te badania będą zogniskowane na rozwiązaniach.</u>
          <u xml:id="u-1.31" who="#JacekStępień">Jest jeszcze drugi obszar i tutaj jest ogromne pole do popisu dla państwa jako legislatorów. To jest obszar, który dotyczy danych profilowych. W ramach tych danych  profilowych… Zresztą tu by trzeba było sięgnąć później, to, co pani profesor też zaznaczyła, jeśli chodzi o dane osobowe, kategoryzacje tych danych osobowych z perspektywy europejskiej, ich definiowanie jako dane medyczne itd. Nie mówmy już o tym, ale to są dane, które zawierają na przykład profile genetyczne. Już nie idźmy dalej, zostańmy przy tych profilach genetycznych. Profil genetyczny też jest potrzebny m.in. do tworzenia testów genetycznych pod kątem stosowania pewnych specyficznych terapii biologicznych. Jednak istnieje pewne ryzyko, dlatego że te dane mogą zostać wykorzystane  w sposób… O ile tamte dane w zasadzie nadają się tylko do jednego celu, chyba  że ktoś odkryje, że przy okazji można wykrywać jeszcze jakiś stan emocjonalny.  Ale  w odniesieniu do danych genetycznych to ryzyko jest wpisane z zasady. Jeżeli pozyskujemy takie dane i później zestawiamy je, to nie ma żadnego problemu zestawić je  z danymi o mutacjach genetycznych, o zagrożeniach chorobami genetycznymi, które są ważone prawdopodobieństwem. Nie jest tak, że ktoś, kto jest obarczony mutacją, od razu zachoruje. W wielu przypadkach jest to pewne prawdopodobieństwo. Co się dzieje wtedy  z tymi danymi? Jeżeli te dane gdzieś zaczną wędrować poza systemem medycznym, poza przewidzianym zastosowaniem, w wyrobach medycznych mówimy o tym „intended use”. To jest kluczowy fundament nowego systemu podejścia europejskiego do wyrobów medycznych, w tym do systemów sztucznej inteligencji, które są traktowane jako wyroby medyczne. Zobaczcie państwo, że bez odcisku legislatora w odniesieniu do tych danych profilowych dotyczących danych genetycznych, będziemy mieli ogromny problem w przyszłości, ponieważ te dane mogą być wykorzystywane w sposób absolutnie niemający nic wspólnego z dobrem pacjenta. To jest moja uwaga ad vocem pani profesor i tylko tyle. Dziękuję pięknie.</u>
          <u xml:id="u-1.32" who="#GrzegorzBernardNapieralski">Poproszę panią i później panią profesor, zbierzemy te głosy. Bardzo proszę.</u>
          <u xml:id="u-1.33" who="#LigiaKornowska">Szanowny panie pośle, szanowna pani profesor, szanowni państwo, bardzo dziękuję za ciekawą prezentację. Nazywam się Ligia Kornowska, jestem dyrektor zarządzającą Polskiej Federacji Szpitali. To jest największa organizacja szpitali w Polsce, ponad  550 podmiotów leczniczych. Jestem także liderką Koalicji AI w Zdrowiu, największej organizacji zrzeszającej różne organizacje, które działają na rzecz tworzenia i implementacji rozwiązań AI w ochronie zdrowia.</u>
          <u xml:id="u-1.34" who="#LigiaKornowska">Parę słów ode mnie. Jakiś czas temu we współpracy z KPRM i Ministerstwem Zdrowia stworzyliśmy tzw. białą księgę AI w praktyce klinicznej. Księga odpowiada na takie podstawowe pytania jak na przykład czy AI może samodiagnozować bez lekarza albo czy na przykład pacjent powinien wyrazić zgodę albo powinien wiedzieć o stosowaniu algorytmów sztucznej inteligencji. Warto wspomnieć, że jest to pierwszy taki dokument w tej części Europy. Też w formule anglojęzycznej wysłaliśmy go do Komisji Europejskiej i do krajów ościennych.</u>
          <u xml:id="u-1.35" who="#LigiaKornowska">Warto wspomnieć, że już teraz prawie 7% szpitali korzysta z rozwiązań opartych o sztuczną inteligencję, są to dane z raportu o stanie cyfryzacji polskich podmiotów leczniczych stworzonego przez Centrum e-Zdrowia. Toteż to nie jest science fiction,  to jest rzeczywistość, w której już dzisiaj jesteśmy. Warto wspomnieć, że również firmy teleradiologiczne wdrażają algorytmy AI w radiologii, więc faktycznie pacjent, który idzie nawet do szpitala powiatowego na SOR, może otrzymać wynik badania, który był wsparty sztuczną inteligencją już teraz w Polsce. Jest to oczywiście legalne. Mamy ogólne przepisy, które regulują wykorzystanie takich algorytmów. Oczywiście trzeba popracować nad doprecyzowaniem tych zapisów. Warto wspomnieć o tym, że każdy algorytm AI, który ma służyć diagnozie i leczeniu pacjenta, nawet jeśli tylko wspiera personel medyczny, a nie podejmuje decyzje, musi mieć oficjalną certyfikację CE jako wyrób medyczny lub w Stanach Zjednoczonych certyfikację FDA. Jeśli chodzi o takie certyfikowane wyroby medyczne, w Stanach Zjednoczonych jest ich 1,5 tys., w Europie spodziewamy się podobnej liczby, nie ma aktualnych danych. Zatem liczba takich algorytmów dostępnych na rynek europejski i amerykański wynosi trochę ponad 3 tys.</u>
          <u xml:id="u-1.36" who="#LigiaKornowska">Warto wspomnieć, że tylko takie algorytmy mogą być wykorzystywane w praktyce klinicznej, łącznie z tym, że algorytm oczywiście jest algorytmem sztucznej inteligencji, natomiast wersja, którą wykorzystujemy na co dzień w praktyce klinicznej, się nie zmienia, tzn. on się nie uczy w momencie jego stosowania. Oczywiście można go recertyfikować po przeszkoleniu. Natomiast nie ma sytuacji, że jego na przykład czułość i swoistość zmienia się wraz z użytkowaniem, bo certyfikowana jest jego jedna, określona wersja.</u>
          <u xml:id="u-1.37" who="#LigiaKornowska">Warto wspomnieć o tym, że w Polsce mamy dużo start-upów, które działają na rzecz sztucznej inteligencji w zdrowiu. Mamy taki coroczny raport „Top Disruptors  in Healthcare”. Z niego wynika, że ponad 60% start-upów ze stu kilkudziesięciu tworzy rozwiązania oparte o AI. Niektóre rozwiązania są nowe na skalę europejską lub światową. Natomiast w zasadzie i te start-upy, firmy technologiczne i w ogóle dostawcy algorytmów mają duże wyzwanie związane ze stabilnym finansowaniem udzielania świadczeń zdrowotnych przy wykorzystaniu algorytmów AI. To jest bardzo ważne, żeby ten problem jakoś rozwiązać, z tym wyzwaniem sobie poradzić, więc bardzo się cieszę, że możemy dziś o tym problemie dyskutować. Tworzone są różne pilotaże, w których finansuje się takie rozwiązania czasowo. Powstał portfel aplikacji zdrowotnej w MZ, natomiast on nie przewiduje finansowania takich rozwiązań. Tak przynajmniej wynika z mojej wiedzy. Faktycznie są ciekawe przykłady, z których moglibyśmy korzystać, tak jak pani profesor wspominała, na przykład DiGA w Niemczech, gdzie pacjent dostaje receptę na aplikację zdrowotną, a jej koszty są refinansowane ze środków publicznych.</u>
          <u xml:id="u-1.38" who="#LigiaKornowska">Można byłoby się także zastanowić, czy takie certyfikowane, bezpieczne i skuteczne algorytmy AI można by jakoś objąć w ramach koszyka świadczeń gwarantowanych. Natomiast do tego potrzebna jest dyskusja całego sektora, zarówno publicznego, jak  i prywatnego, bo jest to wyzwanie i trzeba to zrobić mądrze. Warto również się zastanowić nad tym, żeby twórcy oprogramowania AI wiedzieli, jak wygląda ścieżka oceny takiej technologii, czy w ogóle jest kosztoefektywna. Można by na przykład pomyśleć o współpracy z AOTMiT nad stworzeniem takich wytycznych, jak taki algorytm AI  w ogóle ma być oceniany. Bo w tej chwili z mojej wiedzy wynika, że takiego rozwiązania nie ma. Tak że jest kilka sposobów na odpowiedzenie sobie na to pierwsze, najważniejsze pytanie: jak stworzyć sposób refundacji takich algorytmów? Cieszę się, że rozpoczynamy dyskusję na ten temat.</u>
          <u xml:id="u-1.39" who="#LigiaKornowska">Oczywiście jeśli chodzi o dostęp do danych medycznych, bo są pewne przepisy prawne, które to regulują, łącznie z Data Governance Act, który wszedł w życie we wrześniu zeszłego roku, wiemy, że przetwarzać dane osobowe lub pseudonimizowane możemy na podstawie zgody pacjenta. Są pewne propozycje proponowane w projekcie EHDS, natomiast pewnie nie jest to temat dzisiejszego spotkania. Jednak warto również o tym pamiętać przy rozwiązywaniu tematu finansowania technologii nielekowych. Dziękuję.</u>
          <u xml:id="u-1.40" who="#GrzegorzBernardNapieralski">Tak na gorąco, jeżeli mogę się od razu odnieść po wystąpieniu pani profesor i teraz pani. Myślę, że kwestia dotycząca regulacji prawnych dotyczących sztucznej inteligencji czy algorytmów, szczególnie jeżeli chodzi o nasze zdrowie, to będzie taki najbardziej wrażliwy temat w tej debacie publicznej. Z oczywistych względów, dlatego że każdy  o zdrowie dba i o to zdrowie się boi. Taki nasz pomysł na gorąco – gdybyście państwo mieli różnego rodzaju rekomendacje, bo skoro współpracujecie z MZ, rozumiem, że jesteście, być może jeżeli byście byli gotowi, my porozmawiamy też z MZ, zrobić wspólne posiedzenie Komisji Zdrowia, naszej podkomisji, żeby o tym porozmawiać już bardziej tak precyzyjnie. Jesteśmy oczywiście podkomisją, natomiast to Komisja Zdrowia byłaby tym głównym takim miejscem takiej debaty, my moglibyśmy po prostu tylko wspierać –  i oczywiście jeżeli państwo wyrazilibyście taką zgodę.</u>
          <u xml:id="u-1.41" who="#GrzegorzBernardNapieralski">Dziękuję bardzo za to wystąpienie.</u>
          <u xml:id="u-1.42" who="#GrzegorzBernardNapieralski">Teraz po kolei. To najpierw pani i potem po kolei państwo. Dobrze? Bardzo dziękuję. Oddaję pani głos i bardzo proszę o przedstawienie się.</u>
          <u xml:id="u-1.43" who="#MałgorzataSochacka">Chciałabym również odnieść się do kilku punktów, które pojawiły się w trakcie naszej dyskusji. Przejdę przez nie po kolei, tak jak chronologicznie wychodziły, jak mam zapisane w notatkach. Pierwszy: cykl innowacyjny w informatyce wynosi zaledwie parę miesięcy – szczera prawda. To nie znaczy, że cykl innowacyjny w cyfrowym urządzeniu medycznym wynosi kilka miesięcy – on wynosi kilka lat. Niestety są to lata, w których nie tylko trzeba zapewnić pracę, ale i finanse. Niestety mówimy dużo o start-upach. Start-upy nie są w stanie tego zrobić, proszę państwa. System, który my zrobiliśmy, jak na razie według naszych wycen kosztował 10 mln zł, w tym były dwa finansowania europejskie. Niemniej jednak 30% do każdego finansowania, czyli 30% całości, trzeba było skądś wziąć. Mieliśmy szczęście, bo udało nam się przekonać dużą firmę informatyczną, która to zrobiła – bo tak.</u>
          <u xml:id="u-1.44" who="#MałgorzataSochacka">Natomiast w tej chwili stoimy w punkcie kolejnym, mianowicie certyfikacji, o której tutaj już było wspomniane. To kosztuje połowę tego, co już wydaliśmy, i trwa minimum półtora roku – i to jest bardzo optymistyczne założenie, w które nie wierzę. W związku z tym to też się dokłada do tego całego cyklu. Dlatego chciałam państwu zwrócić uwagę na to, że cykl życia i cena tego cyklu życia jest bardzo duża i że liczenie na start-upy,  a nawet liczenie na firmy technologiczne niespecjalnie się sprawdza. Firmy technologiczne – to nie jest ich core business, jak to się mówi, i do pewnego momentu nie są  w stanie, a później już nie mają możliwości.</u>
          <u xml:id="u-1.45" who="#MałgorzataSochacka">Również chciałam się odnieść do stwierdzenia, które padło później, że kiedy już wytrenujemy sztuczną inteligencję, to nie możemy już jej zmieniać. To jest bardzo duży błąd. Wiem, że to jest w przepisach MDR, ale to jest strzał w kolano. To jest strzał w kolano, który Europa sama sobie sprawiła, i o ile wiem, istnieją debaty na temat tego, żeby to zmienić, ale to potrwa. Nasz system retrenuje się codziennie na danych uzyskiwanych  od pacjentów, bo pacjenci się zmieniają. W związku z tym nie możemy tego samego pacjenta monitorować na podstawie jego danych sprzed trzech lat. Prosta sprawa.</u>
          <u xml:id="u-1.46" who="#MałgorzataSochacka">Chciałam jeszcze powiedzieć na temat danych, bo tutaj było, że tak powiem, chronienie danych przed innym użytkowaniem. To będzie bardzo trudne, ponieważ, jak to było w przypadku mojej firmy, zebraliśmy dużo danych. Z tego co wiem, są to unikalne dane na skalę światową. Takich danych, takiej ilości, jaką zebraliśmy, nie ma nigdzie indziej. Wydane na to zostało w sumie 10 mln zł. Jeżeli tych danych nie będziemy mogli użyć w celu, w którym były zaproponowane, to te 10 mln zł jest wyrzucone w błoto. Dlatego byłabym bardzo ostrożna z zabranianiem firmom używania danych w innych celach. Rozumiem niebezpieczeństwo, które się z tym wiąże, ale trzeba też być bardzo ostrożnym, bo można po prostu wylać dziecko z kąpielą. Nikt nie będzie chciał więcej tego robić, skoro nie może nic z tym zrobić.</u>
          <u xml:id="u-1.47" who="#MałgorzataSochacka">Jeszcze jest kwestia stabilnego finansowania. Wydać 10 mln bez perspektywy, że to się kiedyś zwróci, jest bardzo ciężko. Naprawdę myślę, że jesteśmy jednym z niewielu przypadków na świecie, gdzie po prostu zadziałała dobra wola. Myślę, że trzeba by zadbać nie tylko o stabilne finansowanie po wdrożeniu, ale też zastanowić się nad tym, jak mają być finansowane te wdrożenia wcześniej. Gdyż tak jak mówię, skorzystaliśmy z dwóch dofinansowań europejskich, ale to jest na innowacje, a na ten etap, który w tej chwili jest przed nami, nie ma dofinansowania, a to jest duży wydatek. Dziękuję bardzo.</u>
          <u xml:id="u-1.48" who="#GrzegorzBernardNapieralski">Tylko w jednym aspekcie mogę powiedzieć, że mamy przewidziane specjalne posiedzenie podkomisji dotyczące ochrony danych z panem prezesem UODO, więc jeżeli jesteście państwo zainteresowani, od razu serdecznie zapraszam. To będzie posiedzenie poświęcone tylko temu, jak chronić te dane, jak regulować to też prawnie, więc już bardzo serdecznie zapraszam.</u>
          <u xml:id="u-1.49" who="#GrzegorzBernardNapieralski">I wracamy do dyskusji. Bardzo proszę, najpierw pan, później pani i przechodzimy na drugą stronę.</u>
          <u xml:id="u-1.50" who="#HubertŻyciński">Myślę, że dyskusja w zakresie nowoczesnej technologii i nowoczesnych rozwiązań penetrujących sferę ochrony zdrowia jest zasadna i ważna. Powinniśmy ją prowadzić. Stąd ta koncepcja, panie przewodniczący, wspólnego posiedzenia z Komisją Zdrowia, jest jak najbardziej zasadna.</u>
          <u xml:id="u-1.51" who="#HubertŻyciński">Chciałbym podzielić się kilkoma komentarzami w stosunku do wystąpienia pani profesor i pani Ligii Kornowskiej. W MZ przyjmujemy taką zasadę: myśląc i analizując sztuczną inteligencję oraz zastosowania sztucznej inteligencji, że ta sztuczna inteligencja nie funkcjonuje samodzielnie. Ona nie funkcjonuje, wyręczając profesjonalistę medycznego w żadnym zakresie jego działalności ani aktywności zawodowej. Sztuczna inteligencja i oparte na niej rozwiązania muszą spełniać rolę służebną i muszą spełniać rolę narzędzia, muszą spełniać rolę elementu, który udoskonala możliwości warsztatu tego profesjonalisty medycznego i go wspomaga. Wspomaga go w procesie podejmowania decyzji, oceny sytuacji oraz wspomaga go w tym miejscu, gdzie musiałby poświęcić dużo czasu, żeby przeanalizować duże zespoły danych liczbowych albo historyczne przypadki zbliżone do tego, który akurat analizuje, albo wykonać analizę porównawczą obrazowania medycznego. Sztuczna inteligencja jest w stanie to zrobić od razu i rekomendować odpowiednie posunięcia. Dlatego pamiętajmy o tym, że obawy są słuszne, ponieważ zawsze mamy tutaj do czynienia z pewną nowością, nowatorskim podejściem  i nowatorskimi rozwiązaniami. Jednak obawy można mitygować poprzez jakby odpowiednią filozofię i pozycjonowanie tych rozwiązań. Jeszcze raz podkreślę, że są to narzędzia służebne, przeznaczone do wykorzystania przez profesjonalistę medycznego.</u>
          <u xml:id="u-1.52" who="#HubertŻyciński">Drugi komentarz dotyczy sztucznej inteligencji jako takiej. Żyjemy w erze eksplozji informacji medialnych na temat sztucznej inteligencji. Sztuczna inteligencja generatywna, modele językowe, zaawansowane rozwiązania, kreowanie treści, obrazów, utworów muzycznych – coraz więcej na ten temat przedostaje się do naszej powszechnej opinii. Podobnie jest trochę w ochronie zdrowia. Rozwiązań, o których możemy mówić, że to jest sztuczna inteligencja, w ochronie zdrowia jest bardzo dużo. Natomiast gdybyśmy przefiltrowali to przez rozwiązania, które możemy zastosować w kontekście ochrony zdrowia w praktyce klinicznej, okazuje się, że nie ma tak dużo certyfikowanych, takich kuloodpornych rozwiązań, które możemy stosować bezpiecznie w tym kontekście. Toteż to są dwa takie bieguny, o których powinniśmy też wiedzieć.</u>
          <u xml:id="u-1.53" who="#HubertŻyciński">Trzeci komentarz – do systemów certyfikacyjnych aplikacji. Aplikacje w ujęciu  i w rozumieniu MZ to jest ważny, interesujący kanał komunikacyjny do naszych odbiorców, pacjentów, obywateli – taki, który jakby wychodzi naprzeciw ich potrzebom i oczekiwaniom. Wiele rzeczy, spraw z życia codziennego załatwiamy w tym świecie cyfrowym za pośrednictwem różnych aplikacji. Mając to na uwadze, my rozwijamy aplikacje zdrowotne. Na pewno państwo słyszeliście o internetowym koncie pacjenta, o moimIKP. Mamy dosyć zasobne możliwości, z czego się bardzo cieszymy, i chcielibyśmy, żeby było jeszcze więcej grup użytkowników tych rozwiązań. Oczywiście pierwsze IKP jest rozwiązaniem takim przeglądarkowym, a to drugie mojeIKP to jest taka postać mobilna IKP. Ale tu mówimy o milionach – w tej chwili jest 18 mln użytkowników IKP. To istotna grupa. Teraz, biorąc pod uwagę to zainteresowanie, tę potrzebę, rzeczywiście, tak jak pani Ligia wskazywała, uruchomiliśmy portfel aplikacji zdrowotnych. To jest taki system certyfikacyjny, który wymyśliliśmy i prowadzimy w formie pilotażu, dla aplikacji zdrowotnych, które są dla pacjenta bezpieczne. Po pierwsze, one są bezpieczne dla jego zdrowia i po drugie, bezpieczne w zakresie bezpieczeństwa informacji, ponieważ są  w tym kierunku certyfikowane i sprawdzane. Są także bezpieczne, bo są nowoczesne  i proponują sprawdzone informacje, odciążając pacjenta od trudu związanego z wyborem spośród tysięcy aplikacji propozycji w zakresie jego zdrowia, wskazując te, z których można korzystać. Ten system jest w fazie pilotażu.</u>
          <u xml:id="u-1.54" who="#HubertŻyciński">Jeżeli chodzi o finansowanie, to właśnie uzupełnię, że jesteśmy w fazie podpisywania umowy na projekt w zakresie rozwoju portfela aplikacji zdrowotnych. W ramach funduszy europejskich na rozwój cyfrowy otrzymaliśmy takie dofinansowanie. Będziemy dążyć do tego, żeby aplikacji w portfelu było coraz więcej. Mam nadzieję, że wkrótce będziemy w stanie powiedzieć, że może nie mamy jeszcze 56, tak jak niemiecki system DiGA, i jeszcze nie refundujemy, natomiast pilotujemy tego rodzaju rozwiązanie i mamy swój system certyfikacji, i rozwijamy się, dążąc do tego, żeby jak najwięcej takich aplikacji się pojawiło. Być może jeżeli będziemy mieli do czynienia z tym, że ten system, to rozwiązanie się przyjmie na rynku i będzie ciekawe oraz będzie użytkowane przez wielu pacjentów, także nie będziemy wykluczali jakiegoś systemu refundacyjnego w kontekście aplikacji. To jest oczywiście rzecz, która jest w tej chwili w perspektywie przyszłej.</u>
          <u xml:id="u-1.55" who="#HubertŻyciński">Kolejny komentarz dotyczy legislacji. Otóż musimy wiedzieć, na pewno wiemy tutaj, w tym gronie, że legislacja w zakresie danych o zdrowiu, sztucznej inteligencji oraz zarządzania danymi o zdrowiu już jest jako legislacja na poziomie unijnym. Ta legislacja, do której niedawno dołączyło właśnie rozporządzenie o sztucznej inteligencji czy też już prawie dołącza rozporządzenie o europejskiej przestrzeni danych o zdrowiu, będzie kształtowała pewne kanony myślenia na temat tego, jakie dane są udostępniane, komu są udostępniane, w jaki sposób są udostępniane, jak wygląda system udostępniania tych danych oraz jak wyglądają rozwiązania informatyczne, które temu systemowi towarzyszą. To wszystko jest jakby skodyfikowane, wypracowane w toku długich, ponaddwuletnich ustaleń. Jestem przekonany, że co najmniej trzeba się zainspirować takimi rozwiązaniami, jeżeli myślimy o podobnych działaniach na poziomie krajowym, a wkrótce te rozwiązania zostaną przyjęte w całości, jak to w przypadku rozporządzenia unijnego  do naszego systemu prawnego.</u>
          <u xml:id="u-1.56" who="#HubertŻyciński">Ostatni komentarz to komentarz o aktywności MZ w kontekście innowacji i sztucznej inteligencji. Ponieważ oprócz portfela aplikacji zdrowotnych, który jest naszą propozycją i naszym produktem, naszym wytworem, serdecznie zapraszamy innowatorów i osoby, które się sztuczną inteligencją czy innowacją w szerszym pojęciu zajmują, do kontaktu  z nami. Departament Innowacji prowadzi m.in. zespół do spraw innowacji i na taki zespół można przyjść, można z nami porozmawiać. Jesteśmy, tak jak widzę po sali tutaj, też niektórzy zaangażowani w Telemedyczny Okrągły Stół, który też jest formatem, w którym prowadzimy dialog z przedstawicielami szeroko pojętego przemysłu, ale też uczestniczą w nim inni udziałowcy obszaru telemedycznego w naszym kraju. Oprócz tego zespołu, oprócz Telemedycznego Okrągłego Stołu jest także mapa innowacji, która demonstruje rozlokowanie bardzo wielu licznych, ciekawych propozycji w zakresie innowacji w ochronie zdrowia, które pochodzą z naszego kraju. Myślę, że tutaj się zatrzymam. Dziękuję bardzo.</u>
          <u xml:id="u-1.57" who="#GrzegorzBernardNapieralski">Dziękuję po pierwsze za obecność, dziękuję za wolę współpracy. Uważam, że to forum takiej dyskusji, debaty podkomisji, Komisji Zdrowia będzie takim ciekawym miejscem, gdzie też każdy chętny będzie mógł w takiej dyskusji wziąć udział, a też nam, posłom  i posłankom, ułatwi to później podejmowanie konkretnych decyzji.</u>
          <u xml:id="u-1.58" who="#GrzegorzBernardNapieralski">Widzę, tylko pójdziemy tak po kolei, że pani, a później przejdziemy na tę stronę  i wrócimy tutaj. Dziękuję bardzo.</u>
          <u xml:id="u-1.59" who="#BarbaraKopeć">W związku z tym można powiedzieć, że sposób budowania naszego zbioru uczącego, który tam jest opisany, oraz wysoki wynik rozpoznawania rzeczywiście nowotworów  w przypadku raka prostaty jest naszym ogromnym osiągnięciem. Żeby zrozumieć, jak się ten zbiór uczący budowało – więc po prostu wzięliśmy 30 tys. preparatów, z których 10 tys. lekarze po prostu benedyktyńską pracą zaznaczali na preparacie, jaki to jest rodzaj komórek. I teraz dopiero tak wybudowany uczciwy zbiór uczący, odpowiednio zabezpieczony, służy temu, żeby teraz kolejny preparat, który już mamy, najnormalniej powstający w ramach diagnostyki, spróbować w takim modelu obejrzeć.</u>
          <u xml:id="u-1.60" who="#BarbaraKopeć">Teraz czas na legislację, na pieniądze. Nam pomogło Narodowe Centrum Badań  i Rozwoju w przygotowaniu tego i opublikowaniu tych wszystkich rezultatów. Natomiast to jest oczywiście ogromny wysiłek badawczy, informatyczny, nie będę państwu mówić, bo „Nature” nie drukuje byle czego. W każdym razie teraz jest pora na legislację, czy możemy to robić, czy nie. Lekarze są niezwykle ostrożni, widzą, co się dzieje, ale mówią: pokaż mi, jakie jest do tego prawo. To jest pierwsza sprawa. Druga sprawa to jest rzeczywiście kwestia ochrony danych i budowania kolejnych modeli. Kolejny model to jest po prostu znowu zbiór badawczy uczciwie i porządnie przygotowany.</u>
          <u xml:id="u-1.61" who="#BarbaraKopeć">Potencjał w polskich firmach – ja reprezentuję sporą firmę prywatną – jest. Dane  w naszych firmach są zazwyczaj dość dobrze pozbierane, ponieważ pracujemy na jednym i tym samym zbiorze, natomiast należałoby się zastanowić, w jaki sposób do tych danych sięgnąć i w jaki sposób legislacja powinna nam pomóc w tym, żeby zbiory uczące, które chcemy zastosować do różnych rodzajów modeli, czy to model językowy, czy model obrazowy, czy jakikolwiek inny, były rzeczywiście zabezpieczone i pewne.</u>
          <u xml:id="u-1.62" who="#GrzegorzBernardNapieralski">Bardzo proszę, przechodzimy, widzę i po kolei będę starał się udzielać głosu. Bardzo proszę.</u>
          <u xml:id="u-1.63" who="#OskarPlatta">Obecnie, szanowni państwo, jest wielki problem, żeby producent w jakikolwiek sposób zaangażował się w ocenę technologii nielekowej. Obecnie w zasadzie monopol  w tym zakresie ma MZ, ewentualnie konsultanci. W naszej ocenie pierwszą zmianą legislacyjną, którą należałoby zrobić, jest wprowadzenie możliwości, aby producent wyrobu medycznego mógł zwrócić się, mógł zainicjować proces oceny technologii nielekowej, czyli wdrożenia tej technologii do koszyka świadczeń gwarantowanych. W naszej ocenie jest to kluczowe, bo producenci, tak jak wszyscy tutaj, osoby, które wcześniej się wypowiedziały, mają świetne produkty i chcieliby ten proces zainicjować, a obecnie przepisy w tym zakresie ich hamują.</u>
          <u xml:id="u-1.64" who="#OskarPlatta">Druga istotna rzecz jest taka, żeby określić jakiś deadline na proces oceny technologii nielekowej, ponieważ obecnie, szanowni państwo, nie ma żadnego takiego deadline’u.  Na przykład w przypadku leków, jeżeli firma farmaceutyczna chce taki proces zainicjować i wdrożyć do refundacji swój lek, to mamy 180 dni, żeby zakończyć ten proces. Tutaj nie ma deadline’u i procesy obecnie trwają bardzo długo, więc byłoby dobrze, jakbyśmy taki termin dodali do przepisów.</u>
          <u xml:id="u-1.65" who="#OskarPlatta">Trzeci postulat dotyczy tego, żeby producenci także mogli się zaangażować w całą procedurę. Obecnie jest tak, że procedura jest w zasadzie wszczynana na wniosek konsultanta albo z urzędu przez MZ, a nawet producent, którego technologia nielekowa jest oceniana później przez AOTMiT, nie ma możliwości, żeby włączyć się do tego procesu, żeby w przewidziany przepisami prawa sposób przekazać AOTMiT-owi dane medyczne, które zebrał. Dlaczego jego technologia jest skuteczna, czy dobrze działa, czy jest efektywna kosztowo – nie ma obecnie takiej ścieżki, żeby można było to zrobić. W naszej ocenie to jest pierwsza kwestia legislacyjna, którą należałoby się zająć, aby producenci wyrobów medycznych mogli się tak naprawdę włączyć intensywnie w proces wdrażania nowych, innowacyjnych technologii nielekowych.</u>
          <u xml:id="u-1.66" who="#OskarPlatta">Drugim, już mniejszym, postulatem jest to, żebyśmy zwrócili uwagę także na to,  że teraz cały czas mamy różne nowe akty prawne, które regulują sztuczną inteligencję. Mamy tzw. AI Act, czyli rozporządzenie o sztucznej inteligencji. Niedługo ma wejść  w życie European Health Data Space, więc istotne jest to, żeby zadbać, aby nowe akty nie hamowały innowacji. Obecnie zgodnie z raportami Komisji Europejskiej Unia  Europejska pomału przestaje być rynkiem, który jest pierwszym, o którym producenci myślą jako o pierwszym rynku, na który wejdą ze swoim innowacyjnym produktem, gdyż ten rynek staje się bardzo uregulowany, bardziej niż inne rynki, nawet bardziej niż rynek Stanów Zjednoczonych, i bardzo drogi do wdrożenia nowego produktu. To jest druga strona medalu, nad którą też trzeba się zastanowić. Bardzo dziękuję.</u>
          <u xml:id="u-1.67" who="#GrzegorzBernardNapieralski">Wracamy już na tę stronę i bardzo proszę, oddaję głos.</u>
          <u xml:id="u-1.68" who="#KatarzynaSadowskaCioch">To, co chciałam powiedzieć i co jest kluczowe z punktu widzenia NIL, to rola lekarzy, to, co wypłynęło również w badaniach. Możemy mówić o legislacji, możemy mówić  o wyrobach, o wdrożeniach, natomiast jeżeli nie będzie takiego być może niepełnego,  ale chociaż częściowego przekonania lekarzy, że warto, że powinni to wdrażać, że powinni z tego skorzystać, to będziemy cały czas stać w miejscu. Z tego miejsca chciałam potwierdzić naszą pełną gotowość do współpracy, do zaangażowania również w pracę grupy roboczej. Tak jak wspomniałam, już półtora roku temu zaczęliśmy aktywnie działać  w obszarze innowacji, sami wewnętrznie powołaliśmy kilka grup roboczych. Tutaj zaraz pewnie głos zabierze Paweł Kaźmierczyk, mecenas, który jest odpowiedzialny i kieruje grupą do spraw bezpieczeństwa danych. Natomiast gdzie widzę naszą kluczową rolę?  W kształceniu lekarzy, w doskonaleniu zawodowym lekarzy właśnie w obszarze innowacji. Chyba nikt lepiej niż my w NIL nie ma pełnej świadomości, że opór wśród lekarzy niestety jest, natomiast tę rolę bierzemy również na siebie w przekonywaniu ich. I to jest takim naszym głównym mottem, że sztuczna inteligencja nie zastąpi lekarza, natomiast lekarz korzystający ze sztucznej inteligencji zastąpi tego, który sztucznej inteligencji nie wykorzystuje. Zatem raz jeszcze chciałam potwierdzić naszą pełną gotowość do prac w grupie roboczej i wszystko, co padło tutaj z ust pani prof. Kolasy, to jest nasza wspólna praca i jak najbardziej jesteśmy za.</u>
          <u xml:id="u-1.69" who="#GrzegorzBernardNapieralski">Widzę, oddaję głos, bo mieliśmy się skupić na tej stronie i za chwilę wrócimy na drugą stronę. Bardzo proszę.</u>
          <u xml:id="u-1.70" who="#PawełKaźmierczyk">Po pierwsze, bardzo mnie cieszy, że dzisiaj bardzo dużo rozmawiamy w kontekście sztucznej inteligencji o danych medycznych, o dostępie do danych medycznych. Wydaje mi się, że jeżeli chcemy mówić o sztucznej inteligencji czy nawet szerzej, o obszarze innowacji w sektorze ochrony zdrowia, to jest kluczowe zagadnienie, w którym szereg jest do zrobienia, szereg wyzwań jest przed nami. Po pierwsze, to kwestia stosowania przepisów, które już obecnie obowiązują. Centrum e-Zdrowia prowadzi coroczne monitorowanie poziomu informatyzacji podmiotów leczniczych, więc corocznie widzimy,  że dalej są przed nami pewne wyzwania, chociażby dalej jest dość powszechne prowadzenie papierowej postaci dokumentacji medycznej. Dlatego jeśli mówimy o sztucznej inteligencji i innowacjach w ochronie zdrowia, które bazują na dostępie do elektronicznych danych, musimy w pierwszej kolejności zadbać o to, żeby faktycznie obowiązki, które już mamy, były egzekwowane w jak najwyższym stopniu.</u>
          <u xml:id="u-1.71" who="#PawełKaźmierczyk">Drugi temat to niespójności prawne, które już występują i które – wydaje mi się – można rozwiązać, nie czekając na wspomniany już unijny projekt europejskiej przestrzeni danych o stanie zdrowia. Mamy legislację, która była przyjmowana w różnych latach, rozciągniętych na ponad dekadę, jeżeli popatrzymy od momentu przyjęcia ustawy o systemie informacji w ochronie zdrowia, ustawy o prawach pacjenta. Regulacje nie zawsze są spójne, rodzą wątpliwości interpretacyjne, a jeżeli pojawia się wątpliwość interpretacyjna, to rodzi ryzyko defensywnej postawy i pewnych barier, jeżeli chodzi o udostępnianie danych, bo nie chcą ich udostępnić, bo się boimy, że ktoś nas złapie  za rękę i powie, że to z naruszeniem przepisów prawa.</u>
          <u xml:id="u-1.72" who="#PawełKaźmierczyk">Jest to również wyzwanie w obszarze anonimizacji i pseudonimizacji danych medycznych. Bardzo się cieszę, że UODO będzie zaangażowany w dalsze prace. Mamy także przepisy, które już możemy wykorzystywać, tylko brakuje nam pewnych standardów ich stosowania. Myślę, że wyraźne wskazanie, jak pewne operacje należy dokonywać,  ze strony urzędu też byłoby bardzo dużą pomocą.</u>
          <u xml:id="u-1.73" who="#PawełKaźmierczyk">Mamy szereg regulacji na poziomie unijnym, chociażby wspomniana europejska przestrzeń danych dotyczących zdrowia, ale także Data Governance Act, Data Act, gdzie już mamy pewne spóźnienie. Przecież jeżeli chodzi o Data Governance Act, nasza krajowa ustawa o zarządzaniu danymi nie została przyjęta, mimo że powinna być zaimplementowana jeszcze we wrześniu. To trochę blokuje nam innowacje, bo ma zastosowanie  do podmiotów publicznych, także w sektorze ochrony zdrowia, czyli do szpitali. Czyli już w kwestii udostępniania danych medycznych na potrzeby rozwoju chociażby sztucznej inteligencji jesteśmy trochę opóźnieni.</u>
          <u xml:id="u-1.74" who="#PawełKaźmierczyk">Chciałbym też wspomnieć, że właśnie w ramach grupy przy NIL opracowaliśmy raport regulacyjny, który wskazuje, co moglibyśmy zrobić w perspektywie krótkoterminowej, ale i długoterminowej, czyli jak się dobrze przygotować do europejskiej przestrzeni danych dotyczących zdrowia, żeby dostarczyć tych danych, którymi moglibyśmy karmić algorytmy sztucznej inteligencji, i innych rozwiązań.</u>
          <u xml:id="u-1.75" who="#PawełKaźmierczyk">Drugi punkt to kwestia refundacji – potrzebujemy finansowania nowych technologii w sektorze ochrony zdrowia ze środków publicznych. Chciałbym zwrócić uwagę na temat aplikacji zdrowotnych, które też były poruszane, portfel aplikacji zdrowotnej. Wydaje mi się, że koniecznym drugim krokiem jest dbałość o finansowanie aplikacji, w szczególności w obszarze ochrony zdrowia psychicznego. Obecnie realizujemy projekt ze środowiskiem psychiatrów, psychoterapeutów, którzy wskazują, że to jest obszar medycyny, gdzie rozwiązania zdalne zapewniają dużo korzyści, a mamy dość duże potrzeby, jeżeli chodzi o ochronę zdrowia psychicznego, w szczególności dzieci i młodzieży, czyli grupy, która bardzo chętnie sięga po tego typu rozwiązania jak aplikacje mobilne. Tutaj część postulatów i rekomendacji została wypracowana w ramach Telemedycznego Okrągłego Stołu, więc warto korzystać z tych zasobów. Dziękuję.</u>
          <u xml:id="u-1.76" who="#GrzegorzBernardNapieralski">Po pańskim głosie nasunęła się taka rzecz, że gdyby doszło do tego spotkania naszej podkomisji i Komisji Zdrowia, jeżeli państwo oczywiście przyjmiecie nasze zaproszenie, byłoby też dobre z waszej strony zrobienie takiego przeglądu. Jeśli pan mówi, że istnieją już przepisy w polskim prawie, ale są one niespójne w różnych ustawach i rozporządzeniach, proszę, podajcie nam takie przykłady lub pokażcie, gdzie to się zdarza, abyśmy mogli po prostu zacząć nad tym pracować. Też bardzo dobra jest deklaracja pana dyrektora, myślę, że w porozumieniu z MZ, jeżeli coś można szybko będzie usunąć, poprawić, to będziemy to chcieli zrobić.</u>
          <u xml:id="u-1.77" who="#GrzegorzBernardNapieralski">Tak jak powiedziałem, to jest inicjatywa pana prezesa UODO, żeby specjalne posiedzenie podkomisji odbyło się w tej kwestii, więc także was bardzo serdecznie zapraszam, ponieważ jeśli chodzi o system ochrony zdrowia, dbanie o bezpieczeństwo naszych danych jest najważniejsze, szczególnie jeśli chodzi o choroby rzadkie lub takie, o których nie chcielibyśmy, aby ktoś się dowiedział. Ale są choroby i choroby oczywiście, więc tym bardziej ta dyskusja powinna być jak najbardziej merytoryczna. Dziękuję za ten głos.</u>
          <u xml:id="u-1.78" who="#GrzegorzBernardNapieralski">Wracamy na tę stronę, ale zaczniemy od końca. Bardzo proszę pana.</u>
          <u xml:id="u-1.79" who="#MichałNowakowski">Wiem, że może jest to nieoczywiste, że tak powiem, że będziemy tutaj rozmawiali też  o kwestiach stricte informatycznych. Natomiast jednej rzeczy trochę zabrakło w tej dyskusji, a mianowicie kwestii etycznej AI. To się dosyć często zaczyna pojawiać w kontekście albo odpowiedzialnej sztucznej inteligencji, albo sztucznej inteligencji godnej zaufania. Oczywiście nie jest to aspekt legislacyjny, bo on jednak wykracza poza te ramy, jest jednak w jakiś sposób subiektywny. Natomiast wydaje mi się, że czymś bardzo istotnym, co jest też w ramach koalicji podejmowane, jest kwestia próby stworzenia swoistych wytycznych, rekomendacji w zakresie tego, w jaki sposób projektować, wdrażać i użytkować.</u>
          <u xml:id="u-1.80" who="#MichałNowakowski">Nie wiem, czy zapomniałem o jeszcze jednej rzeczy, ale właśnie systemy sztucznej inteligencji, które są wykorzystywane w tym bardzo specyficznym obszarze, który można nazwać, spokojnie stosując nomenklaturę z AI Actu, z rozporządzenia w sprawie sztucznej inteligencji, wysokiego ryzyka. Jednak nie ma co ukrywać, że te systemy rzeczywiście niosą za sobą wysokie ryzyko. Dla kogo? Dla czego? Oczywiście dla praw podstawowych, dla praw człowieka, dla jego bezpieczeństwa i prywatności. W związku z tym wydaje się nam – i to jest coś, gdzie my podejmujemy różne działania, oczywiście nie skupiając się  na jednym, konkretnym sektorze, tylko patrząc zdecydowanie szerzej – że bardzo istotnym elementem jest budowanie takiej swoistej świadomości.</u>
          <u xml:id="u-1.81" who="#MichałNowakowski">Mamy też świadomość tego, że niekiedy może powstawać zjawisko, które jest dość popularne w kontekście zmian klimatycznych, tzw. ethical washing, czyli wykorzystywanie różnych standardów w tym kontekście. Natomiast bez próby zachęcenia podmiotów, które projektują, wdrażają czy też stosują określone systemy sztucznej inteligencji, do tego, żeby postępowały w sposób bardziej etyczny, zostawiając na boku kwestie typowej etyki medycznej. Może okazać się, że zagrożenia, o których tutaj mowa, na przykład wykorzystanie danych do innego celu niż ten, w którym zostały pierwotnie zebrane, będą niemożliwe do zrealizowania.</u>
          <u xml:id="u-1.82" who="#MichałNowakowski">Tutaj jeszcze warto zwrócić uwagę na kwestię tzw. wyjaśnialnej sztucznej inteligencji, właśnie w kontekście systemów, które gdzieś podejmują jakieś decyzje względem człowieka, które muszą zapewnić odpowiedni poziom przejrzystości – to jest coś, na co od wielu lat zwracamy uwagę i co nie do końca zostało uwzględnione na przykład w projekcie rozporządzenia w sprawie sztucznej inteligencji, dlatego być może jest tutaj potencjał do tego, żeby legislacyjnie podjąć jakieś prace.</u>
          <u xml:id="u-1.83" who="#MichałNowakowski">Na koniec chciałbym powiedzieć jeszcze o dwóch rzeczach. Po pierwsze, bardzo się cieszę, że prezes UODO jest inicjatorem takiego spotkania w kontekście ochrony danych osobowych, bo to jest kwestia absolutnie podstawowa, szczególnie że mamy do czynienia z danymi szczególnej kategorii. Jednak w trakcie pierwszej prezentacji pani profesor pojawiła się kwestia zachęcenia ludzi do tego, żeby dzielili się danymi, na przykład pochodzącymi ze smartwatchy różnego rodzaju. Tutaj rzeczywiście był wspomniany na przykład Data Act, który miałby też to umożliwić. Nie zapominajmy o jednej bardzo istotnej kwestii: edukacji. Jeżeli ludzie nie będą wiedzieli, że mogą na przykład wykorzystywać te dane i mieć jakąś bardzo konkretną korzyść z tego przy jednoczesnym zabezpieczeniu ich czy poinformowaniu o tym, że ich dane są na przykład bezpieczne i nie są wykorzystywane do wykrywania emocji, to tak naprawdę nie osiągniemy tego celu. Oczywiście skupiamy się tutaj na kwestii przemysłowego wykorzystywania danych, ale te dane w stosunku do użytkowników czy pacjentów również powinny być brane pod uwagę. Tak że to wszystko z mojej strony. Dziękuję bardzo.</u>
          <u xml:id="u-1.84" who="#GrzegorzBernardNapieralski">Pan dyrektor chciał się do tego odnieść, zauważyłem, więc oddaję na chwilę głos MZ i zaraz wracamy do kolejnych głosów. Bardzo proszę, panie dyrektorze.</u>
          <u xml:id="u-1.85" who="#HubertŻyciński">Tak ad vocem trochę chciałem powiedzieć, bo aspekty etyczne, etyki w zdrowiu cyfrowym, czyli w takiej szerszej perspektywie, znacznie szerszej perspektywie niż tylko sztuczna inteligencja, były jednym z kluczowych działań prowadzonych przez prezydencję francuską w pierwszej połowie 2022 r. Ten dokument nie ma charakteru legislacyjnego, natomiast ma charakter wskazujący perspektywę czy filozofię, czyli taki charakter miękkiej rekomendacji dla państw członkowskich. Uzgodniony został z udziałem państw członkowskich i pod przewodnictwem prezydencji francuskiej. Sztuczna inteligencja, wyjaśnialność i brak dyskryminacji jest jedną z zasad etycznych. To jest dosyć rozbudowany dokument mówiący o etyce w zdrowiu cyfrowym. Jak zamawiać, jak dopuszczać różne rozwiązania, jak wykorzystywać sztuczną inteligencję, jak usługi o zdrowiu powinny w stosunku do użytkownika występować – że niewyłącznie, nie dyskryminować itd. To jest tylko tak ad vocem, że coś takiego jest.</u>
          <u xml:id="u-1.86" who="#GrzegorzBernardNapieralski">Bardzo proszę, kto teraz? Wiem, że jesteśmy po tej stronie. Tak, bardzo proszę.</u>
          <u xml:id="u-1.87" who="#KajetanWojsyk">Nawiązując do wystąpienia pani profesor, do tej filozofowości, chcę powiedzieć,  że to jest rzecz, której nikt tutaj w ogóle nie zauważa. Mam na to dowody. Proszę pana dyrektora, proszę sobie tylko zanotować taką datę 15 grudnia ubiegłego roku, kiedy wniosłem przez ePUAP, oczywiście nie mejlem, do ministra zdrowia, do pani Izabeli Leszczyny, pismo, gdzie zaoferowałem pomoc i żeby było jasne – nieodpłatną. Dlatego że wiem, co jest w tych rejestrach, i wiem, jakie błędy zostały popełnione przy ich tworzeniu.</u>
          <u xml:id="u-1.88" who="#KajetanWojsyk">Chodzi mi o rejestry niemedyczne, chociaż niektórzy je tak zaliczają, tylko taki rejestr jak rejestr podmiotów wykonujących działalność leczniczą, rejestr aptek, hurtowni farmaceutycznych, rejestr farmaceutów itd. Wszystkie te rejestry, w których są wpisane podmioty razem z jakimś kodem. Nie koduje się rzeczy mało ważnych, ale wszystko,  co ma znaczenie, w szczególności dla współdziałania systemów, dla interoperacyjności, dla wyłuskiwania danych według pewnych kluczy, według sit wszystko się koduje. Koduje się nazwy ulic, koduje się nazwy miejscowości, a nawet obiekty, które gdzieś przebiegają, żeby przypadkiem koparka nie przecięła światłowodu, czyli mamy na przykład współrzędne geodezyjne poszczególnych punktów. Są setki tysięcy lekarstw, opakowań, serii, wszystko ma swoje kody, że jeżeli wycofujemy serię, to wiemy, którą serię wycofujemy, gdzie mogła nastąpić jakaś wada technologiczna. Nikt na to w ogóle nie patrzy. Dlaczego wspomniałem o tym w piśmie? Gdyż kiedy dzieje się coś złego, to potem się szuka winnych. Jak jest wszystko dobrze, cicho sza, wszystko gra. Zwracam uwagę, że to jest właściwy moment, żeby tam, gdzie ktoś zauważa jakąkolwiek nieprawidłowość, jakiegokolwiek rodzaju błędy – to jest moment, żeby to poprawić.</u>
          <u xml:id="u-1.89" who="#KajetanWojsyk">Zwrócę tu uwagę na rzecz pozornie niezwiązaną, ale mamy coś takiego jak ustawa o doręczeniach elektronicznych. Pisałem komentarz, współpisałem komentarz do tej ustawy, jestem jej praktykiem od samego początku również w wykorzystaniu, tam mamy usługę hybrydową. Hybrydowa polega na tym, że się coś dostarcza na papierze w konkretny punkt. Gdybym państwu pokazał, jak to w praktyce wygląda, i dlaczego ciągle przesuwamy ustawę, to to są właśnie te powody, że nie potrafimy zrobić porządku  w danych. Najlepsze jest w tym wszystkim to, że zrobienie tego porządku jest proste jak drut i to drut napięty. Informatycy są w stanie to zrobić błyskawicznie, to się robi technicznie, mówię to jako człowiek, który zajmuje się informatyką od ponad trzydziestu lat. Zwyczajnie nie rozumiem nieskorzystania z oferty pomocy.</u>
          <u xml:id="u-1.90" who="#KajetanWojsyk">Wracając do sekcji e-Zdrowia, to jesteśmy informatykami, którzy zajmują się aspektami możliwości wykonawczych różnego rodzaju systemów, z uwzględnieniem zarówno etyki, jak i technik możliwych do zastosowania dzisiaj, bo one są już dostępne, nie tylko  w Ameryce, nie tylko w Korei Południowej, my też je mamy. Możemy z nich najzwyczajniej skorzystać, tylko muszą to zrobić ludzie, którzy dokładnie znają cel.</u>
          <u xml:id="u-1.91" who="#KajetanWojsyk">Ostatni punkt, mówiliśmy o ochronie danych osobowych. W swoim życiu, dosyć długim, zawodowym również zajmowałem się tą kwestią. Zwracam państwa uwagę na nazwę, na sam tytuł rozporządzenia RODO, które dotyczy ochrony osób fizycznych w związku z przetwarzaniem danych. Na końcu w nawiasie jest napisane o ochronie danych. Zmieniliśmy obiekt ochrony z osoby fizycznej na dane. Dochodzi do sytuacji, kiedy wbrew interesom osoby fizycznej, wbrew jej interesom ochrony jakichkolwiek dóbr chronimy dane w sposób przeszkadzający naszej ochronie. Mogę podać bardzo prosty przykład, w aplikacjach typu IKP, pacjent.gov.pl, gdzie jest opcja, że ktoś może wskazać inną osobę z rodziny czy nawet nie z rodziny jako osobę właściwą do tego, żeby odbierać wyniki badań, wykupywać recepty itd. Jest taka opcja? Tak czy nie? Korzystają przecież państwo chyba z tego konta. Jest taka opcja, że można kogoś wskazać. Jeżeli żona sobie idzie do lekarza, to ja z mojego smartfona dostaję informację, co jest przepisane, mogę iść i zakupić ten lek. Natomiast jeżeli pójdę do przychodni i będę chciał dostać te wyniki do ręki, to ich nie dostanę, ona musi przyjść osobiście choćby martwa. Bo tak się rozumie, interpretuje polecenie RODO, ktoś tych ludzi tak nauczył, że nie rozumieją, że pierwszym i najważniejszym właścicielem danych jest ich właściciel, ten, którego dotyczą – to on decyduje.</u>
          <u xml:id="u-1.92" who="#KajetanWojsyk">Może państwo nie wiedzą, ale na początku tego szaleństwa z ochroną danych osobowych, wiele lat temu – tutaj siedząca obok koleżanka mogłaby przypomnieć, kiedy weszła pierwsza ustawa – jeden z profesorów we Wrocławiu na uczelni, chyba to był Uniwersytet Wrocławski, był oburzony tym, że się go ciągle gdzieś nęka, każe mu udowadniać. Zbudował taką kilkumetrową instalację, na której wypisał imię, nazwisko, PESEL, imiona rodziców i inne dane, na tym tle się sfotografował i umieścił to w sieci. Po prostu stwierdził, że jeśli ktoś ma mieć te dane, to i tak je uzyska, a błędne prawo może przynieść odwrotne skutki. Przykładem złego prawa jest to, że mamy w aplikacji w mObywatel możliwość zastrzeżenia numeru PESEL, podczas gdy to nie my powinniśmy być karani i ciągle się chronić przed kradzieżą danych, lecz każdy podmiot, który udzieli kredytu na podstawie nieautentycznych dokumentów, które można udowodnić, że są prawdziwe, że to ja wystawiłem – to on powinien za to płacić i skończyłby się cały cyrk. Dziękuję.</u>
          <u xml:id="u-1.93" who="#GrzegorzBernardNapieralski">Proszę bardzo, teraz pan. Oddaje panu głos.</u>
          <u xml:id="u-1.94" who="#JacekKosiorek">Natomiast przysłuchuję się dyskusji i mam jedną obawę. Jeżeli ktoś nawet ulegnie wypadkowi i trafi do jakiejś przychodni czy gdziekolwiek, gdzie nie udostępni swoich danych, to nie będzie leczony. Lekarz nie będzie w stanie postawić diagnozy ani zalecić jakichkolwiek badań czy dodatkowych czynności, które pozwolą na leczenie tego pacjenta. Wiadomo, że ochrona danych, o której wspomniał pan minister, też właściwie wszyscy, jest bardzo potrzebna. Ale wiadomo, że ta skala danych, które będą przekazywane do systemu, będzie przeogromna. Jeżeli klient trafi na stół operacyjny i udostępni swoje dane, bo będzie musiał udostępnić swoje dane, które są w systemie, to one wyciekły już z systemu i już jest po herbacie, jak ktoś to trafnie powiedział. Natomiast wiadomo, że temat jest trudny i wymaga dłuższej dyskusji, ale będzie sprzyjał pewnego typu działaniom, które prowadzą do prawdy, jednakże to już temat na dłuższą dyskusję, nie na dzisiaj. Dziękuję za głos.</u>
          <u xml:id="u-1.95" who="#GrzegorzBernardNapieralski">Bardzo proszę.</u>
          <u xml:id="u-1.96" who="#GrzegorzBernardNapieralski">Czy jeszcze ktoś chciałby zabrać głos? Nie widzę, nie słyszę.</u>
          <u xml:id="u-1.97" who="#GrzegorzBernardNapieralski">Bardzo państwu serdecznie dziękuję za tę dyskusję. Chcieliśmy powiedzieć z kolegami, że dla nas to też jest bardzo ważna dyskusja – bo sztuczna inteligencja czy algorytmy to jest coś nowego i dynamicznie rozwijającego się – że bez takich dyskusji my też nie mamy, nie posiadamy takiej wiedzy. Będziemy musieli tworzyć prawo, więc dziękujemy za to wsparcie, za wasze zaangażowanie, pani profesor i całemu zespołowi  za przygotowanie nie tylko prezentacji, ale tych badań. One są bardzo istotne dla izby lekarskiej, że lekarze zechcieli wziąć w tym udział i że są otwarci na taką współpracę, bo tylko razem wspólnie będziemy to mogli dobrze przeprowadzić. Tak jak powiedziałem, planujemy, jest taka decyzja kolegów i my z takim pismem do przewodniczącego  Bartosza Arłukowicza wystąpimy. Zobaczymy, jak z terminami, tutaj nic nie mogę powiedzieć, ale proszę śledzić. Będziemy też wysyłać zaproszenia i zapraszamy – to będzie, myślę, miejsce jeszcze ważniejsze niż dziś, jeżeli chodzi o tę dyskusję, którą dziś rozpoczęliśmy i będziemy kontynuować. Jeszcze raz dziękuję.</u>
          <u xml:id="u-1.98" who="#GrzegorzBernardNapieralski">Zamykam posiedzenie podkomisji. Mam nadzieję, że do szybkiego zobaczenia.</u>
        </div>
      </body>
    </text>
  </TEI>
</teiCorpus>