V lékařském výzkumu je dynamický léčebný režim soubor pravidel postupného rozhodování, která definují, jaké kroky by měly být podniknuty k léčbě pacienta na základě dosud pozorovaných informací. Dynamické léčebné režimy, označované také jako adaptivní léčebné strategie, se snaží individualizovat léčbu pacientů a zároveň operacionalizovat klinickou praxi zabývající se chronickými onemocněními. Cílem dynamického léčebného režimu je definovat posloupnost léčebných kroků, které vedou k co nejpříznivějšímu klinickému výsledku.
Historicky se lékařský výzkum a lékařská praxe spoléhaly na model akutní péče při léčbě všech zdravotních problémů, včetně chronického onemocnění (Wagner a kol. 2001). V poslední době se lékařská oblast začala zabývat plány dlouhodobé péče při léčbě pacientů s chronickým onemocněním. Tento posun v ideologii spolu se zvýšenou poptávkou po medicíně založené na důkazech a individualizované péči vedl k aplikaci výzkumu postupného rozhodování na lékařské problémy a formulaci dynamických léčebných režimů.
Pro řadu časových bodů rozhodnutí, , definovat jako je léčebná akce přijatá v časovém bodě , a definovat jako všechny klinické pozorování přijatá v čase , před léčebnou akci . Pak dynamický léčebný režim, se skládá ze souboru pravidel pro každý časový bod pro výběr léčby , založené klinické pozorování . Tedy , je funkcí minulých a současných pozorování, a minulých akcí , která vrací výběr současné akce, . Cílem dynamického léčebného režimu je učinit rozhodnutí, která vedou k nejlepšímu možnému klinickému výsledku nebo odpovědi, .
Zvláštní dynamický léčebný režim by mohl na některé z těchto otázek odpovědět následovně:
Zde léčebné akce, , jsou uvedeny v boxů větví z pole označené ‚ZRUŠENÍ‘ a klinické pozorování, , jsou uvedeny vedle šipek mezi boxy.
Příkladem dynamického léčebného režimu, který byl navržen pro použití v klinické praxi, je …
Pro dynamický léčebný režim, pro dosažení co nejpříznivějšího klinického výsledku musí maximalizovat průměrný výsledek. Jinými slovy, cílem je najít dynamický režim, pro který:
Množství je často označován jako Hodnota .
Metody pro rozvoj dynamických léčebných režimů
Vývoj dynamických léčebných režimů, jejichž výsledkem jsou optimální klinické výsledky, je proces, který zahrnuje zvážení mnoha různých otázek. Stručný přehled některých z těchto procesů je uveden níže.
Pro nalezení optimálních dynamických léčebných režimů by se mohlo zdát rozumné pouze sbírat data z jednotlivých studií v různých časových bodech, najít optimální léčbu v každém časovém bodě a pak tyto léčebné kroky zkombinovat a vytvořit tak dynamický léčebný režim. Tento typ sběru a analýzy dat je však krátkozraký a často vyústí v horší dynamický léčebný režim. Mnohé léčebné postupy mohou mít účinky, které se projeví až po změření okamžitého léčebného výsledku, jako je zlepšení účinku budoucí léčby nebo dlouhodobé vedlejší účinky, které brání pacientovi v tom, aby mohl v budoucnu použít alternativní užitečnou léčbu. Například kognitivně behaviorální terapie nemusí vést k nejlepšímu krátkodobému výsledku jednorázových monoterapií pro drogovou závislost. Může však vést k dramatickému zlepšení budoucích výsledků, pokud po ní bude následovat kombinovaná léčba drogou a terapií. K tomu by mohlo dojít, pokud by kognitivně behaviorální terapie byla užitečná pro pomoc pacientům naučit se, jak nejlépe využívat budoucí behaviorální terapie, ale nebyla by silnou monoterapeutickou léčbou první linie. Tato otázka je často označována jako „opožděné účinky“ a je důležitým konceptem, který je třeba zvážit při hledání optimálních dynamických léčebných režimů. Sběr a analýza dat by měly vždy zahrnovat léčebný režim, nikoli pouze jednotlivé léčby v rámci daného režimu.
Analýza dat je nutná k nalezení optimálních dynamických léčebných režimů. Data použitá k nalezení optimálních dynamických léčebných režimů by se měla skládat ze sledu pozorování a akcí , pro více pacientů spolu s výsledky pacientů .
I když tento typ dat lze získat pečlivým pozorováním, je často vhodnější sbírat data pokud možno experimentováním. Použití experimentálních dat, kdy byla léčba náhodně přiřazena, je preferováno vzhledem k tomu, že obvykle jsme schopni vidět výsledek pacienta pouze v rámci léčebné sekvence, která mu byla podána, a ne v rámci střídavých léčebných sekvencí. Randomizace léčby pomáhá eliminovat zkreslení způsobené matoucími proměnnými, které ovlivňují jak volbu léčby, tak klinický výsledek. To je zvláště důležité při zacházení se sekvenčními léčbami, protože tato zkreslení se mohou v průběhu času zesilovat.
Experimentální design dynamických léčebných režimů v podstatě zahrnuje počáteční randomizaci pacientů k léčbě, následovanou opětovnými randomizacemi v každém následujícím časovém bodě některých nebo všech pacientů k jiné léčbě. Opětovné randomizace v každém následujícím časovém bodě závisí na informacích shromážděných po předchozí léčbě, ale před přiřazením nové léčby, například na tom, jak úspěšná byla předchozí léčba. Tyto typy studií byly zavedeny a vyvinuty v Lavori & Dawson (2000), Lavori (2003) a Murphy (2005) a jsou často označovány jako SMART studie (Sequential Multiple Assignment Randomized Trail). Některé příklady SMART studií jsou studie CATIE pro léčbu Alzheimerovy choroby (Schneider et al. 2001) a studie STAR*D pro léčbu deprese (Lavori et al. 2001, Rush, Trivedi & Fava 2003).
Kritickou součástí nalezení nejlepšího dynamického léčebného režimu je sestavení smysluplné a komplexní proměnné výsledku, . Aby bylo možné sestavit užitečnou proměnnou výsledku, musí být cíle léčby dobře definované a kvantifikovatelné. Cíle léčby mohou zahrnovat více aspektů zdraví a blahobytu pacienta, jako je stupeň příznaků, vedlejší účinky léčby, doba do odezvy na léčbu, kvalita života a náklady. Kvantifikace různých aspektů úspěšné léčby s jedinou funkcí však může být obtížná. Proměnná výsledku by měla odrážet, jak úspěšný byl léčebný režim při dosahování celkových cílů pro každého pacienta.
Variabilní výběr a konstrukce prvků
Analýza se často zlepšuje sběrem jakýchkoli proměnných, které by mohly souviset s onemocněním nebo léčbou. To je zvláště důležité, když se data sbírají pozorováním, aby se předešlo zkreslení v analýze kvůli nezměřeným matoucím faktorům. Následně se sbírá více proměnných pozorování, než je skutečně zapotřebí k odhadu optimálních dynamických léčebných režimů.
Proto je výběr proměnných často vyžadován jako krok předběžného zpracování dat předtím, než se použijí algoritmy použité k nalezení nejlepšího dynamického léčebného režimu.
Vzhledem k experimentálnímu souboru dat lze optimální dynamický léčebný režim odhadnout z dat pomocí řady různých algoritmů. Lze také určit, zda odhadovaný optimální dynamický léčebný režim vede k významnému zlepšení očekávaného výsledku oproti střídavému léčebnému režimu.
Existuje několik algoritmů pro odhad optimálních dynamických léčebných režimů z dat. Mnoho z těchto algoritmů bylo vyvinuto v oblasti počítačové vědy, aby pomohly robotům a počítačům dělat optimální rozhodnutí v interaktivním prostředí. Tyto typy algoritmů jsou často označovány jako metody posilování učení (Sutton & Barto 1998)
. Nejoblíbenější z těchto metod používaných k odhadu dynamických léčebných režimů se nazývá q-learning (Watkins 1989). V q-learningových modelech jsou vhodné sekvenčně odhadnout Hodnotu léčebného režimu použitého ke sběru dat a poté jsou modely optimalizovány s ohledem na léčebné úkony, aby byl nalezen nejlepší dynamický léčebný režim. Existuje mnoho variant tohoto algoritmu včetně modelování pouze částí Hodnoty léčebného režimu (Murphy 2003, Robins 2004).