Dodanie ładnego sposobu wizualizacji celu PPO do książki rlhf. Kluczowe dla gradientu polityki to L~ R*A (R=wskaźnik polityki, A = przewaga). Spraw, aby dobre działania były bardziej prawdopodobne do pewnego momentu. Spraw, aby złe działania były mniej prawdopodobne do pewnego momentu. Min(...), oraz znak & przewagi określają, która linia.