Ny gratisbok tar deg fra grunnene i reinforcement learning til PPO
fredag 17. juli · KI-generert · Kilde: GitHub
Last ned «The Little Book of Reinforcement Learning», en gratis innføring som tar deg fra Monte Carlo-metoder til PPO med PyTorch-kode for hver algoritme.
De fleste RL-ressurser tvinger deg til å velge: enten en tett lærebok full av bevis, eller løsrevne kodeeksempler uten teorien bak. «The Little Book of Reinforcement Learning», publisert av utvikleren alxndrTL, prøver å lande i midten. Ifølge prosjektets GitHub-side er den en kort innføring som går fra grunnprinsippene i reinforcement learning til anvendte algoritmer, med versjon 1 ute i juni 2026.
Det som skiller boka fra en ren PDF er at koden følger med. Slik er materialet organisert:
- Under
algos/ligger PyTorch-implementasjoner av algoritmene boka dekker, fra Monte Carlo til PPO. - Mappa
supplementary/inneholder detaljerte utledninger og bevis for dynamisk programmering, opprinnelig skrevet i 2021. - Selve boka kan leses digitalt eller skrives ut fysisk.
PPO er algoritmen bak mye av dagens RLHF-trening, så veien fra grunnprinsipper til nettopp PPO treffer alle som vil forstå hvordan språkmodeller finjusteres. Boka er distribuert under en ikke-kommersiell Creative Commons-lisens (CC BY-SA 4.0).