Vi presenterar CheckFree En feltolerant metod för decentraliserad träning, utan kontrollpunkter eller redundant beräkning. Upp till 1,6 gånger snabbare än befintliga metoder, utan konvergensförlust. Vi använder det öppen källkod idag.

Feltolerans är avgörande i decentraliserad träning, eftersom noder är opålitliga och benägna att misslyckas. Nya arbeten har föreslagit olika återställningsmetoder, även om de fortfarande kräver redundant beräkning eller kontrollpunkter, vilket lägger till tid och beräkning.

Så här fungerar det CheckFree återställer istället det misslyckade steget med de genomsnittliga vikterna för sina intilliggande steg. Detta ger ett effektivt sätt att approximera de förlorade vikterna, med minimal effekt på konvergensen. Blogg:

Detta låser upp: – Upp till 1,6 gånger snabbare träningstid än konventionell checkpointing – Upp till 1,2 gånger snabbare än att använda redundant beräkning – Inget extra minne eller beräkning krävs

Vi använder det öppen källkod idag, som en viktig byggsten för decentraliserad utbildning. Blogg: Papper: Kod:

Vi är glada över att kunna använda öppen källkod idag, som en viktig byggsten för decentraliserad utbildning. Blogg: Papper: Kod: