En af de hyppigst anvendte aktiveringsfunktioner i maskinlæring, eller mere specifikt i neurale netværk, er den sigmoide funktion. I backpropagationstrinnet i træningen af et neuralt netværk skal man finde den afledte værdi af tabsfunktionen i forhold til hver vægt i netværket. For at gøre dette skal du finde den afledte værdi af din aktiveringsfunktion. Denne artikel har til formål at opklare enhver forvirring om at finde den afledte af sigmoidfunktionen.

Til at begynde med er her sigmoidfunktionen:

Til en test kan du tage sigmoidfunktionen af 5 på din lommeregner. Du skulle få 0,99330714907.

Med henblik på den afledte funktion kan denne funktion også skrives som:

Det første jeg lagde mærke til ved denne funktion, er at den er en sammensætning af funktioner. Den første funktion er

og den anden er

Husk, at i calculus, når der er tale om en sammensætning af funktioner, den afledte, er den første funktion i forhold til den anden ganget med den anden funktion i forhold til variablen, i dette tilfælde x. På denne måde:

Så, den afledte af sigmoidfunktionen med hensyn til x er den afledte af sigmoidfunktionen med hensyn til m gange den afledte af m med hensyn til x. Du kan se denne funktionskompositionsregel som en slags mellemregning, der resulterer i den oprindelige afledte, som du ønskede ved krydsannullering:

Nu da vi ved, at sigmoidfunktionen er en sammensætning af funktioner, er det eneste, vi skal gøre for at finde den afledte, er:

  1. Find den afledte af sigmoidfunktionen med hensyn til m, vores mellemværdi
  2. Find den afledte af m med hensyn til x
  3. Multiplicer disse værdier sammen

Derivat af sigmoidfunktionen med hensyn til m

Lad os se tilbage på, hvordan sigmoidfunktionen ser ud med m som vores mellemværdi:

Af at finde den afledte af dette med hensyn til m er ret simpelt, hvis vi kan huske potensreglen:

Den afledte af x^n er n gange den afledte af x til potensen af n-1.

Så,

Nu, hvis vi indsætter vores oprindelige værdi af m tilbage i ligningen, får vi

Endeligt,

Ja! Vi har gennemført trin 1.

Find den afledte af m med hensyn til x

Her er m:

For at finde den afledte, skal vi finde den afledte af hvert udtryk med hensyn til x. Det første term er let:

Det andet term er lidt mere kompliceret.

Lad os

og

Vi ved, at

hvis det ikke er klart at komme til e^u, bedes du læse dette.

Nu bruger vi igen kædereglen,

Så vi skal bare gange de afledninger, vi lige har beregnet, for at få den afledte med hensyn til x:

Alt i alt for trin 2,

Multiplikér de afledte

Husk, at når vi først havde fundet de to mellemliggende afledte, skulle vi multiplicere dem. Så her er en hurtig opsummering:

Nu, hvis du husker hvordan man multiplicerer :), kan vi endelig blive færdige med dette!

Du kan nu tage denne værdi og bruge den som afledning af sigmoidfunktionen. Der sker dog en interessant ting, efter at du har manipuleret dette resultat. Det viser sig, at du kan omskrive den afledte funktion på denne måde:

Den afledte af sigmoidfunktionen er sigmoidfunktionen gange 1 minus sigmoidfunktionen. Wow. Jeg føler mig snydt. 🙂