Първо, да се оправим с формулите. За да не се получава тази грозна картина
а^{2}=b^{2}+c^{2}-2bc.cos\gamma
c^{2}=10+2-2\sqrt{2}c \frac{\sqrt{2}}{2}
трябва да се сложи по един знак "долар" \$ преди и след формулата и да изглежда така
\$a^{2}=b^{2}+c^{2}-2bc.cos\gamma\$
\$c^{2}=10+2-2\sqrt{2}c \frac{\sqrt{2}}{2}\$
Тогава ще получим:
$a^{2}=b^{2}+c^{2}-2bc.cos\gamma$
$c^{2}=10+2-2\sqrt{2}c \frac{\sqrt{2}}{2}$
Така формулите са по-красиви, но са грешни

Нататък - по условие са дадени страните $a$ и $b$, както и ъгъл $\alpha$! (а не $\gamma$), и се търси страната $c$.
Косинусовата теорема изглежда така:
$a^{2}=b^{2}+c^{2}-2bc.\cos\alpha$
$b^{2}=a^{2}+c^{2}-2ac.\cos\beta$
$c^{2}=a^{2}+b^{2}-2ab.\cos\gamma$
В конкретния случай използваме първата формула:
$a^{2}=b^{2}+c^{2}-2bc.\cos\alpha$
$(\sqrt {10})^2=(\sqrt {2})^2+c^2-2.\sqrt 2 c.\cos 45^\circ$
$10=2+c^2-2.\sqrt 2 c.\frac {\sqrt 2}2$
$10=2+c^2-2.\cancel{\sqrt 2} c.\frac {\cancel{\sqrt 2}}{\cancel 2}$
Получаваме квадратно уравнение спрямо $c$:
$c^2-2c-8=0$ с корени $4$ и $-2$, от които в учебника съвсем правилно е посочен само положителният