Последните два реда в червено, които сте записали, не са равносилни (равнозначни). Равносилно е следното преобразувание:
$$\\[24pt]|\vec{AB}|^{2}=|\vec{A}|^{2}+|\vec{B}|^{2}-2\cdot{}|\vec{A}|\cdot{}|\vec{B}|\cdot{}\cos{\theta} \\[12pt] \cos{\theta}=\dfrac{|\vec{A}|^{2}+|\vec{B}|^{2}-|\vec{AB}|^{2}}{2\cdot{}|\vec{A}|\cdot{}|\vec{B}|} \\[12pt] \vec{A}\cdot{}\vec{B}= |\vec{A}|\cdot{}|\vec{B}|\cdot{}\cos{\theta}=\dfrac{|\vec{A}|^{2}+|\vec{B}|^{2}-|\vec{AB}|^{2}}{2} \\[12pt] \vec{A}\cdot{}\vec{B}=\dfrac{50+80-90}{2}=20 $$
$ \begin{cases}\vec{A}=(5, 5) \\ \vec{B}=(8, -4) \end{cases} \quad \vec{A}\cdot{}\vec{B} = 5\cdot{}8+5\cdot{}(-4)=40-20=20 $
Скаларното произведение не показва сила. Обикновено във физиката то е показател за мощност (сила по скорост), работа (сила по преместване) или някаква енергия. Във вашата задача не е ясно какво преставляват векторите, не са указани мерките на единичните вектори по осите, следователно не може да се запише размерност.
$ \\[12pt] \cos{\theta}=\dfrac{|\vec{A}|^{2}+|\vec{B}|^{2}-|\vec{AB}|^{2}}{2\cdot{}|\vec{A}|\cdot{}|\vec{B}|}=\dfrac{50+80-90}{2\cdot{}5\sqrt{2}\cdot{}4\sqrt{5}}=\dfrac{40}{40\sqrt{10}}=\dfrac{\sqrt{10}}{10}\\[12pt] $
[tex]\color{lightseagreen}\text{''Който никога не е правил грешка, никога не е опитвал нещо ново.''} \\
\hspace{21em}\text{(Алберт Айнщайн)}[/tex]