Имаш да приложиш няколко правила: производна на частно и на функция от функция (всъщност нямам идея как са академичните имена на правилата на български, но се надявам да ме разбра

).
Обозначаваш $g(x) = x^5; h(x) = (x^2-1)^2$
Тогава $y = f(x) = \frac{g(x)}{h(x)}$
По правилото за производна на частно:
$f'(x) = \frac{g'(x).h(x) - g(x).h'(x)}{(h(x))^2}$
За целта намираш:
$g'(x) = 5x^4$
$h'(x) = 2(x^2-1).2x = 4x(x^2-1)$
И заместваш горе:
$f'(x) = \frac{5x^4.(x^2-1)^2 - x^5.4x(x^2-1)}{(x^2-1)^4} = \frac{5x^6 - 5x^4 - 4x^6}{(x^2-1)^3} = \frac{x^4(x^2 - 5)}{(x^2-1)^3}$