Zarrie, извини ме! Малко прибързано "приключих" със задачата.
Коригираното рекурентно уравнение (благодарение на kucheto, за което му благодаря!)
[tex]a_{n+1}+3a_{n}-4a_{n-1}=0[/tex],
има характеристично уравнение с корени [tex]r_{1}=1[/tex] и [tex]r_{1}=-4[/tex]
Както си отбелязал, коефициентите сега се получават
[tex]\begin{array}{|l} c_1=\frac{a_0-a_1}{5}=\frac{a_0-21x+4a_0}{5} \\ c_2 = \frac{105x-16a_0-4a_1}{5} =0 \end{array}[/tex]
Така рекурентната редица има общ член
[tex]a_{n}=a_0 - \frac{21}{5}x[/tex]
Връщаме се към функционалния запис. Горното означава, че за [tex]n=1[/tex]
[tex]f \left ( f(x) \right )= f(x)- \frac{21}{5}x[/tex]
Но в началото
[tex]f \left ( f(x) \right )=21x- f(x)[/tex]
Следователно [tex]f(x)=\frac{63}{5}x[/tex]
За съжаление по тази формула не може да получаваме [tex]f:\mathbb{N}\rightarrow \mathbb{N}[/tex]

________
Да наблегнем на поуката. Ако коефициентът [tex]c_2[/tex] не се беше получил нула, функция [tex]f:\mathbb{N}\rightarrow \mathbb{N}[/tex] нямаше да съществува още в този момент - получаваше се знакопроменлива и неограничена, т.е. и с отрицателни стойности. Ако модулите и на двата характеристични корени бяха по-големи от 1, също не можем да очакваме положителен резултат.
Feci, quod potui, faciant meliora p0tentes.
Сторих каквото можах, по-добрите по-добро да направят.