Чертежа ще оставя на теб, ще караме описателно и със стандартни означения.

Търсеният косинус е на ъгъла, образуван между две височини към бедрата на околните стени. Ако тези височини са $AH$ и $CH$, където $H \in BD$, то търсим $cos\angle AHD$ и от едноименния триъгълник ще го намерим.
Първо ще си намерим околния ръб $l$. Нека $O$ да е центърът на основата, тогава по питагорова теорема от $\Delta COD$ имаме $l^2 = (\frac{a\sqrt{3}}{3})^2 + h^2 \Rightarrow l = \frac{\sqrt{3a^2 + 9h^2}}{3}$
Сега ще намерим височината към основата в околните стени - отново по питагорова теорема чрез $а$ и $l$:
$h_a^2 = l^2 - \frac{a^2}{4} = ... = \frac{a^2 + 12h^2}{12} \Rightarrow h_a = \frac{\sqrt{3a^2 + 36h^2}}{6}$
Сега ще намерим височината към бедрото от еквивалентността на формулите за лице:
$a.h_a = l.h_l \Rightarrow h_l = \frac{ah_a}{l}$ (засега ще го оставим така).
И тогава от споменатия в началото триъгълник по косинусова теорема намираме:
$cos\angle AHD = \frac{h_l^2 + h_l^2 - a^2}{2h_l.h_l} = 1 - \frac{a^2}{2h_l^2}$
Заместваме $h_l^2 = \frac{a^2.h_a^2}{l^2} = \frac{a^2.\frac{a^2 + 12h^2}{12}}{\frac{a^2 + 3h^2}{3}} = \frac{a^2(a^2 + 12h^2)}{4(a^2 + 3h^2)}$ и получаваме:
$cos\angle AHD = 1 - \frac{a^2}{2.\frac{a^2(a^2 + 12h^2)}{4(a^2 + 3h^2)}} = 1 - \frac{2(a^2 + 3h^2)}{a^2 + 12h^2} = \frac{6h^2 - a^2}{a^2 + 12h^2}$
И да съм объркал сметките, идеята е същата