Вариантите са много.
1.
Matlab - Не съм много запознат, но има наистина огромни възможности. Използват го почти навсякъде в научната сфера. Предлага и собствен език за програмиране и моделиране на доста "сложни" неща ...
2.
Maple - За мен това е най-елегантното решение. Може да прави всичко, на което е способен един човек (и много повече). Може да се декларират функции, да се манипулират и всичко около тях. Също така има и числени методи ( всякакви ).
3.
MathCAD - предназначена предимно за инженерни сметки. Вади директни и бързи отговори.
За повече информация има множество книги за подобни software. Help секциите на програмите са изключително подробни и всичко е обяснено от-до. За хора без познания по програмиране, препоръчвам Maple и MathCAD. Въпреки че всеки математик би предпочел Maple.