Интерполяция в треугольнике, -1.#IND ???

Здравствуйте, я создаю трёхмерную игру и мне необходимо знать высоту точки на полигоне по координатам Х и У. Я сделал программу, которая, по идее, должна определять, находится ли точка (точку передвигаю мышкой) внутри треугольника.
Я всё сделал по формулам Герона: p=(r1+r2+r3)/2; S=SQR(p(r1-p)(r2-p)(r3-p)); Сумма всех площадей(2D) треугольников, образованных точкой и сторонами полигона должна быть примерно равна площади(2D) полигона. Но я часто получаю результат "-1.#IND " Из-за чего это? И что делать?

Мою программу можно скачать по ссылке:
http://narod.ru/disk/10512678000/Interpolyaciya.exe.html

Нашёл - отрицательное значение под SQR() из-за того, что использовал 3Д расстояние между точками и могло получится, что такого треугольника не существует