大きな問題は小さな問題に分解して考えよう。

三次元空間上の、点と直線の距離の公式は
http://www.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech0044.html
ここにある。

あとは透視図法でマウスが指している直線を求める。

そして直線と各点からの最短距離を求める。