url arama ve istatistikler

kullanıcının verdiği bir url ile onun altındaki kaynaktaki linkleri teker teker bakıp arayan uzunluğunu ismini outdegree ve indegreesini veren bir programa ihtiyacım var, en büyük sorunum type'ını bulurken
HTML::TokeParser->new(\$res->content) kullandığımda type olarak sadece html uzantıları buluyor, php,asp,xls etc. uzantılı urller için type'ını bulmuyor bu sorunu gideremiyorum yardımcı olursanız sevinirim.