共分散行列の逆行列の対角成分･･･って？

共分散行列は成分間の共分散．当然対角成分は自身との共分散だから分散になる．これはいい．でも，それの逆行列って何を意味しているんだ？たとえば3次の行列の場合は

これは，

となって，なんとなくだから全体から2と3の相関係数の自乗を引いたものなんだな(だからといって成分が何を表しているか不明だけれど)とわかる．でも，4次の行列とかだと

となって，実際には何を意味しているのかがぴんと来ない・・・
　噂によると，これの逆行列の対角成分の逆数は残差分散とかいうものになるらしいのだがまったく導出ができない・・・と，ここで詰まっている．