[FEAT] Visualize transformer Transformer-Explainability

[CoodingPenguin]

😥 Explain the Problem

• 현재 모델을 판단하는 지표로 ground truth token과 error rate가 높은 이미지를 보고 판단을 하고 있다.
• 하지만 이렇게 보려면 모든 이미지와 ground truth를 비교해가며 잘 안 나온 경우의 공통점을 분석해야 한다.
• 정확한 판단을 위해서는 모델이 어떻게 해석을 하는지를 알 필요가 있다.

✨ Describe A New Feature

• 저번 주 금요일에 진행한 "트랜스포머 시각화"를 참고하여 아래 GitHub를 이용하면 인코더 단에 결과값을 가져와 히트맵으로 시각화할 수 있다.
• 이 히트맵 결과를 wandb에 올려서 모델 성능 판단을 조금 더 직관적으로 할 수 있게 된다.

https://github.com/hila-chefer/Transformer-Explainability