디지털 이미지 처리
전자책 링크: 数字图像处理（中）第三版 (1).pdf
1, 2, 4, 6.1-6.2, 8장을 학습하고, 8장은 JPEG 인코딩 세부 소개와 함께 보면서 인코딩의 대략적인 흐름을 파악하세요.
딥러닝
먼저 Python에 대한 충분한 이해가 필요합니다. 선택적 전자책: Python编程：从入门到实践.pdf
PyTorch를 학습하세요. Bilibili 관련 강좌: 이무를 따라 AI 배우기 개인 공간 - 직접 해보는 딥러닝 PyTorch판 - Bilibili 비디오, 00~29.2, 31, 33-37, 47, 47.2를 중점적으로 보세요.
입문 기초 논문
논문과 코드(CompressAI)를 결합하여 직접 모델 세트를 훈련하고 RD 곡선을 그려보세요.
일반적인 훈련, 검증 데이터셋: ImageNet/COCO
일반적인 테스트 데이터셋: 24장의 Kodak 이미지, 원본 이미지의 가장자리 이상으로 인해 때때로 정사각형으로 자른 이미지를 사용합니다.
- Ballé, J., et al. (2015). "Density modeling of images using a generalized normalization transformation." arXiv preprint arXiv:1511.06281. AI Codec에서 자주 사용되는 활성화 레이어 GDN, 관련 코드: CompressAI/compressai/layers/gdn.py at master · InterDigitalInc/CompressAI (github.com)
- Ballé, J., et al. (2016). "End-to-end optimized image compression." arXiv preprint arXiv:1611.01704. AI Codec의 기본 아키텍처를 소개하며, JPEG 인코딩과 함께 보면서 두 프로세스에 공통적으로 있는 변환, 양자화, 엔트로피 코딩을 비교하고 RD 손실 함수를 이해할 수 있습니다. 관련 코드: CompressAI/compressai/models/google.py at a4ae2eeef7bdb1b84ba076ac0d650b523f3fa882 · InterDigitalInc/CompressAI · GitHub
- Ballé, J., et al. (2018). "Variational image compression with a scale hyperprior." arXiv preprint arXiv:1802.01436. 기본 아키텍처에 하이퍼프라이어(hyper)를 추가합니다. 관련 코드: CompressAI/compressai/models/google.py at a4ae2eeef7bdb1b84ba076ac0d650b523f3fa882 · InterDigitalInc/CompressAI · GitHub
Minnen, D., et al. (2018). "Joint autoregressive and hierarchical priors for learned image compression." Advances in neural information processing systems.
자기회귀(autoregressive)와 하이퍼프라이어, 관련 코드: CompressAI/compressai/models/google.py at a4ae2eeef7bdb1b84ba076ac0d650b523f3fa882 · InterDigitalInc/CompressAI · GitHub
참고: CompressAI는 Linux에서 pip으로 직접 설치할 수 있지만 Windows 설치 패키지는 제공되지 않으므로 다음 절차에 따라 설치하세요:
- Visual Studio에서 C++ 관련 패키지를 설치하고 재시작합니다.
- conda를 사용하여 새 Python 환경을 만들고 pytorch, scipy, matplotlib, pytorch-msssim을 설치합니다.
- 위 환경을 활성화하고 CompressAI를 로컬에 클론한 후, 터미널에서 해당 디렉토리로 이동하여
pip install .을 실행합니다.