Multimedia Signal

• Multimedia = gabungan audio, gambar, video, animasi, teks — semua direpresentasikan sebagai sinyal; fondasinya Digital Signal Processing (DSP).
• Representasi sinyal penting untuk penyimpanan, kompresi, filtering, klasifikasi, analisis (Spotify, Netflix, Zoom, face/speech recognition, medical imaging, VR).
• Timeline: analog radio/TV → FFT & digital filter → JPEG/PCM → MP3/MPEG → streaming H.264 → ML → CNN/LSTM → ViT, CLIP, generative AI.
• Audio x(t): amplitude, frequency, phase — contoh suara manusia, musik, kendaraan.
• Citra: matriks piksel (binary, grayscale 0–255, RGB); video = urutan frame (audio + banyak piksel × frame rate → bandwidth besar, contoh Zoom vs WhatsApp voice).
• Pendengaran: 20 Hz–20 kHz; bicara ~300–3400 Hz; paling sensitif 2–5 kHz (dasar MP3 psychoacoustics).
• Penglihatan: cahaya 380–750 nm; model RGB per kanal 0–255.
• Tren riset 2026–2030: multimodal foundation models, NeRF/3D Gaussian splatting, edge ultra-low latency, generative signal processing.
• Eksperimen slide: librosa waveform, sinusoid NumPy, citra PIL sebagai matriks, video OpenCV sebagai frame.

Tiga modalitas utama multimedia dari slide Bab 2.

flowchart TB
  MM["Multimedia"]
  A["Audio x(t) — 1D waktu"]
  I["Image — matriks piksel"]
  V["Video — frame + audio"]
  MM --> A
  MM --> I
  MM --> V
  V --> A
  V --> I