6.8 — Spectral Theorem (Compact) ও SVD¶

এই অধ্যায়ে কী শিখব: compact self-adjoint operator-এর spectral theorem — একটা সম্পূর্ণ orthonormal basis (ONB) of eigenvectors পাওয়া যায়, এবং \(T = \sum_n \lambda_n \langle\cdot, e_n\rangle e_n\) যেখানে \(\lambda_n \to 0\); সাধারণ compact operator-এর জন্য singular value decomposition (SVD) \(T = \sum_n \sigma_n \langle\cdot, v_n\rangle u_n\); SVD-র জ্যামিতি (unit sphere থেকে ellipsoid, semi-axes = singular values); এবং low-rank approximation দিয়ে image compression।

উৎস (source): Hilbert, Schmidt (spectral theorem ও SVD)।

৬.৮.১ কেন শিখব? (Motivation)¶

আগের অধ্যায়ে দেখেছিলাম compact operator-এর eigenvalue-গুলো \(0\)-এর দিকে যায়। কিন্তু প্রশ্ন ছিল: এই eigenvalue-গুলো কি পুরো operator-কে সম্পূর্ণভাবে describe করতে পারে? Symmetric matrix-এর মতো কি infinite-dimensional space-েও "diagonalize" করা সম্ভব?

Spectral Theorem for compact self-adjoint operators বলে: হ্যাঁ! একটা সম্পূর্ণ ONB of eigenvectors আছে, এবং operator তাদের দিয়ে পুরোপুরি লেখা যায়।

এই থিওরেম Quantum Mechanics-এর ভিত্তি — observable-রা self-adjoint operator, তাদের eigenvalue হলো পরিমাপের সম্ভাব্য মান। Singular value decomposition (SVD) তার extension: যেকোনো compact operator (self-adjoint নাও হতে পারে) diagonalize করা যায়।

কোথায় কাজে লাগে?

Machine learning: Principal Component Analysis (PCA) = SVD of covariance matrix।
Image compression: JPEG-র মূল idea SVD-based low-rank approximation।
Differential equation: Sturm-Liouville এবং heat equation-এর eigenfunctions।
Quantum mechanics: Hilbert space-এ observable-র spectral decomposition।

মূল স্বজ্ঞা

Compact self-adjoint \(T\) = \(n \times n\) symmetric matrix-এর infinite-dimensional analog। ONB of eigenvectors আছে, eigenvalue গণনাযোগ্য এবং \(\to 0\)। SVD: rectangular matrix-র মতো আর একটু সাধারণ।

৬.৮.২ মূল ধারণা (Core idea)¶

Symmetric Matrix-র কথা মনে করি¶

\(n \times n\) real symmetric matrix \(A = A^T\)-এর জন্য জানি: - \(n\)টি real eigenvalue \(\lambda_1, \ldots, \lambda_n\) আছে। - Corresponding orthonormal eigenvectors \(e_1, \ldots, e_n\) Hilbert space \(\mathbb{R}^n\)-এর ONB। - \(A = \sum_{k=1}^n \lambda_k e_k e_k^T\) (spectral decomposition)।

এখন প্রশ্ন: \(n = \infty\) হলে কী হয়?

Compact Self-adjoint Operator-এর ONB¶

\(T\) compact self-adjoint on Hilbert space \(V\): আমরা জানি eigenvalue-রা exist করে (Axler 10.96 দিয়ে \(\lVert T\rVert^2 \in \text{sp}(T^*T)\)), সংখ্যায় countable, এবং \(\to 0\)। Spectral theorem বলে এই eigenvalue-দের eigenvectors মিলে \(V\)-এর একটি ONB তৈরি করে।

ONB of eigenvectors for compact self-adjoint T

চিত্র ১: বামে 2D example: eigenvectors \(e_1, e_2\) orthogonal, \(Te_k = \lambda_k e_k\)। ডানে spectral theorem formula — \(T = \sum_k \lambda_k P_k\) যেখানে \(P_k = \langle\cdot, e_k\rangle e_k\) rank-1 projection।

৬.৮.৩ সংজ্ঞা ও উপপাদ্য (Definitions & Theorems)¶

Invariant Subspace (ভূমিকা)¶

সংজ্ঞা ১০.১০০ (Axler): Invariant Subspace

Operator \(T\) on \(V\)-এর জন্য subspace \(U \subseteq V\) কে invariant বলি যদি \(f \in U \Rightarrow Tf \in U\)।

\(T\) self-adjoint হলে: \(U\) invariant \(\Rightarrow\) \(U^\perp\) invariant।

এই সম্পত্তিটাই spectral theorem-এর প্রমাণের মূল চাবিকাঠি।

Spectral Theorem for Compact Self-adjoint Operators¶

Spectral Theorem ১০.১০৬ (Axler): ONB of Eigenvectors

ধরো \(T\) একটা compact self-adjoint operator on nonzero Hilbert space \(V\)। তাহলে:

(a) \(V\)-এর একটা ONB (orthonormal basis) আছে যার প্রতিটি element \(T\)-এর eigenvector।

(b) \(T\)-এর প্রতিটি eigenvalue real।

(c) বিভিন্ন eigenvalue-র eigenvectors orthogonal।

Spectral decomposition: ONB \(\{e_k\}_{k \in \Gamma}\) পেলে:

\[Tf = \sum_{k \in \Gamma} \lambda_k \langle f, e_k\rangle e_k\]

এই sum converge করে \(V\)-এ norm-এ।

Diagonalization T = sum of lambda_k P_k

চিত্র ২: \(T\) কে rank-1 projections-এর weighted sum হিসেবে দেখা। প্রতিটি block \(\lambda_k P_k\) একটা rank-1 operator। Series converge করে কারণ \(\lambda_k \to 0\)।

প্রমাণ-স্কেচ (Sternberg §2.3, Axler 10.106):

Step 1: \(\lVert T\rVert^2 \in \text{sp}(T^*T) = \text{sp}(T^2)\) (Axler 10.96)। \(T\) self-adjoint, তাই \(T^2\) self-adjoint এবং \(\lVert T\rVert\) বা \(-\lVert T\rVert\) একটা eigenvalue। মানে একটা unit eigenvector \(e_1\) আছে, \(Te_1 = \lambda_1 e_1\), \(\lvert\lambda_1\rvert = \lVert T\rVert\)।

Step 2: \(U_1 = \text{span}\{e_1\}\)-এর orthogonal complement \(U_1^\perp\) invariant under \(T\) (কারণ \(T\) self-adjoint)। \(T\big|_{U_1^\perp}\) আবার compact self-adjoint, এবং \(\lVert T\big|_{U_1^\perp}\rVert \leq \lVert T\rVert\)।

Step 3: Induction: প্রতি step-এ একটা নতুন eigenvector \(e_{n+1} \in U_n^\perp\) পাওয়া যায়।

Step 4 (Termination): হয় কিছু step-এ \(T\big|_{U_n^\perp} = 0\) (finite number of eigenvectors), নয়তো অসীম সংখ্যক \(e_k\) পাওয়া যায় এবং \(\lambda_k \to 0\)। যেসব \(f\) সব \(e_k\)-র সাথে orthogonal তাদের জন্য \(Tf = 0\) (অর্থাৎ শূন্য eigenvalue সম্পূরণ করে)। \(\square\)

Eigenvalue Decay¶

Corollary: Eigenvalue Decay

Compact self-adjoint \(T\)-এর eigenvalue sequence \(\{\lambda_k\}\) (multiplicty সহ) satisfies \(\lambda_k \to 0\)।

আরও নির্দিষ্টভাবে: best-rank-\(n\) approximation error হলো \(\lVert T - T_n\rVert = \lvert\lambda_{n+1}\rvert\)।

Eigenvalue decay sequences

চিত্র ৩: বিভিন্ন compact operator-এর eigenvalue decay। Polynomial decay (\(1/n\)), exponential decay (\(e^{-cn}\)), বা square-root decay (\(1/\sqrt{n}\)) — সব শেষে \(0\)-এ। Decay rate দ্রুত হলে rank-\(n\) approximation তত ভালো।

Spectral Theorem for Normal Compact Operators (Complex Case)¶

Corollary (Axler 10.107): Normal Compact Operator

Complex Hilbert space-এ compact normal operator \(T\) (অর্থাৎ \(TT^* = T^*T\))-এর জন্যও ONB of eigenvectors পাওয়া যায়।

স্বজ্ঞা: \(T = A + iB\) যেখানে \(A = (T+T^*)/2\), \(B = (T-T^*)/(2i)\) উভয়ই compact self-adjoint এবং \(AB = BA\)। দুটো commuting compact self-adjoint-এর জন্য common ONB আছে।

Singular Value Decomposition (SVD)¶

Self-adjoint ছাড়া সাধারণ compact \(T : V \to W\)-এর জন্য spectral theorem প্রযোজ্য নয়। কিন্তু \(T^*T\) compact self-adjoint, তাই singular values এবং SVD পাওয়া যায়।

সংজ্ঞা (Axler 10.112): Singular Values

Compact \(T\)-এর singular values হলো \(T^*T\)-এর eigenvalues-এর nonneg square roots:

\[s_k(T) = \sqrt{\lambda_k(T^*T)} \geq 0\]

decreasing order-এ: \(s_1(T) \geq s_2(T) \geq \cdots \geq 0\)।

SVD Theorem (Axler 10.114): Compact Operator

ধরো \(T : V \to W\) compact। তাহলে orthonormal families \(\{e_k\}_{k \in \Omega} \subset V\) এবং \(\{h_k\}_{k \in \Omega} \subset W\) এবং positive numbers \(\{s_k\}_{k \in \Omega}\) (singular values) আছে যেন:

\[T f = \sum_{k \in \Omega} s_k \langle f, e_k\rangle h_k\]

এখানে \(\{e_k\}\) হলো \(T^*T\)-এর eigenvectors (\(T^*Te_k = s_k^2 e_k\)) এবং \(h_k = Te_k/s_k\)।

স্বজ্ঞা: SVD বলে: \(V\)-তে "input directions" \(\{e_k\}\) আছে এবং \(W\)-তে "output directions" \(\{h_k\}\) আছে, এবং \(T\) প্রতিটি input direction-কে corresponding output direction-এ scale \(s_k\) দিয়ে map করে।

SVD matrix decomposition A = U Sigma V*

চিত্র ৪: SVD-র matrix picture \(A = U\Sigma V^*\)। \(U\) (orthonormal columns), \(\Sigma\) (diagonal, singular values), \(V^*\) (orthonormal rows)। Matrix case: \(T^*T = V\Sigma^2 V^*\), \(TT^* = U\Sigma^2 U^*\)।

SVD-র জ্যামিতি¶

SVD Geometry

\(T : \mathbb{R}^n \to \mathbb{R}^m\)-এর জন্য SVD বলে:

\(V\)-এর unit sphere \(\{v : \lVert v\rVert = 1\}\) map হয় একটি ellipsoid-এ।
Ellipsoid-এর semi-axes: \(s_1 \geq s_2 \geq \cdots \geq s_r > 0\)।
Semi-axis directions: \(\{u_k = Tv_k/s_k\} = \{h_k\}\) (output singular vectors)।

\[A = U\Sigma V^* \quad\Leftrightarrow\quad Av_k = s_k u_k\]

SVD geometry: unit sphere maps to ellipsoid

চিত্র ৫: বামে input space-এর unit sphere এবং right singular vectors \(v_1, v_2\)। ডানে output space-এ ellipsoid, semi-axes \(= s_1, s_2\), directions \(u_1, u_2\)। \(A\): "rotate \(\to\) stretch \(\to\) rotate again।"

Low-rank Approximation: Eckart-Young Theorem¶

Eckart-Young Theorem

\(T : V \to W\) compact। Rank-\(n\) operator \(T_n = \sum_{k=1}^n s_k \langle\cdot, e_k\rangle h_k\)। তাহলে:

\[\lVert T - T_n\rVert = s_{n+1}(T)\]

এবং \(T_n\) হলো \(T\)-এর best rank-\(n\) approximation — অর্থাৎ যেকোনো rank-\(n\) operator \(F\)-এর জন্য \(\lVert T - T_n\rVert \leq \lVert T - F\rVert\)।

Low-rank approximation error decay

চিত্র ৬: বামে singular values (bar chart) — দ্রুত decay। ডানে approximation error \(\lVert A - A_k\rVert\) (log scale) — theory (\(s_{k+1}\)) এবং numeric মিলে যায়। Eckart-Young: কম rank দিয়ে ভালো approximation।

৬.৮.৪ উদাহরণ ও Analogy¶

উদাহরণ ১: Diagonal Operator-এর Spectral Decomposition¶

\(T : \ell^2 \to \ell^2\), \(Te_k = \frac{1}{k} e_k\) (standard basis \(\{e_k\}\))।

\(T\) self-adjoint (real diagonal), compact (\(1/k \to 0\))।

Spectral decomposition:

\[Tf = \sum_{k=1}^\infty \frac{1}{k} \langle f, e_k\rangle e_k\]

\(\{e_k\}\) ইতিমধ্যেই ONB of eigenvectors। Eigenvalues \(\lambda_k = 1/k\)।

উদাহরণ ২: Integral Operator on \(L^2[0,1]\)¶

\(K(x,y) = \min(x,y)\) kernel সহ integral operator \(T : L^2[0,1] \to L^2[0,1]\):

\[(Tf)(x) = \int_0^1 \min(x,y) f(y)\,dy\]

এটা self-adjoint (\(K(x,y) = K(y,x)\)) এবং compact (\(K \in L^2\))। Eigenfunctions: \(e_k(x) = \sqrt{2}\sin(k\pi x)\) এবং eigenvalues \(\lambda_k = 1/(k\pi)^2 \to 0\)।

উদাহরণ ৩: Image Compression (SVD)¶

একটা \(m \times n\) grayscale image-কে matrix \(A\) ভাবো (\(A_{ij}\) = pixel intensity)। SVD দেয় \(A = \sum_{k=1}^r s_k u_k v_k^T\)। Rank-\(K\) approximation:

\[A_K = \sum_{k=1}^K s_k u_k v_k^T\]

Storage: \(K(m+n)\) সংখ্যা বনাম original \(mn\)। যদি \(K \ll \min(m,n)\), তাহলে অনেক কম storage।

Image compression analogy with SVD

চিত্র ৭: rank=1 থেকে rank=15 পর্যন্ত low-rank approximation। Rank বাড়লে quality বাড়ে, storage-ও বাড়ে। Original (rank=64) তুলনায় rank=5-এ মাত্র ~16% storage — মূল structure ধরা যায়।

Analogy: Radio Tuner¶

Spectral theorem হলো একটা radio receiver-এর মতো। বাতাসে অনেক frequency মিশে আছে (জটিল function \(f\))। Tuner প্রতিটি frequency \(\omega_k\) আলাদা করে এবং তার "strength" \(\langle f, e_k\rangle\) দেয়। Compact operator-এর spectral decomposition ঠিক এই কাজই করে — function \(f\)-কে eigenbasis-এ project করে।

৬.৮.৫ সাধারণ ভুল (Common mistakes)¶

"Spectral theorem সব bounded operator-এর জন্য"। না — শুধু compact self-adjoint (বা compact normal on complex space)। Arbitrary bounded operator-এর ONB of eigenvectors নাও থাকতে পারে।
Singular values = eigenvalues। তারা সমান শুধু \(T \geq 0\) self-adjoint হলে। সাধারণত \(s_k(T) = \sqrt{\lambda_k(T^*T)} \neq \lvert\lambda_k(T)\rvert\)।
SVD-তে "\(\{e_k\}\) আর \(\{h_k\}\) একই set"। না — \(\{e_k\} \subset V\) (input space), \(\{h_k\} \subset W\) (output space)। \(V = W\) হলেও এরা সাধারণত আলাদা।
"\(T_n =\) best rank-\(n\) approximation মানে \(T_n\) unique"। Eckart-Young theorem বলে \(T_n\)-এর norm error optimal, কিন্তু optimal rank-\(n\) approximation unique নাও হতে পারে (degenerate singular values থাকলে)।
Real Hilbert space-এ normal compact কিন্তু non-self-adjoint — spectral theorem নেই। \(\mathbb{R}^2\)-এ rotation \(90°\) normal কিন্তু self-adjoint নয়, eigenvalue নেই। Complex space-এ eigenvalue হয়: \(\pm i\)।
"\(\lambda_k \to 0\) তাই \(T = 0\)।" না! \(T\) nonzero, কিন্তু eigenvalues \(\to 0\)। Identity-র বিপরীতে compact operator-এর "strength" কমে যায়, মিলিয়ে যায় না।

৬.৮.৬ এক্সারসাইজ (Exercises)¶

নিজে চেষ্টা করো, তারপর সমাধান খোলো।

১. \(T\) compact self-adjoint, \(\{e_k\}\) ONB of eigenvectors with \(Te_k = \lambda_k e_k\)। দেখাও \(\lVert Tf\rVert^2 = \sum_k \lambda_k^2 \lvert\langle f, e_k\rangle\rvert^2\)।

২. \(T\) compact self-adjoint, \(\lambda_k\) eigenvalues (with multiplicity)। দেখাও \(\lVert T\rVert = \sup_k \lvert\lambda_k\rvert = \lvert\lambda_1\rvert\)।

৩. \(T\) compact self-adjoint on \(\ell^2\), \(Te_k = c_k e_k\) যেখানে \(c_k\) real, \(c_k \to 0\)। দেখাও \(T^n e_k = c_k^n e_k\) এবং \(\lVert T^n\rVert = \sup_k \lvert c_k\rvert^n\)।

৪. \(A\) একটা \(3 \times 3\) matrix:

\[A = \begin{pmatrix} 2 & 0 & 0 \\ 0 & -1 & 0 \\ 0 & 0 & 3 \end{pmatrix}\]

SVD বের করো (hint: \(A\) already diagonal, কিন্তু singular values = \(\lvert\lambda_k\rvert\) positive order-এ)।

৫. Integral operator \(T\) on \(L^2[-\pi, \pi]\):

\[(Tf)(x) = \int_{-\pi}^\pi \cos(x-y) f(y)\,dy\]

Kernel \(K(x,y) = \cos(x-y) = \cos x \cos y + \sin x \sin y\)। \(T\)-এর সব nonzero eigenvalue বের করো।

৬. SVD \(T = \sum_k s_k \langle\cdot, e_k\rangle h_k\)। দেখাও \(s_1(T) = \lVert T\rVert\)।

৭. \(A\) একটা \(m \times n\) matrix এবং \(B = A^*A\) (\(n \times n\))। দেখাও \(B\)-র nonzero eigenvalues = \(A\)-র squared singular values।

৮. Eckart-Young দিয়ে: \(A = \begin{pmatrix}3&0\\0&2\\0&0\end{pmatrix}\)-এর best rank-1 approximation \(A_1\) কোনটি? \(\lVert A - A_1\rVert\) কত?

৬.৮.৭ সমাধান (ব্যাখ্যাসহ)¶

১-নং সমাধান দেখাও

\(\{e_k\}\) ONB, তাই Parseval:

\[\lVert Tf\rVert^2 = \sum_k \lvert\langle Tf, e_k\rangle\rvert^2\]

\(T\) self-adjoint: \(\langle Tf, e_k\rangle = \langle f, Te_k\rangle = \langle f, \lambda_k e_k\rangle = \lambda_k \langle f, e_k\rangle\)।

তাই:

\[\lVert Tf\rVert^2 = \sum_k \lvert\lambda_k \langle f, e_k\rangle\rvert^2 = \sum_k \lambda_k^2 \lvert\langle f, e_k\rangle\rvert^2 \qquad \square\]

২-নং সমাধান দেখাও

Exercise 1 থেকে: \(\lVert Tf\rVert^2 = \sum_k \lambda_k^2 \lvert\langle f, e_k\rangle\rvert^2 \leq (\sup_k \lambda_k^2) \sum_k \lvert\langle f, e_k\rangle\rvert^2 = (\sup_k \lambda_k^2)\lVert f\rVert^2\)।

তাই \(\lVert T\rVert \leq \sup_k \lvert\lambda_k\rvert\)।

অন্যদিকে \(Te_1 = \lambda_1 e_1\) এবং \(\lVert e_1\rVert = 1\), তাই \(\lVert T\rVert \geq \lVert Te_1\rVert = \lvert\lambda_1\rvert = \sup_k \lvert\lambda_k\rvert\) (কারণ \(\lvert\lambda_1\rvert\) সবচেয়ে বড়)।

সুতরাং \(\lVert T\rVert = \sup_k \lvert\lambda_k\rvert = \lvert\lambda_1\rvert\)। \(\square\)

৩-নং সমাধান দেখাও

\(T^n e_k = T^{n-1}(Te_k) = T^{n-1}(c_k e_k) = c_k T^{n-1} e_k = \cdots = c_k^n e_k\)। (Induction।)

\(\lVert T^n\rVert\): Exercise 2-এর analog — \(\lVert T^n\rVert = \sup_k \lvert c_k^n\rvert = \sup_k \lvert c_k\rvert^n\)।

যদি \(\sup_k \lvert c_k\rvert = \lvert c_1\rvert\), তাহলে \(\lVert T^n\rVert = \lvert c_1\rvert^n\)। \(\square\)

৪-নং সমাধান দেখাও

\(A\) diagonal, eigenvalues \(\{2, -1, 3\}\)। Singular values \(= \lvert\) eigenvalues\(\rvert\) in decreasing order: \(s_1 = 3, s_2 = 2, s_3 = 1\)।

\(A^*A = A^T A = A^2 = \text{diag}(4, 1, 9)\), eigenvalues \(\{9, 4, 1\}\), singular values \(\{3, 2, 1\}\)। ✓

SVD: reorder columns। Right singular vectors (decreasing \(s_k\) order): \(v_1 = e_3, v_2 = e_1, v_3 = e_2\)।

Left singular vectors: \(u_k = Av_k/s_k\): - \(u_1 = Ae_3/3 = 3e_3/3 = e_3\) - \(u_2 = Ae_1/2 = 2e_1/2 = e_1\) - \(u_3 = Ae_2/1 = (-1)e_2/1 = -e_2\)

\(A = U\Sigma V^* = [e_3, e_1, -e_2] \cdot \text{diag}(3,2,1) \cdot [e_3, e_1, e_2]^T\)। \(\square\)

৫-নং সমাধান দেখাও

\(K(x,y) = \cos x \cos y + \sin x \sin y\)।

Rank-2 kernel: \(K = g_1 \otimes g_1 + g_2 \otimes g_2\) যেখানে \(g_1(x) = \cos x\), \(g_2(x) = \sin x\)।

\(Tf = \langle f, g_1\rangle g_1 + \langle f, g_2\rangle g_2\)।

Eigenvector equation \(Tf = \lambda f\): - \(f = g_1 = \cos x\): \(Tg_1 = \langle g_1, g_1\rangle g_1 + \langle g_2, g_1\rangle g_2 = \pi g_1 + 0 = \pi g_1\)। Eigenvalue \(\lambda = \pi\)। - \(f = g_2 = \sin x\): \(Tg_2 = 0 + \pi g_2\)। Eigenvalue \(\lambda = \pi\)। - \(f \perp g_1, g_2\): \(Tf = 0\)। Eigenvalue \(\lambda = 0\)।

তাই nonzero eigenvalue: শুধু \(\lambda = \pi\) (multiplicity 2)। \(\square\)

৬-নং সমাধান দেখাও

\(\lVert T\rVert = \sup_{\lVert f\rVert=1} \lVert Tf\rVert\)। SVD থেকে:

\[\lVert Tf\rVert^2 = \left\lVert \sum_k s_k \langle f, e_k\rangle h_k\right\rVert^2 = \sum_k s_k^2 \lvert\langle f, e_k\rangle\rvert^2 \leq s_1^2 \lVert f\rVert^2\]

সুতরাং \(\lVert T\rVert \leq s_1\)। অন্যদিকে \(f = e_1\): \(\lVert Te_1\rVert = s_1 \lVert h_1\rVert = s_1\)। তাই \(\lVert T\rVert = s_1\)। \(\square\)

৭-নং সমাধান দেখাও

\(B = A^*A\): \(Bv = A^*Av\)। \(B\) positive semi-definite (self-adjoint, \(\langle Bv, v\rangle = \lVert Av\rVert^2 \geq 0\))।

SVD: \(A = U\Sigma V^*\) দিলে \(A^*A = V\Sigma^* U^* \cdot U\Sigma V^* = V(\Sigma^*\Sigma)V^*\)।

\(\Sigma^*\Sigma = \text{diag}(s_1^2, s_2^2, \ldots, 0, \ldots)\)। তাই \(B\)-র eigenvalues \(= s_k^2\) (singular values squared)।

Nonzero eigenvalues of \(B\) = squared nonzero singular values of \(A\)। \(\square\)

৮-নং সমাধান দেখাও

\(A = \begin{pmatrix}3&0\\0&2\\0&0\end{pmatrix}\)। SVD: \(U = I_3\) (identity), \(\Sigma = \begin{pmatrix}3&0\\0&2\\0&0\end{pmatrix}\), \(V = I_2\)।

Singular values: \(s_1 = 3, s_2 = 2\)।

Best rank-1: \(A_1 = s_1 u_1 v_1^T = 3 \cdot e_1 \cdot e_1^T = \begin{pmatrix}3&0\\0&0\\0&0\end{pmatrix}\)।

\[\lVert A - A_1\rVert = s_2 = 2 \qquad \square\]

৬.৮.৮ সারসংক্ষেপ ও Checklist¶

এই অধ্যায়ের পর নিজেকে যাচাই করো:

[ ] Spectral Theorem জানি: compact self-adjoint \(T\) on Hilbert space \(\Rightarrow\) ONB of eigenvectors, \(T = \sum_k \lambda_k \langle\cdot, e_k\rangle e_k\)।
[ ] Eigenvalue-রা real, বিভিন্ন eigenvalue-র eigenvectors orthogonal।
[ ] Invariant subspace argument (প্রমাণের step) বুঝি।
[ ] Singular values \(s_k(T) = \sqrt{\lambda_k(T^*T)}\), decreasing।
[ ] SVD \(T = \sum_k s_k \langle\cdot, e_k\rangle h_k\) — compact operator-এর জন্য।
[ ] SVD জ্যামিতি: unit sphere \(\to\) ellipsoid, semi-axes \(= s_k\)।
[ ] Eckart-Young: rank-\(n\) approximation \(T_n\)-এর error \(= s_{n+1}\), এবং optimal।
[ ] Image compression: top-\(K\) singular values রাখলে best rank-\(K\) approximation।
[ ] Normal compact on complex Hilbert space \(\Rightarrow\) ONB of eigenvectors।

➡️ পরের অধ্যায়: 7.1 — Probability Measure ও Weak Law — Part 7 শুরু। Probability measure হলো total mass 1-এর positive measure; random variable হলো measurable function; expectation হলো integral; Weak Law of Large Numbers Chebyshev inequality থেকে আসে।