8.6 — Spectral Theory (বর্ণালী তত্ত্ব)¶

এই অধ্যায়ে কী শিখব: eigenvalue ও eigenfunction, spectrum, self-adjoint operator-এর real eigenvalue ও orthogonal eigenspace, finite/compact এবং general spectral theorem-এর পার্থক্য, এবং singular value কীভাবে \(A^*A\)-এর spectrum থেকে আসে। Fourier series একটি discrete orthonormal-basis expansion; Fourier transform continuous spectral representation। উপযুক্ত domain ও boundary condition-এ Fourier mode Laplacian-এর eigenfunction বা generalized eigenfunction হয়—এই idea থেকে graph Fourier transform তৈরি হয়।

উৎস (source): Mathematical Foundations of Geometric Deep Learning — Borde ও Bronstein।

১. কেন শিখব? (Motivation)¶

ধরো তোমার হাতে একটা জটিল linear transformation আছে — একটা matrix, differential operator, বা graph-এর উপর signal ছড়ানোর নিয়ম। Spectral theory জিজ্ঞেস করে operator-টির spectrum কী এবং কোন representation-এ তার action সহজ হয়। Finite-dimensional self-adjoint matrix ও compact self-adjoint operator-এর ক্ষেত্রে orthonormal eigenbasis পাওয়া যায়, তাই operator প্রতিটা basis direction-এ শুধু \(\lambda\) দিয়ে গুণ করে। কিন্তু arbitrary bounded বা self-adjoint operator-এর eigenbasis থাকতেই হবে না; continuous spectrum থাকলে projection-valued measure বা multiplication-operator representation লাগে।

কেন এটা এত শক্তিশালী? কারণ diagonal বা spectral representation-এ একটা linear operator-এর power, exponential বা inverse (যেখানে থাকে) spectrum-এর প্রতিটি অংশে scalar function প্রয়োগ করে বের করা যায়। Nonlinear problem নিজে থেকে eigenbasis-এ linear হয়ে যায় না; তবে তার linearized operator বা linear PDE mode-by-mode সহজ হতে পারে।

এই একই ধারণা বিজ্ঞানের প্রায় সর্বত্র:

Principal Component Analysis (PCA): ডেটার covariance matrix-এর eigenvector-গুলোই হলো ডেটার "প্রধান দিক" — spectral theorem-এর সসীম-মাত্রিক (finite-dimensional) রূপ।
PDE সমাধান: উপযুক্ত domain ও boundary condition-এ তাপ/তরঙ্গ সমীকরণ Laplacian-এর discrete eigenbasis বা continuous Fourier spectral representation-এ mode-by-mode decouple হয়।
Quantum mechanics: observable self-adjoint operator দিয়ে model করা হয়; measurement-এর possible values পুরো spectrum থেকে আসে—শুধু eigenvalue থেকে নয়, কারণ continuous spectrum-ও থাকতে পারে।
Google PageRank, vibration mode, network analysis: অনেক গুরুত্বপূর্ণ computation eigenvector, singular vector বা spectrum analyze করার সমস্যায় reduce হয়; সব problem শুধু dominant eigenvector নয়।

GDL-এর জন্য কেন গুরুত্বপূর্ণ? Periodic domain-এ \(e^{inx}\) Laplacian eigenfunction; \(\mathbb R\)-এ plane wave generalized eigenfunction। Finite undirected graph-এ symmetric Laplacian-এর eigenvector-গুলোকে graph Fourier basis ধরা যায়। Spectral filter permutation-equivariant হতে পারে, কিন্তু arbitrary spectral multiplier সাধারণত global; polynomial/appropriately constrained filter ব্যবহার করলে locality পাওয়া যায়। তাই spectral theory Euclidean Fourier idea-কে graph ও manifold-এ extend করার একটি bridge, তবে locality automatic নয়।

মূল স্বজ্ঞা

Finite-dimensional self-adjoint matrix এবং compact self-adjoint operator eigenvector/eigenfunction দিয়ে orthogonally decompose হয়। General self-adjoint operator-এর spectral theorem আরও বিস্তৃত: discrete eigenbasis-এর বদলে continuous spectral measure লাগতে পারে। Fourier transform \(\mathbb R\)-এ Laplacian-এর generalized eigenfunction representation, আর finite graph-এ symmetric graph Laplacian-এর সত্যিকারের finite eigenbasis পাওয়া যায়।

২. মূল ধারণা (Core idea)¶

Eigenvector ও eigenvalue: রূপান্তরের অপরিবর্তনীয় দিক¶

সবচেয়ে বেসিক ছবিটা দিয়ে শুরু করি। একটা matrix \(A\) একটা vector \(v\)-কে অন্য একটা vector \(Av\)-তে পাঠায় — সাধারণত দিক (direction) ও দৈর্ঘ্য (length) দুটোই বদলে যায়। কিন্তু কিছু বিশেষ দিক আছে যেগুলো \(A\) বদলায় না — শুধু সেই দিক বরাবর টেনে লম্বা করে বা চেপে ছোট করে। এই বিশেষ দিকের vector-ই eigenvector (আইগেনভেক্টর), আর যে গুণক দিয়ে সেটা টানা/চাপা হয় সেটা eigenvalue (আইগেনমান)।

গাণিতিকভাবে, \(v \neq 0\) যদি সিদ্ধ করে

\[Av = \lambda v,\]

তবে \(v\) হলো eigenvector আর \(\lambda\) হলো সংশ্লিষ্ট eigenvalue। "কি" হচ্ছে এখানে? বাঁ পাশে \(A\) পুরো রূপান্তরটা প্রয়োগ করছে; ডান পাশে সেটা নিছক একটা সংখ্যা \(\lambda\) দিয়ে গুণে পরিণত হয়েছে। "কেন" এটা বিশেষ? কারণ যে দিকে এটা সত্য, সেই দিকে জটিল রূপান্তরটা কেবল একটা scaling (মাপ-বদল)।

eigenvalue-র চিহ্ন ও মান থেকে জ্যামিতি (geometry) পড়ে ফেলা যায়:

\(\lambda > 1\): \(v\) একই দিকে থাকে, কিন্তু টেনে লম্বা হয়।
\(0 < \lambda < 1\): একই দিকে থাকে, চেপে ছোট হয়।
\(\lambda < 0\): দিক উল্টে যায় (মূলবিন্দুর ওপাশে প্রতিফলিত), কারণ ঋণাত্মক সংখ্যা দিয়ে গুণ মানে বিপরীতমুখী করা।
\(\lambda = 0\): \(v\) চুপসে শূন্যে চলে যায় — এই দিকটা \(A\)-এর null space (শূন্য-স্থান)-এ।

একটা গুরুত্বপূর্ণ কথা: eigenvector মাপ-নিরপেক্ষভাবে (up to scale) সংজ্ঞায়িত। যদি \(v\) eigenvector হয়, তবে যেকোনো \(\alpha \neq 0\)-এর জন্য \(\alpha v\)-ও eigenvector, একই eigenvalue নিয়ে — কারণ \(A(\alpha v) = \alpha (Av) = \alpha(\lambda v) = \lambda(\alpha v)\)। তাই সুবিধার জন্য আমরা প্রায়ই একক দৈর্ঘ্যের (unit length, \(\lVert v\rVert = 1\)) eigenvector বেছে নিই।

Matrix থেকে operator: eigenvector কীভাবে eigenfunction হয়¶

প্রথম পরিচয়ে \(A\) থাকে একটা matrix — সংখ্যার একটা সসীম চৌকো সারণি, যা সসীম-মাত্রিক জগতে একটা linear transformation সংজ্ঞায়িত করে। তখন eigenvector হলো \(\mathbb{R}^n\) বা \(\mathbb{C}^n\)-এর সাধারণ vector। কিন্তু Part 8.5-এ আমরা দেখেছি Hilbert space-এর "vector"-রা প্রায়ই আসলে function (ফাংশন) — যেমন \(L^2\) space-এর বর্গ-সমাকলনযোগ্য (square-integrable) function-রা।

এখন \(A\) আর matrix নয়, বরং একটা operator \(A : V \to V\) যা একটা function-কে আরেকটা function-এ পাঠায় (উদাহরণ: অন্তরকলন \(d/dx\), বা Laplacian \(\Delta = d^2/dx^2\))। eigen-সমীকরণ \(Av = \lambda v\) হুবহু একই থাকে, শুধু এখন \(v\) একটা function — তাই তাকে বলি eigenfunction (আইগেনফাংশন), আর \(\lambda\) এখনও একটা scalar eigenvalue। সসীম-মাত্রিক জগতে eigenfunction আর eigenvector একই জিনিস; "eigenfunction" শব্দটা মূলত অসীম-মাত্রিক (function-space) প্রসঙ্গে ব্যবহৃত হয়।

মনে রাখো

matrix ↔ সসীম-মাত্রিক vector space; operator ↔ অসীম-মাত্রিক function space (যেমন \(L^2\))। কিন্তু eigen-ধারণাটা এক — "যে দিক/function কে operator শুধু scale করে।"

Spectrum (বর্ণালী) কী¶

একটা bounded operator \(A\)-এর spectrum হলো সেই সব scalar \(\lambda\)-র set যাদের জন্য \(A-\lambda I\)-এর bounded inverse নেই। প্রতিটা eigenvalue spectrum-এ থাকে, কিন্তু spectrum-এর প্রতিটা point eigenvalue নাও হতে পারে; residual বা continuous spectrum-ও থাকতে পারে। Spectrum operator-এর invertibility ও dynamics সম্পর্কে গভীর তথ্য ধরে।

Compact self-adjoint operator-এর nonzero eigenvalue-গুলো সসীম বা countably infinite হতে পারে; nonzero spectrum discrete এবং একমাত্র সম্ভাব্য accumulation point \(0\)। এই statement arbitrary operator-এর জন্য নয়। যেমন \(L^2[0,1]\)-এ multiplication operator \((Mf)(x)=x f(x)\) self-adjoint হলেও তার spectrum \([0,1]\) continuous এবং কোনো nonzero \(L^2\) eigenfunction নেই।

Self-adjoint operator ও spectral theorem-এর স্বজ্ঞা¶

সব operator সমান সুন্দর নয়। সবচেয়ে সুন্দর শ্রেণিটা হলো self-adjoint (স্ব-সংযুক্ত) operator, যাদের জন্য \(A^\ast = A\), অর্থাৎ

\[\langle Au, v\rangle = \langle u, Av\rangle \quad \forall u, v \in V.\]

এটা সসীম-মাত্রিক জগতে বাস্তব symmetric matrix (\(A = A^\top\)) বা জটিল Hermitian matrix (\(A = A^\ast\))-এর সরাসরি সাধারণীকরণ। Spectral theorem finite-dimensional বা compact case-এ eigenbasis দেয়; general self-adjoint case-এ projection-valued spectral measure দিয়ে operator represent করে। সব ক্ষেত্রেই —

eigenvalue সবসময় বাস্তব (real),
ভিন্ন eigenvalue-র eigenfunction পরস্পর লম্ব (orthogonal),
compact self-adjoint case-এ nonzero eigenspace-গুলোর basis-এর সঙ্গে kernel-এর orthonormal basis যোগ করলে পুরো space-এর একটা orthonormal basis পাওয়া যায়।

প্রথম দুই property self-adjointness থেকেই আসে; তৃতীয় eigenbasis property-র জন্য compactness বা finite dimension-এর মতো extra condition লাগে। এদের আনুষ্ঠানিক প্রমাণ পরের অংশে করব।

Fourier analysis: যেকোনো orthonormal basis-এ ভেঙে ফেলা¶

এবার Fourier। মূল ধারণাটা এক লাইনে: একটা বস্তুকে (function বা vector) একটা সুবিধাজনক basis-এর উপাদান বরাবর ভেঙে ফেলা। eigenvalue-decomposition, singular value decomposition, আর Fourier series — এই তিনটেই একই সুরের গান: কোনো বস্তুকে নির্দিষ্ট দিক/ভিত্তির যোগফল হিসেবে লেখা।

ধরো \(\{v_\alpha\}\) একটা Hilbert space \(V\)-এর orthonormal basis। তাহলে যেকোনো \(u \in V\)-কে লেখা যায়

\[u = \sum_\alpha \langle u, v_\alpha\rangle\, v_\alpha.\]

এখানে সহগ (coefficient) \(\hat{u}_\alpha = \langle u, v_\alpha\rangle\)-দের বলে \(u\)-এর Fourier coefficient (ফুরিয়ে সহগ) বা Fourier transform। প্রতিটা \(\hat{u}_\alpha\) মাপে "\(u\)-এর মধ্যে \(v_\alpha\)-দিকের উপাদান কতটুকু আছে" — অর্থাৎ \(u\)-এর \(v_\alpha\)-এর উপর orthogonal projection-এর মাপ। খুলে লিখলে:

\[u = \hat{u}_1 v_1 + \hat{u}_2 v_2 + \hat{u}_3 v_3 + \cdots\]

এটা ঠিক \(\mathbb{R}^3\)-এ একটা vector-কে \(\hat{x}, \hat{y}, \hat{z}\) অক্ষ বরাবর উপাদানে ভাঙার মতো — শুধু এখানে "অক্ষ"-সংখ্যা অসীমও হতে পারে, আর অক্ষগুলো function।

"সাধারণ" (চিরায়ত) Fourier-তে এই basis হয় ত্রিকোণমিতিক (sine, cosine, বা জটিল সূচক \(e^{inx}\))। কিন্তু ধারণাটা যেকোনো orthonormal basis-এই খাটে। যদি সূচক \(\alpha\) বিচ্ছিন্ন (discrete) হয় → পাই Fourier series (যোগফল)। যদি \(\alpha\) ধারাবাহিক (continuous) হয় → যোগফল হয়ে যায় সমাকল (integral), আর পাই continuous Fourier transform:

\[\hat{f}(\omega) = \int_{-\infty}^{\infty} f(x)\, e^{-i\omega x}\, dx,\qquad f(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty}\hat f(\omega)e^{i\omega x}\,d\omega,\]

উপরের normalization convention-এ inversion formula-তে \(1/(2\pi)\) আসে। \(\mathbb R\)-এ \(e^{i\omega x}\) নিজে \(L^2(\mathbb R)\)-এর member নয়, তাই এগুলো ordinary Hilbert basis নয়; Laplacian-এর generalized eigenfunction, আর integral-টি continuous spectral decomposition। যথাযথ integrability/regularity বা \(L^2\) interpretation ধরে formula ব্যবহার করতে হয়।

মূল রহস্য: Fourier হলো Laplacian-এর eigenbasis¶

এবার এই অধ্যায়ের হৃদয়। প্রশ্ন: এতগুলো basis থাকতে Fourier ঠিক \(e^{inx}\) (বা \(\sin, \cos\))-কেই বেছে নেয় কেন? উত্তর: কারণ \(e^{inx}\) হলো Laplacian operator-এর eigenfunction।

দেখে নাও — \(\Delta = \dfrac{d^2}{dx^2}\) ধরলে,

\[\Delta e^{inx} = \frac{d^2}{dx^2} e^{inx} = (in)^2 e^{inx} = -n^2\, e^{inx}.\]

অর্থাৎ \(e^{inx}\) হলো \(\Delta\)-এর eigenfunction, eigenvalue \(-n^2\)। (অনেক লেখায় ধনাত্মক Laplacian \(-\Delta = -\dfrac{d^2}{dx^2}\) নেওয়া হয়, যাতে eigenvalue হয় \(+n^2 \ge 0\) — GDL-এ graph Laplacian-এর সাথে মেলাতে এই ধনাত্মক সংস্করণই সুবিধাজনক। যেভাবেই দেখো, "frequency-বর্গ" \(n^2\)-ই eigenvalue-র মাপ।)

এখান থেকে সব রহস্য খুলে যায়:

Fourier transform নেওয়া = Laplacian-এর eigenbasis-এ বদলে নেওয়া। \(\hat{f}(n) = \langle f, e^{inx}\rangle\) মানে \(f\)-কে \(\Delta\)-এর \(n\)-তম eigenfunction-এর উপর project করা।
কেন Fourier differential operator ও convolution-কে diagonalize করে? কারণ eigenbasis-এ operator diagonal হয়ে যায়। \(\Delta\)-কে Fourier-এ নিলে সে প্রতিটা mode-এ শুধু \(-n^2\) দিয়ে গুণ — জট নেই।
"Frequency" শব্দটার অর্থ: \(\lvert n\rvert\) যত বড়, eigenvalue \(n^2\) তত বড়, function \(e^{inx}\) তত দ্রুত দুলে (oscillate করে) — উচ্চ কম্পাঙ্ক। ছোট \(n\) → মসৃণ, ধীর দোলন — নিম্ন কম্পাঙ্ক।

সুতরাং positive Laplacian-এর eigenvalue সাধারণত frequency-এর বর্গ মাপে: \(\lambda=n^2\), তাই frequency scale \(\sqrt\lambda=|n|\)। Sign ও multiplicity মাথায় রেখে Fourier-কে Laplacian-এর spectral decomposition হিসেবে দেখা যায়।

Euclidean থেকে graph: graph Fourier transform¶

এখন GDL-এর মূল লাফ। উপরের গল্পে "কম্পাঙ্ক" কোনো জায়গায় \(e^{inx}\)-এর উপর নির্ভর করেনি — সে নির্ভর করেছে কেবল Laplacian-এর eigenbasis-এর উপর। তাহলে domain বদলে graph করলেও যদি একটা Laplacian পাই, তাহলেই সেখানে Fourier সংজ্ঞায়িত হয়ে যাবে।

একটা graph \(G\)-এর \(n\) সংখ্যক node-এর জন্য graph Laplacian সংজ্ঞায়িত করা হয়

\[L = D - A,\]

যেখানে \(A\) হলো adjacency matrix (সংলগ্নতা ম্যাট্রিক্স) আর \(D\) হলো degree-এর কর্ণ-ম্যাট্রিক্স। এই \(L\) বাস্তব, symmetric ও ধনাত্মক-অর্ধনিশ্চিত (positive semi-definite) — তাই spectral theorem খাটে: \(L = U\Lambda U^\top\), যেখানে \(U\)-এর কলামগুলো orthonormal eigenvector \(u_1, \dots, u_n\) আর \(\Lambda = \mathrm{diag}(\lambda_1, \dots, \lambda_n)\) (\(0 = \lambda_1 \le \lambda_2 \le \dots \le \lambda_n\))।

এই eigenvector-গুলোই graph-এর "Fourier mode", আর eigenvalue \(\lambda_i\)-রা "graph frequency"। একটা graph-signal \(x \in \mathbb{R}^n\) (প্রতিটা node-এ একটা সংখ্যা)-এর Graph Fourier Transform হলো

\[\hat{x} = U^\top x, \qquad x = U\hat{x} \;\;(\text{inverse}).\]

নিচের তুলনাটা পুরো গল্পটা এক জায়গায় ধরে রাখে:

ধারণা	Euclidean (ধারাবাহিক)	Graph (বিচ্ছিন্ন)
domain	বৃত্ত \(S^1\) / রেখা \(\mathbb{R}\)	node-সেট \(V\)
signal	function \(f(x)\)	vector \(x \in \mathbb{R}^n\)
Laplacian	\(-\dfrac{d^2}{dx^2}\)	\(L = D - A\)
eigen-সমীকরণ	\(-f'' = \lambda f\)	\(L u = \lambda u\)
eigenbasis	\(e^{inx}\) (বা \(\sin, \cos\))	eigenvector \(u_1, \dots, u_n\)
frequency	\(n^2\)	eigenvalue \(\lambda_i\)
Fourier transform	\(\hat{f}(n) = \langle f, e^{inx}\rangle\)	\(\hat{x} = U^\top x\)
বিপরীত	\(f = \sum_n \hat{f}(n)\, e^{inx}\)	\(x = U\hat{x}\)
spectral filter	frequency-তে গুণক প্রয়োগ	\(g(L) = U\, g(\Lambda)\, U^\top\)

এই শেষ সারিটাই spectral GNN-এর হৃদয়: graph-এ একটা "convolution" মানে হলো signal-কে graph Fourier domain-এ নিয়ে গিয়ে প্রতিটা frequency-তে একটা শেখা-যোগ্য (learnable) গুণক \(g(\lambda_i)\) বসিয়ে আবার ফিরিয়ে আনা — অর্থাৎ \(y = U g(\Lambda) U^\top x = g(L)x\)। ঠিক যেভাবে ছবির উপর CNN কম্পাঙ্ক-ফিল্টার করে, graph-এর উপর spectral GNN graph-frequency ফিল্টার করে। এই সংযোগটাই বুঝিয়ে দেয় কেন spectral theory-কে GDL-এর গাণিতিক মেরুদণ্ড বলা হয়।

৩. সংজ্ঞা ও উপপাদ্য¶

সংজ্ঞা: Eigenfunction ও Eigenvalue¶

সংজ্ঞা: Eigenfunction ও Eigenvalue

ধরো \(A : V \to V\) একটা Hilbert space \(V\)-এর উপর operator। একটা vector \(v \neq 0\) যদি কোনো scalar \(\lambda\)-এর জন্য

\[Av = \lambda v\]

সিদ্ধ করে, তবে \(v\)-কে বলে \(A\)-এর eigenfunction (আইগেনফাংশন) (সসীম-মাত্রায় eigenvector) আর \(\lambda\)-কে সংশ্লিষ্ট eigenvalue (আইগেনমান)। eigenfunction মাপ-নিরপেক্ষ: \(v\) eigenfunction হলে যেকোনো \(\alpha \neq 0\)-এর জন্য \(\alpha v\)-ও তাই। সচরাচর আমরা \(\lVert v\rVert = 1\) ধরি।

সসীম-মাত্রিক ক্ষেত্রে গণনা। \(A\) যদি \(n \times n\) matrix হয়, eigenvalue পাওয়া যায় characteristic equation (বৈশিষ্ট্য সমীকরণ) থেকে:

\[\det(A - \lambda I) = 0,\]

যেখানে \(I\) হলো \(n \times n\) একক-ম্যাট্রিক্স। এর সমাধান \(\lambda_1, \dots, \lambda_n\) হলো eigenvalue; প্রতিটা \(\lambda\)-এর জন্য সংশ্লিষ্ট eigenvector পাওয়া যায় সমীকরণ

\[(A - \lambda I)v = 0\]

সমাধান করে।

সংজ্ঞা: Self-adjoint operator¶

সংজ্ঞা: Self-adjoint (স্ব-সংযুক্ত) operator

operator \(A : V \to V\) কে self-adjoint বলা হয় যদি \(A^\ast = A\), অর্থাৎ

\[\langle Au, v\rangle = \langle u, Av\rangle \quad \forall u, v \in V.\]

সসীম-মাত্রায় এটা real symmetric (\(A = A^\top\)) বা Hermitian (\(A = A^\ast\)) matrix।

উপপাদ্য ৫: Self-adjoint operator-এর eigenvalue বাস্তব¶

উপপাদ্য ৫ (Spectral Theorem, part 1): বাস্তব eigenvalue

Self-adjoint operator-এর সব eigenvalue বাস্তব, অর্থাৎ \(\lambda \in \mathbb{R}\)।

প্রমাণ। ধরো \(Av = \lambda v\), \(v \neq 0\)। \(A\) self-adjoint বলে \(\langle Av, v\rangle = \langle v, Av\rangle\)। বাঁ পাশে \(Av = \lambda v\) বসাই এবং প্রথম চলকে (first argument) inner product-এর রৈখিকতা ব্যবহার করি:

\[\langle Av, v\rangle = \langle \lambda v, v\rangle = \lambda\langle v, v\rangle.\]

ডান পাশে দ্বিতীয় চলকে conjugate-রৈখিকতা (conjugate linearity, Section 2.3) ব্যবহার করি — সেখানে scalar বেরিয়ে আসে তার অনুবন্ধী (conjugate) হয়ে:

\[\langle v, Av\rangle = \langle v, \lambda v\rangle = \overline{\lambda}\,\langle v, v\rangle.\]

দুটো সমান, তাই \(\lambda\langle v, v\rangle = \overline{\lambda}\langle v, v\rangle\)। যেহেতু \(v \neq 0\), তাই \(\langle v, v\rangle > 0\), এবং উভয় পাশকে \(\langle v, v\rangle\) দিয়ে ভাগ করে পাই

\[\lambda = \overline{\lambda},\]

যার মানে \(\lambda \in \mathbb{R}\)। \(\square\)

উপপাদ্য ৬: Eigenfunction-দের orthogonality¶

উপপাদ্য ৬ (Spectral Theorem, part 2): লম্ব eigenfunction

Self-adjoint operator-এর ভিন্ন eigenvalue-র সাথে সম্পর্কিত eigenfunction-রা পরস্পর লম্ব (orthogonal)।

প্রমাণ। ধরো \(Av = \lambda v\) ও \(Aw = \mu w\), যেখানে \(\lambda \neq \mu\) এবং \(v, w \neq 0\)। উপপাদ্য ৫ থেকে \(\lambda, \mu\) বাস্তব। \(A\) self-adjoint বলে \(\langle Av, w\rangle = \langle v, Aw\rangle\)। দুই পাশে eigen-সমীকরণ বসাই:

\[\langle \lambda v, w\rangle = \langle v, \mu w\rangle.\]

\(\lambda, \mu\) বাস্তব বলে conjugate ছাড়াই বেরিয়ে আসে:

\[\lambda\langle v, w\rangle = \mu\langle v, w\rangle \;\;\Longrightarrow\;\; (\lambda - \mu)\langle v, w\rangle = 0.\]

যেহেতু \(\lambda \neq \mu\), তাই \(\lambda - \mu \neq 0\), অতএব \(\langle v, w\rangle = 0\), অর্থাৎ \(v \perp w\)। \(\square\)

উপপাদ্য ৭: Spectral Theorem (compact self-adjoint)¶

উপপাদ্য ৭ (Spectral Theorem): সম্পূর্ণ রূপ

একটা compact self-adjoint operator \(A : V \to V\)-এর প্রতিটা nonzero spectral value eigenvalue। Nonzero eigenspace-গুলোর orthonormal basis এবং \(\ker A\)-এর orthonormal basis একত্রে \(V\)-এর orthonormal basis বানানো যায়। সংশ্লিষ্ট vector-গুলোর জন্য

\[A v_\lambda = \lambda v_\lambda.\]

Nonzero eigenvalue-সেট finite বা countable এবং সব বাস্তব; প্রতিটা nonzero eigenspace finite-dimensional। Nonzero spectrum discrete, আর একমাত্র সম্ভাব্য accumulation point \(\lambda=0\)। \(0\) সবসময় spectrum-এ থাকে যদি \(V\) infinite-dimensional হয়, কিন্তু \(A\) injective হলে \(0\) eigenvalue নাও হতে পারে।

স্বজ্ঞা: এটা \(n \times n\) symmetric matrix-এর সম্পূর্ণ diagonalization-এর অসীম-মাত্রিক সংস্করণ। উপপাদ্য ৫ (বাস্তবতা) ও উপপাদ্য ৬ (লম্বতা)-র উপর দাঁড়িয়ে এটা বলে: compact self-adjoint operator-এর অধীনে পুরো Hilbert space-টাকে eigenfunction-দের অক্ষে সম্পূর্ণ বিশ্লেষণ করা যায়। এর সসীম-মাত্রিক রূপই PCA-তে ডেটার প্রধান দিক খোঁজে।

self-adjoint হলে operator-টাকে সরাসরি তার spectral form-এ লেখা যায়:

\[A w = \sum_{n \ge 1} \lambda_n \langle w, v_n\rangle\, v_n, \quad \forall w \in V,\]

যেখানে \(\{\lambda_n\}\) eigenvalue ও \(\{v_n\}\) সংশ্লিষ্ট orthonormal eigenvector।

সংজ্ঞা: Singular value (eigenvalue-র সাধারণীকরণ)¶

Spectral theorem কেবল self-adjoint operator-এর জন্য। যেসব operator self-adjoint নয় (যেমন সাধারণ, এমনকি আয়তাকার matrix), তাদের জন্য eigenvalue-র বদলে singular value (একবচন মান) ব্যবহার করি।

সংজ্ঞা: Singular value ও SVD

Hilbert space-এর মধ্যে একটা operator \(A:V\to W\) compact হলে singular system দিয়ে লেখা যায়

\[A w = \sum_{n \ge 1} \sigma_n \langle w, v_n\rangle\, u_n, \quad \forall w \in V,\]

যেখানে \(\sigma_n>0\), \(\sigma_n\to0\) (অসীম sequence হলে), আর \(\{v_n\}\subset V\), \(\{u_n\}\subset W\) যথাক্রমে orthonormal right ও left singular family। Formula-টি \(\ker A\)-এ স্বয়ংক্রিয়ভাবে \(0\) দেয়। বিপরীতভাবে এমন norm-convergent finite-rank truncation compactness দেয়। সসীম-মাত্রায় একটা \(m \times n\) matrix-এর singular value decomposition (SVD) হলো

\[A = U\Sigma V^\ast,\]

যেখানে \(U\) (\(m \times m\), unitary) কলামে বাম singular vector, \(\Sigma\) (\(m \times n\), কর্ণে \(\sigma_i\)), আর \(V^\ast\) হলো \(V\)-এর (\(n \times n\) unitary) অনুবন্ধী-স্থানান্তর, যার সারিতে ডান singular vector।

স্বজ্ঞাগত পার্থক্য: eigenvalue মাপে operator তার eigenfunction-কে নিজের দিক বরাবর কতটা টানে/চাপে (দিক অপরিবর্তিত, কেবল চিহ্ন উল্টাতে পারে)। singular value মাপে operator-এর সামগ্রিক টানা-চাপার মাত্রা, কোনো নির্দিষ্ট দিক-নিরপেক্ষভাবে। self-adjoint (ধনাত্মক) ক্ষেত্রে দুটো মিলে যায় (\(\sigma_n = \lambda_n\), আর বাম-ডান singular vector এক)।

সংজ্ঞা: Fourier series ও Fourier transform¶

সংজ্ঞা: Fourier series ও Fourier coefficient

ধরো \(\{v_\alpha\}\) একটা Hilbert space \(V\)-এর orthonormal basis। যেকোনো \(u \in V\)-এর Fourier series হলো

\[u = \sum_\alpha \langle u, v_\alpha\rangle\, v_\alpha,\]

আর সহগ \(\hat{u}_\alpha = \langle u, v_\alpha\rangle\)-দের বলে \(u\)-এর Fourier coefficient (ফুরিয়ে সহগ) বা Fourier transform। basis \(\{e^{inx}\}\) ও \(L^2([-\pi, \pi])\) নিলে চিরায়ত রূপ পাই:

\[f(x) = \sum_{n} \hat{f}(n)\, e^{inx}, \qquad \hat{f}(n) = \frac{1}{2\pi}\int_{-\pi}^{\pi} f(x)\, e^{-inx}\, dx.\]

সূচক \(\alpha\) ধারাবাহিক হলে যোগফল সমাকল হয়ে যায়, আর basis \(\{e^{i\omega x}\}\) নিলে পাই continuous Fourier transform:

\[f(x) = \int_{-\infty}^{\infty} \hat{f}(\omega)\, e^{i\omega x}\, d\omega, \qquad \hat{f}(\omega) = \int_{-\infty}^{\infty} f(x)\, e^{-i\omega x}\, dx.\]

উপপাদ্য ৮: Parseval-এর পরিচয়¶

উপপাদ্য ৮ (Parseval-এর পরিচয়)

ধরো \(u = \sum_\alpha \hat{u}_\alpha v_\alpha\) ও \(w = \sum_\alpha \hat{w}_\alpha v_\alpha\) হলো orthonormal basis \(\{v_\alpha\}\)-এর সাপেক্ষে \(u, w \in V\)-এর Fourier series। তবে

\[\langle u, w\rangle = \sum_\alpha \hat{u}_\alpha\, \overline{\hat{w}_\alpha}.\]

বিশেষত, mapping \(u \mapsto \hat{u} = \{\langle u, v_\alpha\rangle\}\) একটা isometry (দৈর্ঘ্য-রক্ষক):

\[\lVert u\rVert_V^2 = \sum_\alpha \lvert \langle u, v_\alpha\rangle\rvert^2 = \sum_\alpha \lvert \hat{u}_\alpha\rvert^2 = \lVert \hat{u}\rVert_{\ell^2}^2.\]

প্রমাণ (norm রূপ)। basis orthonormal বলে \(\langle v_\alpha, v_\beta\rangle = \delta_{\alpha\beta}\)। তাই

\[\lVert u\rVert^2 = \Big\langle \sum_\alpha \hat{u}_\alpha v_\alpha,\ \sum_\beta \hat{u}_\beta v_\beta \Big\rangle = \sum_{\alpha, \beta} \hat{u}_\alpha \overline{\hat{u}_\beta}\, \langle v_\alpha, v_\beta\rangle = \sum_\alpha \lvert \hat{u}_\alpha\rvert^2.\]

এটা আসলে অসীম-মাত্রায় পিথাগোরাসের উপপাদ্যেরই প্রয়োগ। \(\square\)

Parseval-এর তাৎপর্য: Fourier transform কেবল ভাঙাভাঙি নয়, এটা দৈর্ঘ্য ও ভেতরকার গুণফল (তথা পুরো জ্যামিতি) অবিকৃত রাখে। তাই আমরা নির্ভয়ে মূল function-এর বদলে তার Fourier সহগ নিয়ে কাজ করতে পারি — "শক্তি" (energy) হারায় না।

৪. উদাহরণ ও Analogy¶

উদাহরণ ১: একটা \(2\times 2\) matrix-এর eigenvalue ও eigenvector¶

ধরি

\[A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}.\]

এটা symmetric (\(A = A^\top\)), তাই self-adjoint — উপপাদ্য ৫ ও ৬ অনুযায়ী eigenvalue বাস্তব ও eigenvector লম্ব হওয়া উচিত। যাচাই করি। characteristic equation:

\[\det(A - \lambda I) = \det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = 0.\]

সমাধান: \(\lambda = 1\) ও \(\lambda = 3\) — দুটোই বাস্তব। ✓

\(\lambda = 3\)-এর জন্য \((A - 3I)v = 0\):

\[\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix} v = 0 \;\Longrightarrow\; v_1 = v_2 \;\Longrightarrow\; v^{(3)} = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}.\]

\(\lambda = 1\)-এর জন্য \((A - I)v = 0\):

\[\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix} v = 0 \;\Longrightarrow\; v_1 = -v_2 \;\Longrightarrow\; v^{(1)} = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ -1 \end{pmatrix}.\]

লম্বতা যাচাই: \(\langle v^{(3)}, v^{(1)}\rangle = \tfrac{1}{2}(1\cdot 1 + 1\cdot(-1)) = 0\)। ✓ ঠিক উপপাদ্য ৬ যা বলেছিল।

উদাহরণ ২: \(-\dfrac{d^2}{dx^2}\)-এর eigenfunction হলো \(\sin, \cos\) (তথা \(e^{inx}\))¶

এবার সসীম matrix থেকে অসীম operator-এ। ধরি Laplacian \(-\Delta = -\dfrac{d^2}{dx^2}\), যা \(2\pi\)-পর্যাবৃত্ত function-দের উপর কাজ করে। দাবি: \(\sin(nx)\) ও \(\cos(nx)\) এর eigenfunction, eigenvalue \(n^2\)। যাচাই:

\[-\frac{d^2}{dx^2}\sin(nx) = -\big(-n^2\sin(nx)\big) = n^2\, \sin(nx),\]

\[-\frac{d^2}{dx^2}\cos(nx) = -\big(-n^2\cos(nx)\big) = n^2\, \cos(nx).\]

দুটোরই eigenvalue \(n^2\)। জটিল সূচকে একই কথা আরও ঝরঝরে — যেহেতু \(e^{inx} = \cos(nx) + i\sin(nx)\):

\[-\frac{d^2}{dx^2}e^{inx} = -(in)^2 e^{inx} = n^2\, e^{inx}.\]

লক্ষ্য করো: eigenvalue \(n^2 \ge 0\), এবং \(\lvert n\rvert\) বাড়লে eigenvalue বাড়ে ও function দ্রুততর দোলে — এটাই "উচ্চ কম্পাঙ্ক"। তাই Fourier basis \(\{e^{inx}\}\) আসলে Laplacian-এর eigenbasis, আর \(n^2\) হলো graph-frequency-র ধারাবাহিক প্রতিরূপ। (নোট: source-এ \(\Delta = d^2/dx^2\) ধরে eigenvalue \(-n^2\) লেখা হয়েছে; চিহ্ন শুধু \(-\Delta\) vs \(\Delta\)-র উপর নির্ভর করে, eigenfunction একই।)

Bonus — self-adjointness এক ঝলকে: \(2\pi\)-পর্যাবৃত্ত function-দের জন্য, খণ্ডে-খণ্ডে সমাকলন (integration by parts) করলে সীমানা-পদ (boundary term) পর্যাবৃত্ততার কারণে মুছে যায়:

\[\langle -f'', g\rangle = \frac{1}{2\pi}\int_{-\pi}^{\pi} -f''(x)\,\overline{g(x)}\, dx = \frac{1}{2\pi}\int_{-\pi}^{\pi} f'(x)\,\overline{g'(x)}\, dx = \frac{1}{2\pi}\int_{-\pi}^{\pi} f(x)\,\overline{-g''(x)}\, dx = \langle f, -g''\rangle.\]

সুতরাং Laplacian self-adjoint, তাই তার eigenvalue বাস্তব (\(n^2\)) ও ভিন্ন-\(n\) eigenfunction লম্ব — যা orthonormal Fourier basis-এর ভিত্তি।

উদাহরণ ৩: একটা সরল Fourier series¶

Fourier সহগ যে নিছক "projection" তা এক ঝলকে দেখতে একটা সসীম ত্রিকোণমিতিক function নিই:

\[f(x) = 3 + 2\cos x - \sin(2x).\]

জটিল সূচকে লিখি — \(\cos x = \tfrac{1}{2}(e^{ix} + e^{-ix})\), \(\sin(2x) = \tfrac{1}{2i}(e^{2ix} - e^{-2ix})\):

\[f(x) = 3 + \big(e^{ix} + e^{-ix}\big) + \frac{i}{2}\big(e^{2ix} - e^{-2ix}\big).\]

এখন সহগগুলো সরাসরি পড়া যায় (basis \(\{e^{inx}\}\)-এ):

\[\hat{f}(0) = 3,\quad \hat{f}(1) = \hat{f}(-1) = 1,\quad \hat{f}(2) = \frac{i}{2},\quad \hat{f}(-2) = -\frac{i}{2},\]

আর বাকি সব \(\hat{f}(n) = 0\)। orthonormality (\(\langle e^{inx}, e^{imx}\rangle = \delta_{nm}\)) ব্যবহার করে \(\hat{f}(n) = \langle f, e^{inx}\rangle\) হিসাব করলেও ঠিক এই মানগুলোই পাওয়া যায় — প্রতিটা সহগ কেবল "\(f\)-এর মধ্যে সেই কম্পাঙ্কের উপাদান কতটা" তা তুলে আনে। এখানে function-টায় শুধু \(n = 0, \pm 1, \pm 2\) কম্পাঙ্ক আছে, তাই spectrum-ও ঠিক সেই কয়টা বিন্দুতে সীমাবদ্ধ।

একটু কঠিন — একটা করাত-তরঙ্গ (sawtooth) \(f(x) = x\) (\(-\pi < x \le \pi\))-এর জন্য খণ্ডে-খণ্ডে সমাকলন করলে \(\hat{f}(0) = 0\) ও \(\hat{f}(n) = \dfrac{i(-1)^n}{n}\) (\(n \neq 0\)), অর্থাৎ

\[x \sim 2\left(\sin x - \frac{\sin 2x}{2} + \frac{\sin 3x}{3} - \cdots\right).\]

এখানে অসীম সংখ্যক কম্পাঙ্ক লাগছে, কারণ function-টা মসৃণ নয় (প্রান্তে লাফ আছে) — তাই উচ্চ কম্পাঙ্কও কমতে কমতে টিকে থাকে।

Analogy: বাদ্যযন্ত্রের সুর ও harmonics¶

Spectral decomposition-এর সবচেয়ে সহজ স্বজ্ঞা সংগীতে। একটা তার (গিটার বা সেতার) টানলে যে শব্দ ওঠে সেটা আসলে একটা function — সময়ের সাপেক্ষে বাতাসের চাপ। কিন্তু কান সেটা শোনে অনেকগুলো বিশুদ্ধ সুরের (pure tone) মিশ্রণ হিসেবে: একটা মূল সুর (fundamental) আর তার উপরের harmonics (উপসুর) — দ্বিগুণ, তিনগুণ কম্পাঙ্কের কম্পন।

এই বিশুদ্ধ কম্পনগুলোই তারের eigenfunction — তার "স্বাভাবিক কম্পন-মোড" (natural vibration mode)। মূল সুর সবচেয়ে ধীরে দোলে (সবচেয়ে ছোট eigenvalue, নিম্ন কম্পাঙ্ক); harmonics দ্রুততর দোলে (বড় eigenvalue, উচ্চ কম্পাঙ্ক)। যেকোনো বাজানো শব্দ = এই eigen-মোডগুলোর ওজনসহ (weighted) যোগফল — আর সেই ওজনগুলোই Fourier সহগ। একটা যন্ত্রের "টোন-রং" (timbre) নির্ধারিত হয় কোন harmonic কতটা জোরালো তা দিয়ে — অর্থাৎ তার spectrum দিয়ে। এই ছবিটা graph-এও একই: graph Laplacian-এর ছোট eigenvalue-র eigenvector হলো graph-এর "মসৃণ, ধীর" মোড (কাছাকাছি node-এ কাছাকাছি মান), আর বড় eigenvalue-র মোড হলো "দ্রুত দোলা" মোড (প্রতিবেশী node-এ চিহ্ন উল্টে যায়)।

Analogy: eigenvalue vs singular value — ঘূর্ণন ম্যাট্রিক্স¶

পার্থক্যটা ধরতে একটা 2D ঘূর্ণন (rotation) matrix নিই:

\[R = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}.\]

এটা প্রতিটা vector-কে \(\theta\) কোণে ঘোরায়, কোনো দিকই অপরিবর্তিত রাখে না — তাই বাস্তব eigenvalue থাকার কথা নয়। characteristic equation \(\lambda^2 - 2\lambda\cos\theta + 1 = 0\) দেয় \(\lambda = e^{\pm i\theta}\) — জটিল, একক-বৃত্তের উপর (কেবল \(\theta = 0\) বা \(\pi\) ছাড়া কোনো বাস্তব eigenvalue নেই)। কিন্তু ঘূর্ণন দৈর্ঘ্য অক্ষুণ্ণ রাখে, তাই এর singular value সব \(1\): যেহেতু \(R^\top R = I\), তার eigenvalue দুটোই \(1\), আর singular value হলো এদের বর্গমূল — \(\sigma_1 = \sigma_2 = 1\)। মোট কথা: eigenvalue বলে "কোন দিক অপরিবর্তিত ও কতটা টানা" (এখানে কোনোটাই নয়), আর singular value বলে "সামগ্রিক টানা-চাপার মাত্রা" (এখানে ঠিক \(1\) — কিছুই বড়/ছোট হয় না)।

৫. সাধারণ ভুল (Common mistakes)¶

eigenvalue শূন্য মানে eigenvector শূন্য ভাবা। সংজ্ঞায় \(v \neq 0\) বাধ্যতামূলক, কিন্তু \(\lambda = 0\) পুরোপুরি বৈধ। \(\lambda = 0\) eigenvalue-র মানে \(Av = 0\) একটা অশূন্য \(v\)-এর জন্য — অর্থাৎ \(v\) operator-এর null space-এ, \(A\) উল্টানো যায় না।
eigenvector-এর normalization ভুলে যাওয়া বা একে অনন্য (unique) ভাবা। eigenvector মাপ-নিরপেক্ষ — \(v\) ও \(2v\) ও \(-v\) সবই একই eigenvalue-র eigenvector। "একটা" eigenvector বলার সময় সাধারণত \(\lVert v\rVert = 1\) ধরে নেওয়া হয়, কিন্তু তখনও একটা phase/চিহ্ন-স্বাধীনতা থাকে।
যেকোনো operator/matrix-এর eigenvalue বাস্তব ও eigenvector লম্ব — এমন ধরে নেওয়া। এই সুন্দর ধর্মগুলো কেবল self-adjoint (symmetric/Hermitian) operator-এর জন্য গ্যারান্টিড। ঘূর্ণন matrix-এর মতো non-self-adjoint operator-এর eigenvalue জটিল হতে পারে, eigenvector লম্ব নাও হতে পারে।
eigenvalue আর singular value গুলিয়ে ফেলা। eigenvalue দিক-বরাবর scaling মাপে (self-adjoint নাও লাগতে পারে, জটিল/ঋণাত্মক হতে পারে); singular value (\(\ge 0\), সবসময় বাস্তব) সামগ্রিক scaling মাপে। কেবল ধনাত্মক self-adjoint operator-এ দুটো মেলে।
Fourier basis-কে "জাদুকরি বিশেষ" ভাবা। \(e^{inx}\) বিশেষ কারণ এটা Laplacian-এর eigenbasis — কোনো ঐশ্বরিক কারণে নয়। domain বদলালে (graph/manifold) Laplacian বদলায়, তাই "Fourier basis"-ও বদলে যায়।
Laplacian-এর চিহ্ন-রীতি (sign convention) নিয়ে বিভ্রান্তি। \(\Delta = d^2/dx^2\) ধরলে eigenvalue \(-n^2\) (ঋণাত্মক); \(-\Delta = -d^2/dx^2\) ধরলে \(+n^2\) (ধনাত্মক)। GDL-এ graph Laplacian \(L = D - A\) ধনাত্মক-অর্ধনিশ্চিত, তাই \(-\Delta\) রীতিই মেলে। eigenfunction যাই হোক, একই।
Fourier সহগকে দৈর্ঘ্য-নাশক রূপান্তর ভাবা। Parseval বলে mapping-টা isometry — \(\lVert u\rVert^2 = \sum \lvert \hat{u}_\alpha\rvert^2\)। "শক্তি" হারায় না; মূল function ও তার সহগ-সমষ্টি সমতুল্য।
spectrum-কে সবসময় বিচ্ছিন্ন ভাবা। compact self-adjoint operator-এর spectrum discrete (জমাটবিন্দু কেবল \(0\))। কিন্তু সাধারণভাবে (compact না হলে) ধারাবাহিক spectrum-ও থাকতে পারে — যেমন \(\mathbb{R}\)-এর উপর অবাধ Fourier transform-এ কম্পাঙ্ক \(\omega\) ধারাবাহিক।

৬. এক্সারসাইজ (Exercises)¶

নিজে চেষ্টা করো, তারপর সমাধান খোলো।

সমস্যা ১। matrix \(A = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}\)-এর eigenvalue ও (একক) eigenvector বের করো। eigenvector দুটো লম্ব কিনা যাচাই করো এবং ব্যাখ্যা করো কেন এটা প্রত্যাশিত।

সমস্যা ২। দেখাও যে যদি \(v\) operator \(A\)-এর eigenvalue \(\lambda\)-সহ eigenfunction হয়, তবে যেকোনো \(\alpha \neq 0\)-এর জন্য \(\alpha v\)-ও একই eigenvalue-সহ eigenfunction। এখান থেকে বুঝিয়ে দাও eigenfunction কেন "মাপ-নিরপেক্ষ"।

সমস্যা ৩। \(-\dfrac{d^2}{dx^2}\) operator-এর জন্য দেখাও \(\cos(nx), \sin(nx)\) ও \(e^{inx}\) সবই eigenfunction এবং প্রতিটার eigenvalue \(n^2\)। এখান থেকে ব্যাখ্যা করো কেন \(\lvert n\rvert\)-কে "কম্পাঙ্ক" বলা সংগত।

সমস্যা ৪। উপপাদ্য ৫-এর প্রমাণ নিজে পুনরায় লেখো: প্রমাণ করো self-adjoint operator-এর eigenvalue বাস্তব। কোন ধাপে inner product-এর conjugate-রৈখিকতা লাগছে তা স্পষ্ট চিহ্নিত করো।

সমস্যা ৫। \(L^2([-\pi, \pi])\)-এ \(f(x) = \cos^2 x\)-এর Fourier সহগ \(\hat{f}(n) = \langle f, e^{inx}\rangle\) বের করো। (ইঙ্গিত: \(\cos^2 x = \tfrac{1}{2} + \tfrac{1}{2}\cos(2x)\)।) কোন কোন \(n\)-তে সহগ অশূন্য?

সমস্যা ৬। ঘূর্ণন matrix \(R = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}\)-এর eigenvalue বের করো এবং দেখাও এরা সাধারণত বাস্তব নয়। এরপর \(R^\top R\) হিসাব করে দেখাও singular value দুটোই \(1\)। eigenvalue ও singular value-র এই পার্থক্য কী বলছে?

সমস্যা ৭ (graph-Laplacian)। ৩-node পথ-graph \(P_3\) (\(1 - 2 - 3\))-এর জন্য degree-matrix \(D\), adjacency-matrix \(A\) ও Laplacian \(L = D - A\) লেখো। \(L\)-এর eigenvalue ও eigenvector বের করো। দেখাও ধ্রুবক vector \((1, 1, 1)^\top\) eigenvalue \(0\)-এর eigenvector, আর সবচেয়ে বড় eigenvalue-র eigenvector সবচেয়ে বেশি "দোলে"। এই ফলকে ধারাবাহিক \(-d^2/dx^2\)-এর eigenfunction-দের সাথে মিলিয়ে দেখাও।

সমস্যা ৮ (spectral/heat)। graph heat equation \(\dot{x}(t) = -L\,x(t)\)-এর সমাধান \(x(t) = e^{-tL} x(0)\)। spectral decomposition \(L = U\Lambda U^\top\) ব্যবহার করে দেখাও

\[x(t) = \sum_i e^{-t\lambda_i}\, \langle u_i, x(0)\rangle\, u_i.\]

ব্যাখ্যা করো কেন উচ্চ-কম্পাঙ্ক (বড় \(\lambda_i\)) মোড দ্রুত মিলিয়ে যায়, আর এটা ধারাবাহিক তাপ সমীকরণে Fourier-মোড \(e^{inx}\)-এর \(e^{-n^2 t}\) ক্ষয়ের সাথে কীভাবে মেলে।

৭. সমাধান (ব্যাখ্যাসহ)¶

১-নং সমাধান দেখাও

characteristic equation:

\[\det\begin{pmatrix} 3 - \lambda & 1 \\ 1 & 3 - \lambda \end{pmatrix} = (3 - \lambda)^2 - 1 = \lambda^2 - 6\lambda + 8 = 0.\]

সমাধান: \(\lambda = 2\) ও \(\lambda = 4\) (দুটোই বাস্তব)।

\(\lambda = 4\): \((A - 4I)v = \begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix} v = 0 \Rightarrow v_1 = v_2\), তাই \(v^{(4)} = \tfrac{1}{\sqrt{2}}(1, 1)^\top\)।

\(\lambda = 2\): \((A - 2I)v = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix} v = 0 \Rightarrow v_1 = -v_2\), তাই \(v^{(2)} = \tfrac{1}{\sqrt{2}}(1, -1)^\top\)।

লম্বতা: \(\langle v^{(4)}, v^{(2)}\rangle = \tfrac{1}{2}(1 - 1) = 0\)। ✓

কেন প্রত্যাশিত? কারণ \(A\) symmetric (\(A = A^\top\)), তাই self-adjoint — উপপাদ্য ৫ (বাস্তব eigenvalue) ও উপপাদ্য ৬ (ভিন্ন eigenvalue-র eigenvector লম্ব) সরাসরি খাটে। \(\square\)

২-নং সমাধান দেখাও

ধরি \(Av = \lambda v\) এবং \(\alpha \neq 0\)। operator \(A\) রৈখিক (linear), তাই

\[A(\alpha v) = \alpha (A v) = \alpha (\lambda v) = \lambda (\alpha v).\]

এবং \(\alpha \neq 0\), \(v \neq 0\) বলে \(\alpha v \neq 0\)। সুতরাং \(\alpha v\)-ও একই eigenvalue \(\lambda\)-এর eigenfunction।

এর মানে একটা eigenvalue-র সাথে যুক্ত থাকে একটা গোটা eigenspace (এক-মাত্রিক হলে একটা সরলরেখা), যেকোনো অশূন্য গুণিতকই বৈধ eigenfunction। তাই eigenfunction "মাপ-নিরপেক্ষ", আর আমরা সুবিধার জন্য \(\lVert v\rVert = 1\) বেছে নিই। \(\square\)

৩-নং সমাধান দেখাও

প্রতিটা function-এ operator প্রয়োগ করি:

\[-\frac{d^2}{dx^2}\cos(nx) = -\big(-n^2\cos(nx)\big) = n^2\cos(nx),\]

\[-\frac{d^2}{dx^2}\sin(nx) = -\big(-n^2\sin(nx)\big) = n^2\sin(nx),\]

\[-\frac{d^2}{dx^2}e^{inx} = -(in)^2 e^{inx} = n^2 e^{inx}.\]

তিনটেরই eigenvalue \(n^2\)। "কম্পাঙ্ক" হিসেবে \(\lvert n\rvert\) সংগত কারণ: (i) \(\lvert n\rvert\) বাড়লে function-টা একক ব্যবধিতে বেশিবার দোলে (দ্রুততর কম্পন), আর (ii) eigenvalue \(n^2\)-ও বাড়ে — অর্থাৎ Laplacian ঐ মোডকে বেশি জোরে "শাস্তি" দেয় (penalize করে)। ছোট \(\lvert n\rvert\) = মসৃণ, ধীর; বড় \(\lvert n\rvert\) = রুক্ষ, দ্রুত। \(\square\)

৪-নং সমাধান দেখাও

ধরি \(Av = \lambda v\), \(v \neq 0\), এবং \(A^\ast = A\)।

self-adjointness থেকে \(\langle Av, v\rangle = \langle v, Av\rangle\)।

বাঁ পাশে প্রথম চলকে রৈখিকতা: \(\langle Av, v\rangle = \langle \lambda v, v\rangle = \lambda\langle v, v\rangle\)।

ডান পাশে দ্বিতীয় চলকে conjugate-রৈখিকতা (এই ধাপেই লাগছে): \(\langle v, Av\rangle = \langle v, \lambda v\rangle = \overline{\lambda}\langle v, v\rangle\)।

সমান করে: \(\lambda\langle v, v\rangle = \overline{\lambda}\langle v, v\rangle\)। \(v \neq 0 \Rightarrow \langle v, v\rangle > 0\), তাই ভাগ করে \(\lambda = \overline{\lambda}\), অর্থাৎ \(\lambda \in \mathbb{R}\)। \(\square\)

৫-নং সমাধান দেখাও

ইঙ্গিত থেকে \(\cos^2 x = \tfrac{1}{2} + \tfrac{1}{2}\cos(2x)\)। আবার \(\cos(2x) = \tfrac{1}{2}(e^{2ix} + e^{-2ix})\), তাই

\[f(x) = \frac{1}{2} + \frac{1}{4}e^{2ix} + \frac{1}{4}e^{-2ix}.\]

basis \(\{e^{inx}\}\)-এ সহগ সরাসরি পড়া যায়:

\[\hat{f}(0) = \frac{1}{2}, \qquad \hat{f}(2) = \hat{f}(-2) = \frac{1}{4},\]

বাকি সব \(\hat{f}(n) = 0\)। যাচাই: \(\hat{f}(n) = \langle f, e^{inx}\rangle = \tfrac{1}{2\pi}\int_{-\pi}^{\pi} f(x) e^{-inx} dx\); orthonormality \(\langle e^{imx}, e^{inx}\rangle = \delta_{mn}\) ব্যবহার করলে ঠিক একই মান আসে।

অশূন্য সহগ কেবল \(n = 0, +2, -2\)-তে — অর্থাৎ \(\cos^2 x\)-এ একটা DC (গড়) অংশ ও একটা \(2\)-কম্পাঙ্কের অংশ আছে, আর কিছু নেই। \(\square\)

৬-নং সমাধান দেখাও

characteristic equation:

\[\det(R - \lambda I) = (\cos\theta - \lambda)^2 + \sin^2\theta = \lambda^2 - 2\lambda\cos\theta + 1 = 0.\]

সমাধান: \(\lambda = \cos\theta \pm \sqrt{\cos^2\theta - 1} = \cos\theta \pm i\sin\theta = e^{\pm i\theta}\)।

এরা জটিল (একক-বৃত্তে), বাস্তব কেবল \(\theta = 0\) (\(\lambda = 1\), identity) বা \(\theta = \pi\) (\(\lambda = -1\), প্রতিফলন)-এ। কারণ ঘূর্ণন কোনো বাস্তব দিককেই অপরিবর্তিত রাখে না, তাই বাস্তব eigenvector নেই।

singular value:

\[R^\top R = \begin{pmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{pmatrix}\begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} = I.\]

\(R^\top R\)-এর eigenvalue দুটোই \(1\); singular value হলো এদের বর্গমূল, তাই \(\sigma_1 = \sigma_2 = 1\)।

তাৎপর্য: eigenvalue বলছে "কোনো দিক অপরিবর্তিত থাকে না" (বাস্তব eigenvalue নেই), কিন্তু singular value বলছে "দৈর্ঘ্য পুরোপুরি অক্ষুণ্ণ" (\(\sigma = 1\))। ঘূর্ণন একটা isometry — এটাই দুই ধরনের মানের ভিন্ন দৃষ্টিকোণ। \(\square\)

৭-নং সমাধান দেখাও

পথ-graph \(P_3\) (\(1 - 2 - 3\))-এ node ২-এর degree \(2\), node ১ ও ৩-এর degree \(1\):

\[D = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 1 \end{pmatrix}, \quad A = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 1 \\ 0 & 1 & 0 \end{pmatrix}, \quad L = D - A = \begin{pmatrix} 1 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 1 \end{pmatrix}.\]

characteristic polynomial হিসাব করলে (বা সরাসরি যাচাই করে) eigenvalue পাই \(\lambda = 0, 1, 3\), সংশ্লিষ্ট (লম্ব) eigenvector:

\[\lambda_1 = 0:\ u_1 = (1, 1, 1)^\top, \quad \lambda_2 = 1:\ u_2 = (1, 0, -1)^\top, \quad \lambda_3 = 3:\ u_3 = (1, -2, 1)^\top.\]

যাচাই \(\lambda = 0\): \(L(1,1,1)^\top = (1-1,\ -1+2-1,\ -1+1)^\top = (0,0,0)^\top\)। ✓ অর্থাৎ ধ্রুবক signal-এ Laplacian শূন্য — কোনো "পার্থক্য" নেই, সবচেয়ে মসৃণ মোড, eigenvalue \(0\)।

দোলন যাচাই: \(u_1 = (1,1,1)\) একদম দোলে না (ধ্রুবক); \(u_2 = (1, 0, -1)\) একবার চিহ্ন উল্টায়; \(u_3 = (1, -2, 1)\) প্রতিবেশীতে সবচেয়ে বেশি চিহ্ন-বদল/দোলন দেখায় — আর তারই eigenvalue সবচেয়ে বড় (\(3\))।

Periodic continuous case-এ \(-d^2/dx^2\)-এর eigenfunction \(e^{inx}\) এবং eigenvalue \(n^2\)। Graph-এ \(\{u_i\}\) graph Fourier basis; \(\lambda_i\) edge-wise roughness/spectral-frequency parameter, ordinary angular frequency নয় (continuous analogy-তে frequency scale \(|n|=\sqrt{\lambda}\))। \(\square\)

৮-নং সমাধান দেখাও

\(L\) symmetric PSD, তাই spectral theorem: \(L = U\Lambda U^\top\) (\(U\)-এর কলাম orthonormal eigenvector \(u_i\), \(\Lambda = \mathrm{diag}(\lambda_i)\))। matrix exponential-এর সংজ্ঞা থেকে

\[e^{-tL} = U e^{-t\Lambda} U^\top = \sum_i e^{-t\lambda_i}\, u_i u_i^\top.\]

তাই

\[x(t) = e^{-tL} x(0) = \sum_i e^{-t\lambda_i}\, u_i u_i^\top x(0) = \sum_i e^{-t\lambda_i}\, \langle u_i, x(0)\rangle\, u_i.\]

ব্যাখ্যা: signal-টাকে graph Fourier basis \(\{u_i\}\)-এ ভাঙলে প্রতিটা মোড স্বাধীনভাবে \(e^{-t\lambda_i}\) হারে ক্ষয় পায়। বড় \(\lambda_i\) (উচ্চ কম্পাঙ্ক, দ্রুত-দোলা মোড) → দ্রুত ক্ষয় → দ্রুত মসৃণ হয়ে যায়; \(\lambda_1 = 0\) (ধ্রুবক মোড) কখনো ক্ষয় পায় না, তাই বহুক্ষণ পরে signal ধ্রুবকের দিকে যায় (তাপ সমতা)।

ধারাবাহিক তাপ সমীকরণে ঠিক এটাই ঘটে: \(f(x, t) = \sum_n \hat{g}_n\, e^{-n^2 t}\, e^{inx}\) — প্রতিটা Fourier-মোড \(e^{inx}\) ক্ষয় পায় \(e^{-n^2 t}\) হারে, উচ্চ কম্পাঙ্ক (\(n^2\) বড়) দ্রুত মিলিয়ে যায়। graph-এ \(-\Delta\)-এর ভূমিকা নিয়েছে \(L\), আর \(n^2\)-এর ভূমিকা \(\lambda_i\) — একই spectral গল্প, ভিন্ন domain। \(\square\)

৮. সারসংক্ষেপ ও Checklist¶

[ ] eigenfunction/eigenvalue: \(Af = \lambda f\), \(f \neq 0\) — যে দিক/function কে operator কেবল \(\lambda\) দিয়ে scale করে; eigenfunction মাপ-নিরপেক্ষ।
[ ] সসীম বনাম অসীম: matrix (vector) ↔ operator (function/eigenfunction); characteristic equation \(\det(A - \lambda I) = 0\)।
[ ] spectrum: যেসব \(\lambda\)-তে \(A-\lambda I\)-এর bounded inverse নেই; eigenvalue spectrum-এর অংশ, কিন্তু continuous spectrum-ও হতে পারে; compact self-adjoint হলে nonzero spectrum discrete, accumulation কেবল \(0\)।
[ ] self-adjoint (\(A^\ast = A\)) → উপপাদ্য ৫: eigenvalue বাস্তব; উপপাদ্য ৬: ভিন্ন eigenvalue-র eigenfunction লম্ব।
[ ] Spectral Theorem (উপপাদ্য ৭): compact self-adjoint operator-এর nonzero eigenspace-গুলোর সঙ্গে kernel basis যোগ করে ONB; \(Aw = \sum_n \lambda_n \langle w,v_n\rangle v_n\)। General self-adjoint operator-এ continuous spectral measure লাগতে পারে।
[ ] singular value: eigenvalue-র সাধারণীকরণ (non-self-adjoint operator-এও কাজ করে), SVD \(A = U\Sigma V^\ast\); ঘূর্ণন-উদাহরণে বাস্তব eigenvalue নেই কিন্তু \(\sigma = 1\)।
[ ] Fourier series: circle-এর discrete ONB-তে sum; Fourier transform on \(\mathbb R\): generalized eigenfunction-ভিত্তিক continuous spectral integral; Parseval/Plancherel normalization বুঝি।
[ ] মূল সংযোগ: Fourier basis \(e^{inx}\) = Laplacian-এর eigenbasis, eigenvalue \(n^2\) = কম্পাঙ্ক-বর্গ।
[ ] GDL সেতু: graph Laplacian \(L = D - A\)-এর eigenvector = graph Fourier basis, eigenvalue = graph-frequency; Graph Fourier Transform \(\hat{x} = U^\top x\); spectral filter \(g(L) = U g(\Lambda) U^\top\) — spectral GNN-এর ভিত্তি।

➡️ পরের অধ্যায়: 8.7 — Graph Theory — graph, symmetry ও graph-এ vector field।