8.5 — Functional Analysis (ফাংশনাল অ্যানালিসিস)¶

এই অধ্যায়ে কী শিখব: Cauchy sequence (কোশি ধারা) কী এবং কেন সেটা নিজে থেকে limit-এর নিশ্চয়তা দেয় না; complete (পূর্ণ) space মানে কী এবং completeness কেন এত গুরুত্বপূর্ণ; Banach space (বানাখ স্পেস) \(=\) complete normed space, তার আদর্শ উদাহরণ \(\ell^p\); \(\mathbb{Q}\)-তে \(\sqrt{2}\)-এর counterexample যা দেখায় Cauchy ধারা space থেকে "পালিয়ে" যেতে পারে; Hilbert space (হিলবার্ট স্পেস) \(=\) complete inner product space — inner product থেকে norm, আর অসীম-মাত্রায় জ্যামিতির সাধারণীকরণ; \(L^2\) space ও একটা function-কে infinite-dimensional vector হিসেবে দেখা, orthonormal basis ও Fourier coefficient; operator (অপারেটর) — linear, bounded, continuous, isometry, adjoint, self-adjoint, compact; functional (ফাংশনাল) ও dual space; এবং সবশেষে ML-সংযোগ — kernel, feature space, signal ও spectral method।

উৎস (source): Mathematical Foundations of Geometric Deep Learning — Borde ও Bronstein।

১. কেন শিখব? (Motivation)¶

এতক্ষণ আমরা finite-dimensional (সসীম-মাত্রিক) জগতে ছিলাম — vector মানে \(\mathbb{R}^n\)-এর একটা তীর, linear map মানে একটা matrix। কিন্তু deep learning-এর অনেক গভীর ধারণা আসলে function (ফাংশন)-দের নিয়ে কাজ করে, আর function-দের space সাধারণত অসীম-মাত্রিক (infinite-dimensional)।

কয়েকটা উদাহরণ ভাবো:

একটা signal (সংকেত) বা image (ছবি)-কে আমরা একটা function \(f(x)\) হিসেবে ভাবতে পারি — প্রতিটা বিন্দু \(x\)-এ একটা মান। এমন সব function-এর সংগ্রহ একটা vector space, কিন্তু এর "মাত্রা" অসীম।
kernel method (SVM, Gaussian process)-এ প্রতিটা data point-কে একটা বিশাল (প্রায়ই অসীম-মাত্রিক) feature space (বৈশিষ্ট্য স্থান)-এ পাঠানো হয়, যেখানে inner product \(=\) kernel মান। এই feature space একটা Hilbert space।
Fourier analysis ও spectral GNN (graph neural network)-এ signal-কে "frequency (কম্পাঙ্ক)" অনুযায়ী ভাঙা হয় — এই পুরো যন্ত্রপাতি Hilbert space-এর orthonormal basis-এর উপর দাঁড়িয়ে।

finite-dimensional-এ classical linear algebra সব সামলে নেয়। কিন্তু অসীম-মাত্রায় সেটা ভেঙে পড়ে — সেখানে convergence (অভিসৃতি) আর completeness (পূর্ণতা) ছাড়া কিছুই নিরাপদ নয়। কেন?

কারণ অসীম-মাত্রায় আমরা প্রায় সব কিছু limit (সীমা) দিয়ে বানাই: একটা function-কে অসীম series হিসেবে লিখি, একটা iterative algorithm-কে ধাপে ধাপে সমাধানের দিকে এগোতে দিই। প্রতিটা ক্ষেত্রেই আমরা একটা ধারা বানাই যা "কোথাও পৌঁছানোর কথা"। প্রশ্ন হলো — সেই "কোথাও" কি আদৌ আমাদের space-এর ভেতরে আছে?

একটা Cauchy sequence (কোশি ধারা) হলো এমন একটা ধারা যার পরপর পদগুলো নিজেদের যত ইচ্ছা কাছাকাছি চলে আসে। এটা যেন বলছে "আমি স্থির হয়ে যাচ্ছি"।
completeness হলো সেই গ্যারান্টি যে প্রতিটা Cauchy ধারা সত্যিই space-এর ভেতরে একটা বিন্দুতে পৌঁছায় — কোনো "গর্ত (hole)" নেই যেখান দিয়ে ধারাটা পালিয়ে যেতে পারে।

completeness না থাকলে বিপর্যয়: আমাদের approximation ধারা এমন একটা "সীমা"-র দিকে ছুটবে যা space-এ নেই-ই। তখন convergence-এর কোনো প্রতিশ্রুতি দেওয়া যায় না, spectral theory কাজ করে না, Fourier series-এর যোগফল অর্থহীন হয়ে যায়। এই কারণেই functional analysis-এর দুই নায়ক — Banach space (complete normed space) ও Hilbert space (complete inner product space) — এত গুরুত্বপূর্ণ।

মূল স্বজ্ঞা

এই অধ্যায়ের এক-বাক্যের সারমর্ম: Cauchy sequence converge করে—এই guarantee-ই completeness। Banach space complete normed space; Hilbert space complete inner-product space। দুটোই finite বা infinite-dimensional হতে পারে, যদিও functional analysis-এর নতুন phenomena মূলত infinite dimension-এ দেখা যায়।

২. মূল ধারণা (Core idea)¶

Cauchy sequence ও completeness¶

ধরো একটা normed vector space \(V\) — মানে এমন একটা vector space যেখানে প্রতিটা vector \(v\)-এর একটা "দৈর্ঘ্য" \(\lVert v \rVert\) মাপা যায় (এই norm থেকে দূরত্ব \(d(u,v) = \lVert u - v \rVert\) আসে)। এর ভেতরে vector-এর একটা ধারা \(v_1, v_2, v_3, \ldots\) নাও।

এই ধারাটাকে Cauchy বলা হবে যদি — যত ছোট সহনশীলতা \(\varepsilon > 0\)-ই বেছে নাও না কেন — একটা পর্যায়ের (\(N\)-এর) পর ধারার যেকোনো দুটো পদের মধ্যে দূরত্ব সেই \(\varepsilon\)-এর চেয়ে ছোট থাকে:

\[\lVert v_m - v_n \rVert < \varepsilon \quad \text{for all } m, n > N.\]

সমতুল্যভাবে, index দুটো যত বড় করি, পদদুটো নিজেদের কাছে চলে আসে:

\[\lim_{m, n \to \infty} \lVert v_m - v_n \rVert = 0.\]

খেয়াল করো সংজ্ঞাটা কোথায় যাচ্ছে সেটা নিয়ে কিছু বলছে না — শুধু বলছে পদগুলো নিজেদের মধ্যে জমাট বাঁধছে। এটাই মূল সূক্ষ্মতা।

আর এখানেই বিপদ: একটা Cauchy sequence নিজে থেকে গ্যারান্টি দেয় না যে তার limit space \(V\)-এর ভেতরে আছে। source-এর সুন্দর উদাহরণটা দেখো। দুটো space নাও:

\[V_1 = (0, 1] \qquad \text{and} \qquad V_2 = (0, 1),\]

আর একই ধারা \(d_n = 1 - \dfrac{1}{n}\), যেখানে \(n\ge2\), অর্থাৎ \(\tfrac{1}{2}, \tfrac{2}{3}, \tfrac{3}{4}, \ldots\)। এভাবে প্রতিটা পদই নিচের দুই metric space-এর member।

\(n \to \infty\) হলে \(d_n \to 1\)। এটা দুই space-এই Cauchy (পদগুলো \(1\)-এর কাছে জমছে, তাই নিজেদের কাছেও জমছে)। কিন্তু:

\(V_1 = (0,1]\)-এ limit (সীমা) \(1\) space-এর ভেতরে আছে (\(1 \in V_1\)), তাই এই নির্দিষ্ট ধারাটা space-এর মধ্যেই converge করে। এতে কিন্তু \(V_1\) complete প্রমাণ হয় না।
\(V_2 = (0,1)\)-এ সীমানার বিন্দু \(1\) space-এর অংশ নয় (\(1 \notin V_2\))। তাই ধারাটা Cauchy হলেও \(V_2\)-এর ভেতরে converge করে না — যেখানে পৌঁছানোর কথা, সেই বিন্দুটাই নেই!

এই উদাহরণ দেখায় convergence ambient space-এর উপর নির্ভর করে। Completeness আরও শক্তিশালী property: একটা space complete যদি তার প্রতিটা Cauchy sequence-এর limit সেই space-এর ভেতরেই থাকে। আসলে \(V_1=(0,1]\)-ও incomplete, কারণ \(e_n=1/n\) (\(n\ge1\)) Cauchy কিন্তু \(e_n\to0\notin V_1\)।

Banach space¶

এবার নাম দেওয়া যাক। একটা Banach space হলো একটা normed vector space \(V\) যা complete — অর্থাৎ প্রতিটা Cauchy sequence \((v_n)_{n \ge 1}\)-এর একটা limit \(v \in V\) আছে যাতে:

\[\lim_{n \to \infty} \lVert v_n - v \rVert = 0,\]

যেটা norm থেকে তৈরি topology-তে লেখা যায় সংক্ষেপে:

\[\lim_{n \to \infty} v_n = v.\]

সহজ কথায়: Banach space হলো "গর্তহীন" normed space। এটা বাস্তব সংখ্যার completeness-এর ধারণাটাকে সংখ্যা থেকে vector-এ সাধারণীকরণ করে, এবং অসীম-মাত্রিক space-এ convergence নিয়ে কাজ করার নিরাপদ কাঠামো দেয়।

সবচেয়ে চেনা Banach space হলো \(\ell^p\) (যেখানে \(1 \le p < \infty\)) — এমন সব অসীম sequence \((x_n)_{n \ge 1}\) যাদের \(p\)-norm সসীম:

\[\lVert x \rVert_p = \left( \sum_{n=1}^{\infty} \lvert x_n \rvert^p \right)^{1/p} < \infty.\]

এখানে প্রতিটা "vector" নিজেই একটা অসীম সংখ্যার তালিকা — এটাই আমাদের অসীম-মাত্রায় প্রথম পা।

কেন completeness এত জরুরি, তা source একটা তীক্ষ্ণ counterexample দিয়ে দেখায়। মূলদ সংখ্যার space \(\mathbb{Q}\)-কে সাধারণ পরম-মান norm \(\lvert \cdot \rvert\) দিয়ে দেখো। \(\sqrt{2}\)-এর ধাপে ধাপে মূলদ আসন্নমান নাও:

\[v_n = n\text{-th rational approximation of }\sqrt{2} \quad (1,\; 1.4,\; 1.41,\; 1.414,\; \ldots).\]

এই ধারা \(\mathbb{Q}\)-তে Cauchy — পদগুলো নিজেদের যত ইচ্ছা কাছে আসে। কিন্তু এর limit \(\sqrt{2}\) irrational, অর্থাৎ \(\mathbb{Q}\)-এর বাইরে। ধারাটা যেন একটা গর্ত দিয়ে \(\mathbb{Q}\) থেকে "পালিয়ে" গেছে। এটাই দেখায় কেন completeness দরকার — completeness ঠিক এই পালিয়ে যাওয়াই আটকায়। (\(\mathbb{Q}\)-এর এই গর্তগুলো "ভরাট" করলেই আমরা পাই \(\mathbb{R}\), যা complete।)

Hilbert space (inner product + complete)¶

Banach space-এ শুধু "দৈর্ঘ্য" (\(\lVert \cdot \rVert\)) আছে, কিন্তু "কোণ" নেই। জ্যামিতি করতে হলে কোণ চাই — আর কোণ আসে inner product (অন্তঃগুণন) \(\langle \cdot, \cdot \rangle\) থেকে।

একটা Hilbert space হলো একটা complete inner product space — মানে এমন একটা vector space যেখানে (ক) inner product আছে, আর (খ) সেই inner product থেকে তৈরি norm-এ space-টা complete।

এটা দুই জগতের সেরা মিলন: inner product-এর বীজগাণিতিক/জ্যামিতিক কাঠামো (দৈর্ঘ্য, কোণ, লম্বতা), আর completeness-এর টপোলজিক্যাল কাঠামো (limit space-এ থাকে)। এই মিলনের ফলেই Hilbert space Fourier series-এর convergence বিশ্লেষণ, partial differential equation সমাধান, এমনকি quantum system-এর মডেলিং — সবকিছুর উপযুক্ত হাতিয়ার হয়ে ওঠে। এক কথায়, Hilbert space বীজগণিত, জ্যামিতি ও বিশ্লেষণকে অসীম-মাত্রায় একত্র করে।

inner product থেকে norm তৈরি হয় এভাবে:

\[\lVert v \rVert = \sqrt{\langle v, v \rangle}.\]

অর্থাৎ "নিজের সাথে নিজের inner product"-এর বর্গমূল হলো দৈর্ঘ্য; \(\langle v,v\rangle=\lVert v\rVert^2\) হলো দৈর্ঘ্যের বর্গ — ঠিক যেমন \(\mathbb{R}^n\)-এ \(\lVert v \rVert = \sqrt{v \cdot v}\)। এই inner product-ই Hilbert space-কে finite-dimensional Euclidean space-এর জ্যামিতি অসীম-মাত্রায় বহন করতে দেয়। সবচেয়ে গুরুত্বপূর্ণ উদাহরণ হলো \(L^2\) (square-integrable functions)-এর space, যেখানে একটা গোটা function-কেই আমরা একটা অসীম-মাত্রিক vector হিসেবে দেখি।

Function যখন vector: \(L^2\)-এর দৃষ্টিভঙ্গি। একটা function \(f\)-কে square-integrable (বর্গ-সমাকলনযোগ্য) বলা হয় যদি তার পরম-মানের বর্গ domain \(\Omega\)-এর উপর সমাকলনযোগ্য হয়:

\[\int_{\Omega} \lvert f(x) \rvert^2 \, dx < \infty,\]

এবং তখন লিখি \(f\in L^2(\Omega)\)। \(L^2(\Omega)\) separable হলে একটি countable orthonormal basis \(\{\phi_k\}\) বেছে নিয়ে

\[f=\sum_{k=1}^{\infty}f_k\phi_k\]

লেখা যায়, যেখানে convergence \(L^2\) norm-এ; pointwise convergence automatic নয়। আমাদের inner-product convention linear in the first slot হলে

\[f_k=\langle f,\phi_k\rangle=\int_\Omega f(x)\overline{\phi_k(x)}\,dx.\]

Coefficient map function-কে sequence representation দেয়:

\[f \equiv [f_1, f_2, f_3, \ldots].\]

Infinite-dimensional separable Hilbert space একটি chosen orthonormal basis-এর coefficient map দিয়ে \(\ell^2\)-এর সঙ্গে unitary/isometric isomorphic। Finite-dimensional separable Hilbert space \(\mathbb F^n\)-এর সঙ্গে isomorphic, \(\ell^2\)-এর সঙ্গে নয়। Generic basis coefficient-কে Fourier coefficient বলা হয় না; Fourier basis বাছলে তবেই সেই নাম।

Operator ও functional — বেসিক থেকে¶

Space তৈরি হলো; এবার space-এর উপর কাজ করা যন্ত্রপাতি। দুই ধরনের map গুরুত্বপূর্ণ:

Operator: vector/function space-এর মধ্যে একটি map। Functional analysis-এ সাধারণত linear operator study করি; linearity আলাদা assumption, “operator” শব্দ একাই structure preservation guarantee করে না। Differentiation, matrix multiplication ও convolution standard linear examples।
Functional (ফাংশনাল): এমন একটা map \(\phi : V \to \mathbb{C}\) (বা \(\mathbb{R}\)) যা একটা vector-কে একটা scalar (স্কেলার সংখ্যা)-এ পাঠায়। output একটা সংখ্যা। উদাহরণ: \(\phi(f) = \int_0^1 f(x)\,dx\), বা একটা নির্দিষ্ট vector-এর সাথে inner product।

মূল পার্থক্যটা মাথায় গেঁথে নাও: operator → vector বানায়, functional → সংখ্যা বানায়। এই দুটোই functional analysis-এর মেরুদণ্ড, আর এদের "ভালো" (linear, bounded, continuous) সংস্করণগুলোই পরের অধ্যায়ের spectral theory-র ভিত্তি।

৩. সংজ্ঞা ও উপপাদ্য¶

Cauchy sequence ও complete space¶

সংজ্ঞা: Cauchy sequence (কোশি ধারা)

normed vector space \((V, \lVert \cdot \rVert)\)-এ একটা ধারা \((v_n)_{n \ge 1}\) Cauchy যদি প্রতিটা \(\varepsilon > 0\)-এর জন্য এমন একটা পূর্ণসংখ্যা \(N\) থাকে যাতে:

\[\lVert v_m - v_n \rVert < \varepsilon \quad \text{for all } m, n > N.\]

সমতুল্যভাবে \(\displaystyle \lim_{m,n \to \infty} \lVert v_m - v_n \rVert = 0\)।

সংজ্ঞা: complete space (পূর্ণ স্থান)

একটা normed space \(V\) complete যদি তার প্রতিটা Cauchy sequence \((v_n)\)-এর একটা limit \(v \in V\) থাকে, অর্থাৎ \(\lVert v_n - v \rVert \to 0\)। "কোনো গর্ত নেই" — প্রতিটা কাছাকাছি-জমা-ধারা সত্যিই space-এর ভেতরের কোনো বিন্দুতে পৌঁছায়।

একটা মৌলিক সত্য মনে রাখো: convergent \(\Rightarrow\) Cauchy সবসময় (যদি \(v_n \to v\), তবে \(\lVert v_m - v_n \rVert \le \lVert v_m - v \rVert + \lVert v - v_n \rVert \to 0\), triangle inequality থেকে)। কিন্তু বিপরীতটা — Cauchy \(\Rightarrow\) convergent — কেবল complete space-এ সত্য।

উপপাদ্য: \(\mathbb{R}\) complete

বাস্তব সংখ্যার প্রতিটা Cauchy sequence \(\mathbb{R}\)-এর ভেতরে একটা সীমায় converge করে।

প্রমাণের ধারণা: ধরো \((x_n)\) Cauchy in \(\mathbb{R}\)।

১) প্রথমে, প্রতিটা Cauchy sequence bounded (পরিবদ্ধ) — কারণ \(\varepsilon = 1\) নিলে একটা \(N\)-এর পর সব পদ \(x_N\)-এর \(1\)-দূরত্বে, আর শুরুর সসীম কটা পদ এমনিতেই সীমাবদ্ধ।

২) Bolzano–Weierstrass উপপাদ্য বলে, bounded ধারার একটা convergent subsequence \((x_{n_k}) \to L\) আছে (কোনো \(L \in \mathbb{R}\))।

৩) এখন গোটা ধারাই \(L\)-এ যায়: \(\lVert x_n - L \rVert \le \lVert x_n - x_{n_k} \rVert + \lVert x_{n_k} - L \rVert\) — প্রথম পদ Cauchy-নিয়মে ছোট, দ্বিতীয় পদ subsequence-নিয়মে ছোট।

সুতরাং \(x_n \to L \in \mathbb{R}\)। \(\square\)

উদাহরণ: \(\mathbb{Q}\), \((0,1)\) ও \((0,1]\) incomplete metric space

\((\mathbb{Q}, \lvert \cdot \rvert)\) complete নয়: \(\sqrt{2}\)-এর মূলদ আসন্নমানের ধারা \(v_n\) Cauchy কিন্তু তার সীমা \(\sqrt{2} \notin \mathbb{Q}\)।

\((0,1)\) (সাধারণ দূরত্বে) complete নয়: \(d_n = 1 - \tfrac{1}{n}\) (\(n\ge2\)) Cauchy, কিন্তু সীমা \(1 \notin (0,1)\)।

\((0,1]\)-ও complete নয়: \(e_n=1/n\) Cauchy, কিন্তু সীমা \(0\notin(0,1]\)।

দুই ক্ষেত্রেই Cauchy ধারা space থেকে "পালিয়ে" যায় — তাই এরা complete নয়। \(\square\)

Banach ও Hilbert space¶

সংজ্ঞা: Banach space (বানাখ স্পেস)

একটা complete normed vector space কে Banach space বলে। অর্থাৎ \((V, \lVert \cdot \rVert)\) Banach যদি প্রতিটা Cauchy sequence \((v_n)\)-এর সীমা \(v \in V\)-এ থাকে:

\[\lim_{n \to \infty} \lVert v_n - v \rVert = 0.\]

আদর্শ উদাহরণ \(\ell^p\) (\(1 \le p < \infty\)): এমন সব sequence \((x_n)\) যাদের \(\lVert x \rVert_p = \left( \sum_{n=1}^\infty \lvert x_n \rvert^p \right)^{1/p} < \infty\)।

সংজ্ঞা: Hilbert space (হিলবার্ট স্পেস)

একটা complete inner product space কে Hilbert space বলে। inner product \(\langle \cdot, \cdot \rangle\) একটা norm প্রবর্তন করে \(\lVert v \rVert = \sqrt{\langle v, v \rangle}\), এবং সেই norm-এ space-টা complete হতে হবে।

সুতরাং: প্রতিটা Hilbert space একটা Banach space (যার norm inner product থেকে আসে), কিন্তু প্রতিটা Banach space Hilbert নয়। সবচেয়ে গুরুত্বপূর্ণ উদাহরণ \(\ell^2\) (inner product \(\langle x, y \rangle = \sum_n x_n \overline{y_n}\)) ও \(L^2(\Omega)\) (inner product \(\langle f, g \rangle = \int_\Omega f \, \overline{g}\))।

সংজ্ঞা: \(L^2\) ও Fourier coefficient

\(f \in L^2(\Omega)\) যদি \(\int_\Omega \lvert f(x) \rvert^2 \, dx < \infty\)। যদি \(\{\phi_k\}\) একটা orthonormal basis হয় (\(\langle \phi_i, \phi_j \rangle = 0\) for \(i \ne j\), আর \(\langle \phi_k, \phi_k \rangle = 1\)), তবে প্রতিটা \(f\)-এর একটা অনন্য উপস্থাপন আছে:

\[f = \sum_{k} f_k \, \phi_k, \qquad f_k = \langle f, \phi_k \rangle,\]

এবং এই series inner-product-প্রবর্তিত norm-এ converge করে। সংখ্যাগুলো \(f_k\)-কে Fourier coefficient বলে।

linear independence, orthogonality, orthonormality — সংক্ষেপে। একটা উপসেট \(S \subseteq V\)-এর জন্য \(\operatorname{span}(S) = \left\{ \sum_{i=1}^n \alpha_i v_i : n \in \mathbb{N},\; v_i \in S,\; \alpha_i \in \mathbb{C} \right\}\) হলো \(S\)-এর সব সসীম রৈখিক সমাবেশের সংগ্রহ। \(S\) linearly independent (রৈখিকভাবে স্বাধীন) যদি যেকোনো সসীম উপসেট \(\{v_1, \ldots, v_n\}\)-এর জন্য \(\sum_{i=1}^n \alpha_i v_i = 0 \Rightarrow \alpha_i = 0\ \forall i\) (অর্থাৎ শূন্য বানানোর একমাত্র উপায় সব coefficient শূন্য)। \(S\) orthogonal (লম্ব) যদি \(\langle u, v \rangle = 0\) সব \(u \ne v \in S\)-এর জন্য (লেখা হয় \(u \perp v\))। আর \(S\) orthonormal যদি orthogonal এবং প্রতিটা vector একক-দৈর্ঘ্যের, \(\lVert u \rVert = 1\)।

Operator-এর ধর্মাবলী¶

\((U, \lVert \cdot \rVert_U)\) ও \((V, \lVert \cdot \rVert_V)\) দুটো Banach space, আর \(A : U \to V\) একটা operator।

সংজ্ঞা: operator-এর মূল ধর্ম

Continuous (সন্তত): \(A\) convergence অক্ষুণ্ণ রাখে — \(u_n \xrightarrow{\lVert \cdot \rVert_U} u \Rightarrow A u_n \xrightarrow{\lVert \cdot \rVert_V} A u\)।
Bounded (পরিবদ্ধ): এমন \(c > 0\) আছে যাতে \(\lVert A u \rVert_V \le c \, \lVert u \rVert_U\) সব \(u \in U\)-এর জন্য।
Linear (রৈখিক): \(A(\alpha u + \beta w) = \alpha A u + \beta A w\) সব \(u, w \in U\) ও \(\alpha, \beta \in \mathbb{C}\)-এর জন্য।
Isometry (দূরত্ব-অক্ষুণ্ণ): দৈর্ঘ্য অক্ষুণ্ণ রাখে — \(\lVert A u \rVert_V = \lVert u \rVert_U\)।

Hilbert space \((V, \langle \cdot, \cdot \rangle)\)-এ \(A : V \to V\)-এর জন্য আরও:

Adjoint (সহচর) \(A^*\): \(\langle A u, v \rangle = \langle u, A^* v \rangle\) সব \(u, v \in V\)-এর জন্য।
Self-adjoint (স্ব-সহচর): \(A^* = A\), অর্থাৎ \(\langle A u, v \rangle = \langle u, A v \rangle\)।
Compact (কম্প্যাক্ট): weak limit-কে strong limit-এ পাঠায় — \(v_n \rightharpoonup v \Rightarrow A v_n \to A v\)।

এখানে weak limit (\(v_n \rightharpoonup v\)): \(\langle v_n, w \rangle \to \langle v, w \rangle\) সব \(w \in V\)-এর জন্য — অর্থাৎ \(v_n\) সব "সাক্ষী vector" \(w\)-এর সাথে যেভাবে মেশে, সেভাবে \(v\)-এর মতো আচরণ করে, কিন্তু norm-এ কাছে নাও আসতে পারে। আর strong limit (\(v_n \to v\)): \(\lVert v_n - v \rVert \to 0\), সত্যিকারের দূরত্ব শূন্যে যায়। \(A\)-এর rank হলো তার image-এর মাত্রা (\(\dim \operatorname{im}(A)\))।

সসীম-মাত্রায় operator মানেই matrix, আর adjoint মানেই transpose (complex-এ conjugate transpose):

\[\langle A u, v \rangle = (A u)^\top v = u^\top (A^\top v) = \langle u, A^\top v \rangle \implies A^* = A^\top.\]

উপপাদ্য: linear operator-এর জন্য bounded \(\Leftrightarrow\) continuous

একটা linear operator \(A : U \to V\)-এর জন্য "bounded" আর "continuous" একই কথা।

প্রমাণ। (\(\Rightarrow\)) ধরো \(A\) bounded, \(\lVert A u \rVert_V \le c \lVert u \rVert_U\)। যদি \(u_n \to u\), তবে linearity-তে \(\lVert A u_n - A u \rVert_V = \lVert A(u_n - u) \rVert_V \le c \lVert u_n - u \rVert_U \to 0\)। তাই continuous।

(\(\Leftarrow\)) ধরো \(A\) continuous, বিশেষত \(0\)-তে। তাহলে \(\varepsilon = 1\)-এর জন্য এমন \(\delta > 0\) আছে যাতে \(\lVert u \rVert_U \le \delta \Rightarrow \lVert A u \rVert_V \le 1\)। যেকোনো \(u \ne 0\)-এর জন্য \(\tilde u = \delta u / \lVert u \rVert_U\)-এর দৈর্ঘ্য \(\delta\), তাই \(\lVert A \tilde u \rVert_V \le 1\), অর্থাৎ \(\lVert A u \rVert_V \le \tfrac{1}{\delta} \lVert u \rVert_U\)। এটাই \(c = 1/\delta\) সহ boundedness। \(\square\)

Functional ও dual space¶

সংজ্ঞা: functional (ফাংশনাল)

Hilbert space \(V\)-এর উপর একটা functional হলো একটা map \(\phi : V \to \mathbb{C}\)।

Continuous: \(v_n \xrightarrow{\lVert \cdot \rVert_V} v \Rightarrow \phi(v_n) \to \phi(v)\)। (continuity \(\Rightarrow\) boundedness: এমন \(C\) আছে যাতে \(\lvert \phi(v) \rvert \le C \lVert v \rVert_V\)।)
Linear functional: \(\phi(\alpha v + \beta w) = \alpha \phi(v) + \beta \phi(w)\) সব \(v, w \in V\) ও \(\alpha, \beta \in \mathbb{C}\)-এর জন্য।

সংজ্ঞা: dual space (দ্বৈত স্থান) \(V^*\)

\(V\)-এর dual (বা conjugate) space হলো \(V\)-এর সব linear continuous functional-এর সংগ্রহ:

\[V^* = \{ \phi : V \to \mathbb{C} \mid \phi \text{ linear and continuous} \}.\]

\(V^*\)-এর সদস্যদের dual vector (দ্বৈত ভেক্টর) বলে। (Hilbert space-এ Riesz উপপাদ্য বলে, প্রতিটা এমন \(\phi\)-কে লেখা যায় \(\phi(v) = \langle v, u \rangle\) রূপে একটা নির্দিষ্ট \(u \in V\)-এর জন্য — অর্থাৎ \(V^*\) কার্যত \(V\)-এর মতোই।)

৪. উদাহরণ ও Analogy¶

Analogy: Infinite-dimensional separable Hilbert space যেন অসীম-অক্ষের graph paper¶

\(\mathbb R^3\)-এ orthonormal axes \(e_1,e_2,e_3\) বরাবর \(v_i=\langle v,e_i\rangle\) component পাই। Infinite-dimensional separable Hilbert space-এ countably many axes \(e_1,e_2,\dots\) থাকে। Chosen basis \(\phi_k\)-এ \(f_k=\langle f,\phi_k\rangle\) basis coefficient; Fourier basis হলে সেটিই Fourier coefficient। Completeness মানে Cauchy sequence-এর limit space-এ missing নয়।

উদাহরণ ১: \(\ell^2\) একটা Hilbert space¶

\(\ell^2 = \{ x = (x_1, x_2, \ldots) : \sum_n \lvert x_n \rvert^2 < \infty \}\), inner product \(\langle x, y \rangle = \sum_n x_n \overline{y_n}\), আর norm \(\lVert x \rVert_2 = \sqrt{\sum_n \lvert x_n \rvert^2}\)।

একটা Cauchy sequence যা ভেতরেই converge করে। ধারা \(x^{(n)} = (1, \tfrac12, \tfrac13, \ldots, \tfrac1n, 0, 0, \ldots)\) নাও — প্রথম \(n\)টা পদ \(\tfrac1k\), বাকি শূন্য। \(m > n\)-এর জন্য:

\[\lVert x^{(m)} - x^{(n)} \rVert_2^2 = \sum_{k=n+1}^{m} \frac{1}{k^2} \le \sum_{k=n+1}^{\infty} \frac{1}{k^2} \xrightarrow[n \to \infty]{} 0,\]

কারণ \(\sum 1/k^2 = \pi^2/6 < \infty\)। তাই ধারাটা Cauchy। এর সীমা \(x = (1, \tfrac12, \tfrac13, \ldots)\), আর যেহেতু \(\sum 1/k^2 < \infty\), তাই \(x \in \ell^2\)। limit space-এর ভেতরেই — \(\ell^2\) complete, অর্থাৎ Hilbert।

উদাহরণ ২: একটা Cauchy ধারা যার সীমা space-এর বাইরে¶

source-এর \(V_2 = (0,1)\) নাও, \(d_n = 1 - \tfrac1n\) (\(n\ge2\))। \(m > n\)-এর জন্য \(\lvert d_m - d_n \rvert = \left\lvert \tfrac1n - \tfrac1m \right\rvert < \tfrac1n \to 0\), তাই Cauchy। কিন্তু \(d_n \to 1 \notin (0,1)\) — সীমা space-এর বাইরে। \((0,1)\) তাই incomplete metric space। একে “Banach নয়” বলা category error, কারণ usual addition/scalar multiplication-এ \((0,1)\) vector space-ই নয়; Banach হওয়ার প্রশ্ন ওঠে কেবল normed vector space-এর জন্য।

একই ঘটনা \(\mathbb{Q}\)-তে \(\sqrt{2}\)-এর আসন্নমান নিয়ে: Cauchy, কিন্তু সীমা irrational। এই দুটো উদাহরণই দেখায় "Cauchy" আর "convergent-in-the-space" এক নয় — মাঝখানে দাঁড়িয়ে আছে completeness।

উদাহরণ ৩: function যখন vector (\(L^2\)-তে decomposition)¶

\(X = [0,1]\)-এ তিনটে ভিত্তি-ফাংশন নাও: \(\phi_1(x) = 1\), \(\phi_2(x) = \sin(10\pi x)\), \(\phi_3(x) = \cos(\pi x)\)। function

\[f(x) = 2 + 17 \sin(10 \pi x) - \cos(\pi x)\]

সরাসরি লেখা যায়:

\[f(x) = 2 \cdot \phi_1(x) + 17 \cdot \phi_2(x) - 1 \cdot \phi_3(x),\]

অর্থাৎ coefficient \(f_1 = 2,\ f_2 = 17,\ f_3 = -1\), আর function-টা vector \([2, 17, -1]\) হিসেবে ধরা যায়। অসীম সংখ্যক ভিত্তি-ফাংশনে বাড়ালে এটাই পূর্ণ \(L^2\) দৃষ্টিভঙ্গি: \(f\) হলো ভিত্তি-ফাংশনের ওজনযুক্ত অসীম যোগফল।

একটা সূক্ষ্মতা: normalize করা

উপরের \(\phi_k\)-গুলো \([0,1]\)-এ পরস্পর-orthogonal, কিন্তু ঠিক orthonormal নয় — যেমন \(\int_0^1 \sin^2(10\pi x)\,dx = \tfrac12\), তাই \(\lVert \phi_2 \rVert = \tfrac{1}{\sqrt2} \ne 1\)। coefficient-নির্ণয়ের সূত্র \(f_k = \langle f, \phi_k \rangle\) কেবল orthonormal basis-এর জন্য সরাসরি খাটে। ঠিকঠাক করতে হলে \(\psi_k = \phi_k / \lVert \phi_k \rVert\) নিতে হবে (এখানে \(\psi_1 = 1\), \(\psi_2 = \sqrt2 \sin(10\pi x)\), \(\psi_3 = \sqrt2 \cos(\pi x)\))। উপরের \([2,17,-1]\) উপস্থাপনটা "দেওয়া basis"-এর সাপেক্ষে coordinate হিসেবে ঠিক আছে; শুধু projection-সূত্র প্রয়োগের আগে normalize করার কথা মনে রেখো।

উদাহরণ ৪: একটা linear functional¶

\(V = L^2[0,1]\)-এ integration functional \(\phi(f) = \int_0^1 f(x)\,dx\) নাও।

Linear: \(\phi(\alpha f + \beta g) = \int_0^1 (\alpha f + \beta g) = \alpha \int_0^1 f + \beta \int_0^1 g = \alpha \phi(f) + \beta \phi(g)\)। ✓
Bounded: Cauchy–Schwarz দিয়ে \(\lvert \phi(f) \rvert = \left\lvert \int_0^1 f \cdot 1 \right\rvert = \lvert \langle f, \mathbf{1} \rangle \rvert \le \lVert f \rVert_2 \, \lVert \mathbf{1} \rVert_2 = \lVert f \rVert_2 \cdot 1\)। তাই \(C = 1\) সহ bounded, অর্থাৎ continuous।

লক্ষ করো, এখানে \(\phi(f) = \langle f, \mathbf{1} \rangle\) — অর্থাৎ ধ্রুবক function \(\mathbf{1}\)-এর সাথে inner product। এটাই Riesz উপপাদ্যের ঝলক: প্রতিটা "ভালো" linear functional আসলে কোনো একটা নির্দিষ্ট vector-এর সাথে inner product ছাড়া কিছুই নয়। এই \(\mathbf{1}\) হলো \(\phi\)-এর Riesz representative (রিস প্রতিনিধি)।

৫. সাধারণ ভুল (Common mistakes)¶

"Cauchy মানেই convergent" — সব space-এ ভাবা। এটা কেবল complete space-এ সত্য। \(\mathbb{Q}\)-তে বা \((0,1)\)-তে Cauchy ধারার সীমা space-এর বাইরে চলে যেতে পারে। "কাছাকাছি জমছে" আর "কোথাও পৌঁছাচ্ছে" এক নয়।
completeness-কে boundedness বা closedness-এর সাথে গুলিয়ে ফেলা। completeness হলো "প্রতিটা Cauchy ধারার সীমা ভেতরে আছে" — এটা আলাদা ধর্ম। finite-dimension-এ closed + bounded \(\Rightarrow\) compact (Heine–Borel), কিন্তু অসীম-মাত্রায় এই সুবিধা নেই।
প্রতিটা Banach space-কে Hilbert ভাবা। Hilbert হতে হলে norm-টা কোনো inner product থেকে আসতে হবে, যা parallelogram law \(\lVert u+v \rVert^2 + \lVert u-v \rVert^2 = 2\lVert u \rVert^2 + 2\lVert v \rVert^2\) মেনে চলে। \(\ell^p\) (\(p \ne 2\)) বা sup-norm-এর \(C[a,b]\) Banach কিন্তু Hilbert নয় — এদের norm এই সূত্র মানে না, তাই এদের কোনো inner product নেই।
"সব norm inner product থেকে আসে" ভাবা। ভুল উল্টো দিক। inner product সবসময় একটা norm দেয় (\(\lVert v \rVert = \sqrt{\langle v,v \rangle}\)), কিন্তু সব norm inner product থেকে আসে না (আগের point দেখো)।
finite-dimensional স্বজ্ঞা অন্ধভাবে বহন করা। \(\mathbb{R}^n\)-এ প্রতিটা linear map আপনা-আপনি continuous ও bounded — কিন্তু অসীম-মাত্রায় unbounded (অপরিবদ্ধ) operator থাকে (যেমন differentiation), যারা linear হয়েও continuous নয়।
weak আর strong convergence গুলিয়ে ফেলা। strong (\(\lVert v_n - v \rVert \to 0\)) সবসময় weak (\(\langle v_n, w \rangle \to \langle v, w \rangle\ \forall w\))-কে বোঝায়, কিন্তু উল্টোটা নয়। যেমন \(\ell^2\)-এ orthonormal \(e_n \rightharpoonup 0\) (weak) অথচ \(\lVert e_n - 0 \rVert = 1\) (strong নয়)। compact operator ঠিক এই ফাঁকটাই "জোড়া লাগায়"।
operator আর functional গুলিয়ে ফেলা। operator \(A : U \to V\) output দেয় একটা vector; functional \(\phi : V \to \mathbb{C}\) output দেয় একটা সংখ্যা। functional আসলে \(V\) থেকে \(\mathbb{C}\)-তে যাওয়া একটা বিশেষ operator।
orthonormal basis-কে সাধারণ (Hamel) basis ভাবা। অসীম-মাত্রায় \(v = \sum_i \langle v, e_i \rangle e_i\) একটা অসীম যোগফল যা norm-এ converge করে (Hilbert/Schauder basis)। এটা "সসীম সমাবেশ" ধরনের বীজগাণিতিক Hamel basis থেকে আলাদা — এই পার্থক্যটাই completeness-কে অপরিহার্য করে তোলে।

৬. এক্সারসাইজ (Exercises)¶

নিজে চেষ্টা করো, তারপর সমাধান খোলো। সহজ থেকে কঠিনের দিকে সাজানো; শেষ কয়েকটায় ML-সংযোগ আছে।

(Cauchy যাচাই) \(V = (0,1]\) ও \(V = (0,1)\) — দুই ক্ষেত্রেই \(d_n = 1 - \tfrac1n\) (\(n\ge2\)) Cauchy কিনা দেখাও। কোন space-এ limit ভেতরে আছে, কোনটায় নেই? এই একটি sequence কি \((0,1]\) complete প্রমাণ করে? \(e_n=1/n\) ব্যবহার করে উত্তরটি finish করো।
(\(\ell^2\)-তে limit) ধারা \(x^{(n)} = \left(1, \tfrac12, \tfrac14, \ldots, \tfrac1{2^{n-1}}, 0, 0, \ldots\right)\) (প্রথম \(n\)টা পদ \(2^{-(k-1)}\), বাকি শূন্য)। দেখাও এটা \(\ell^2\)-তে Cauchy এবং তার সীমা বের করে দেখাও সীমা \(\ell^2\)-তে আছে।
(convergent \(\Rightarrow\) Cauchy) প্রমাণ করো: যেকোনো normed space-এ \(v_n \to v\) হলে \((v_n)\) Cauchy। (triangle inequality ব্যবহার করো।) বিপরীতটা কেন সব space-এ সত্য নয়, এক বাক্যে বলো।
(function-কে vector হিসেবে) \([0,1]\)-এ orthonormal ভিত্তি \(\psi_1 = 1\), \(\psi_2 = \sqrt2 \cos(2\pi x)\), \(\psi_3 = \sqrt2 \sin(2\pi x)\) ধরে নাও (এগুলো সত্যিই orthonormal)। function \(f(x) = 3 + \sqrt2\cos(2\pi x)\)-কে coefficient-vector \([f_1, f_2, f_3]\) হিসেবে লেখো, আর \(f_2 = \langle f, \psi_2 \rangle = \int_0^1 f(x)\psi_2(x)\,dx\) সমাকলন করে যাচাই করো।
(linear functional ও Riesz) \(V = L^2[0,1]\)-এ \(\phi(f) = \int_0^1 x\, f(x)\,dx\)। দেখাও \(\phi\) linear ও bounded, এবং তার Riesz representative \(u(x)\) শনাক্ত করো (অর্থাৎ এমন \(u\) যাতে \(\phi(f) = \langle f, u \rangle\))।
(Banach বনাম Hilbert) \(\mathbb{R}^2\)-এ \(\ell^1\)-norm \(\lVert (a,b) \rVert_1 = \lvert a \rvert + \lvert b \rvert\) নাও। \(u = (1,0),\ v = (0,1)\) বসিয়ে parallelogram law \(\lVert u+v \rVert^2 + \lVert u-v \rVert^2 = 2\lVert u \rVert^2 + 2\lVert v \rVert^2\) পরীক্ষা করো। এটা কি মানে? এই norm কি কোনো inner product থেকে আসে?
(kernel ও feature space — ML) ধরো একটা feature map \(\Phi : \mathbb{R}^2 \to \mathbb{R}^3\), \(\Phi(x) = \left(x_1^2, \sqrt2\, x_1 x_2, x_2^2\right)\)। দেখাও যে feature space-এর inner product \(\langle \Phi(x), \Phi(y) \rangle\) ঠিক polynomial kernel \(k(x,y) = (x_1 y_1 + x_2 y_2)^2 = \langle x, y \rangle^2\)-এর সমান। এই ফলাফল "kernel trick" সম্পর্কে কী বলছে, আর feature space একটা Hilbert space হওয়া কেন কাজে লাগে?
(self-adjoint ও eigenvalue — spectral-এর ভূমিকা) ধরো \(A : \mathbb{R}^n \to \mathbb{R}^n\) একটা symmetric matrix (\(A^\top = A\))। (ক) \(\langle Au, v \rangle = \langle u, Av \rangle\) দেখিয়ে প্রমাণ করো \(A\) self-adjoint। (খ) প্রমাণ করো self-adjoint operator-এর প্রতিটা eigenvalue বাস্তব সংখ্যা। [ইঙ্গিত: \(Av = \lambda v\) (\(v \ne 0\)) হলে \(\langle Av, v \rangle\)-কে দুই ভাবে হিসাব করো।] এটা কেন পরের অধ্যায়ের (spectral theory) ভিত্তি, এক বাক্যে বলো।

৭. সমাধান (ব্যাখ্যাসহ)¶

১-নং সমাধান দেখাও

\(d_n = 1 - \tfrac1n\), তাই \(m > n\)-এর জন্য

\[\lvert d_m - d_n \rvert = \left\lvert \left(1 - \tfrac1m\right) - \left(1 - \tfrac1n\right) \right\rvert = \left\lvert \tfrac1n - \tfrac1m \right\rvert < \frac1n.\]

যেকোনো \(\varepsilon > 0\)-এর জন্য \(N > 1/\varepsilon\) নিলে \(m, n > N \Rightarrow \lvert d_m - d_n \rvert < \varepsilon\)। তাই দুই space-এই ধারাটা Cauchy (Cauchy-ধর্ম space-এর সীমানার উপর নির্ভর করে না, শুধু পদগুলোর উপর)।

সীমা \(d_n \to 1\)। \(V = (0,1]\)-এ \(1 \in V\) — সীমা ভেতরে, ধারা space-এর মধ্যেই converge করে। \(V = (0,1)\)-এ \(1 \notin V\) — সীমা বাইরে, ধারা space-এর মধ্যে converge করে না।

উপসংহার: একই Cauchy ধারা এক ambient space-এ converge করে, আরেকটায় নয়। এটি \((0,1)\)-কে incomplete প্রমাণ করে, কিন্তু \((0,1]\)-এর completeness প্রমাণ করে না—complete হতে সব Cauchy sequence converge করতে হয়। Counterexample \(e_n=1/n\): এটি \((0,1]\)-এ Cauchy, কিন্তু \(e_n\to0\notin(0,1]\)। তাই \((0,1]\) ও \((0,1)\) দুটোই incomplete metric space।

২-নং সমাধান দেখাও

\(x^{(n)}_k = 2^{-(k-1)}\) যদি \(k \le n\), নইলে \(0\)। \(m > n\)-এর জন্য দুটো ধারার পার্থক্য কেবল index \(n+1, \ldots, m\)-এ:

\[\lVert x^{(m)} - x^{(n)} \rVert_2^2 = \sum_{k=n+1}^{m} \left(2^{-(k-1)}\right)^2 = \sum_{k=n+1}^{m} 4^{-(k-1)} \le \sum_{k=n+1}^{\infty} 4^{-(k-1)} = \frac{4^{-n}}{1 - \tfrac14} = \frac{4}{3}\cdot 4^{-n}.\]

\(n \to \infty\)-এ এটা \(\to 0\), তাই ধারাটা Cauchy।

সীমা \(x = \left(1, \tfrac12, \tfrac14, \ldots\right)\), অর্থাৎ \(x_k = 2^{-(k-1)}\)। এটা \(\ell^2\)-তে আছে কিনা:

\[\lVert x \rVert_2^2 = \sum_{k=1}^{\infty} 4^{-(k-1)} = \frac{1}{1 - \tfrac14} = \frac43 < \infty. \quad \checkmark\]

আর \(\lVert x^{(n)} - x \rVert_2^2 = \sum_{k=n+1}^\infty 4^{-(k-1)} = \tfrac43 \cdot 4^{-n} \to 0\)। তাই \(x^{(n)} \to x \in \ell^2\) — সীমা space-এর ভেতরেই, \(\ell^2\) complete।

৩-নং সমাধান দেখাও

ধরো \(v_n \to v\), অর্থাৎ \(\lVert v_n - v \rVert \to 0\)। যেকোনো \(\varepsilon > 0\)-এর জন্য এমন \(N\) আছে যাতে \(n > N \Rightarrow \lVert v_n - v \rVert < \tfrac{\varepsilon}{2}\)। তখন \(m, n > N\)-এর জন্য triangle inequality-তে:

\[\lVert v_m - v_n \rVert = \lVert (v_m - v) - (v_n - v) \rVert \le \lVert v_m - v \rVert + \lVert v_n - v \rVert < \frac{\varepsilon}{2} + \frac{\varepsilon}{2} = \varepsilon.\]

সুতরাং \((v_n)\) Cauchy। \(\square\)

বিপরীতটা কেন সব space-এ নয়: কারণ Cauchy ধারার সীমা space-এর বাইরে থাকতে পারে (যেমন \(\mathbb{Q}\)-তে \(\sqrt2\)) — সীমাটা আছে ধরে নেওয়াই যায় না যদি space complete না হয়।

৪-নং সমাধান দেখাও

\(f(x) = 3 + \sqrt2 \cos(2\pi x)\)। দেওয়া orthonormal basis \(\psi_1 = 1,\ \psi_2 = \sqrt2\cos(2\pi x),\ \psi_3 = \sqrt2 \sin(2\pi x)\)।

সরাসরি মিলিয়ে: \(f = 3 \cdot \psi_1 + 1 \cdot \psi_2 + 0 \cdot \psi_3\), তাই coefficient-vector \([f_1, f_2, f_3] = [3, 1, 0]\)।

\(f_2\) সমাকলনে যাচাই:

\[f_2 = \int_0^1 f(x)\, \psi_2(x)\, dx = \int_0^1 \left(3 + \sqrt2 \cos(2\pi x)\right) \sqrt2 \cos(2\pi x)\, dx.\]

এটা দুই ভাগে:

\[\int_0^1 3\sqrt2 \cos(2\pi x)\, dx = 3\sqrt2 \cdot 0 = 0 \quad (\text{because } \textstyle\int_0^1 \cos(2\pi x)\,dx = 0),\]

\[\int_0^1 \sqrt2 \cos(2\pi x)\cdot \sqrt2 \cos(2\pi x)\, dx = 2 \int_0^1 \cos^2(2\pi x)\, dx = 2 \cdot \frac12 = 1.\]

যোগ করে \(f_2 = 0 + 1 = 1\) ✓ — coefficient-vector-এর সাথে মিলল। (একইভাবে \(f_1 = \int_0^1 f \cdot 1 = 3\), আর \(f_3 = 0\)।)

৫-নং সমাধান দেখাও

\(\phi(f) = \int_0^1 x f(x)\, dx\)।

Linear: \(\phi(\alpha f + \beta g) = \int_0^1 x(\alpha f + \beta g) = \alpha \int_0^1 x f + \beta \int_0^1 x g = \alpha \phi(f) + \beta \phi(g)\)। ✓

Bounded: \(u(x) = x\) লিখলে \(\phi(f) = \int_0^1 f(x)\, x\, dx = \langle f, u \rangle\)। Cauchy–Schwarz:

\[\lvert \phi(f) \rvert = \lvert \langle f, u \rangle \rvert \le \lVert f \rVert_2 \, \lVert u \rVert_2, \qquad \lVert u \rVert_2 = \sqrt{\int_0^1 x^2\, dx} = \sqrt{\tfrac13} = \tfrac{1}{\sqrt3}.\]

তাই \(\lvert \phi(f) \rvert \le \tfrac{1}{\sqrt3} \lVert f \rVert_2\) — bounded (\(C = 1/\sqrt3\)), অতএব continuous।

Riesz representative: যেহেতু \(\phi(f) = \langle f, u \rangle\) সহ \(u(x) = x\), তাই representative হলো \(u(x) = x\)। (Riesz উপপাদ্য নিশ্চিত করে এটাই একমাত্র।)

৬-নং সমাধান দেখাও

\(\ell^1\)-norm, \(u = (1,0),\ v = (0,1)\)।

\(u + v = (1,1)\), \(\lVert u+v \rVert_1 = \lvert 1 \rvert + \lvert 1 \rvert = 2\), তাই \(\lVert u+v \rVert_1^2 = 4\)।
\(u - v = (1,-1)\), \(\lVert u-v \rVert_1 = 2\), তাই \(\lVert u-v \rVert_1^2 = 4\)।
বাঁ দিক: \(4 + 4 = 8\)।
\(\lVert u \rVert_1 = 1,\ \lVert v \rVert_1 = 1\), তাই ডান দিক: \(2(1) + 2(1) = 4\)।

\(8 \ne 4\) — parallelogram law ভাঙল। যেহেতু প্রতিটা inner-product-প্রবর্তিত norm এই সূত্র মানতেই হবে, তাই \(\ell^1\)-norm কোনো inner product থেকে আসে না। অতএব \((\mathbb{R}^2, \lVert \cdot \rVert_1)\) একটা Banach space (finite-dim, complete) কিন্তু Hilbert space নয়। এটাই common mistake ৩-এর মূর্ত রূপ।

৭-নং সমাধান দেখাও

\(\Phi(x) = (x_1^2,\ \sqrt2\, x_1 x_2,\ x_2^2)\)। feature space-এর (এখানে \(\mathbb{R}^3\)) inner product:

\[\langle \Phi(x), \Phi(y) \rangle = x_1^2 y_1^2 + \left(\sqrt2\, x_1 x_2\right)\left(\sqrt2\, y_1 y_2\right) + x_2^2 y_2^2 = x_1^2 y_1^2 + 2 x_1 x_2 y_1 y_2 + x_2^2 y_2^2.\]

ডান দিক একটা পূর্ণবর্গ:

\[= (x_1 y_1 + x_2 y_2)^2 = \langle x, y \rangle^2 = k(x,y).\]

অর্থাৎ feature space-এ কষ্ট করে \(\Phi\) হিসাব না করেও, শুধু মূল space-এ \(k(x,y) = \langle x, y \rangle^2\) গুনেই ওই inner product পাওয়া যায় — এটাই kernel trick: ব্যয়বহুল (এমনকি অসীম-মাত্রিক) feature space-এ কাজ করা যায় কেবল kernel মান দিয়ে, \(\Phi\) কখনো স্পষ্টভাবে না বানিয়েই।

feature space Hilbert হওয়া কেন দরকার: তখন সেখানে দৈর্ঘ্য, কোণ, projection ও (completeness-এর দৌলতে) convergence-এর নিশ্চয়তা থাকে — SVM-এর margin, projection ও optimisation সব এই জ্যামিতির উপর দাঁড়ায়। এই ধারণার সাধারণ রূপই RKHS (Reproducing Kernel Hilbert Space)।

৮-নং সমাধান দেখাও

(ক) self-adjoint। \(\mathbb{R}^n\)-এ inner product \(\langle u, v \rangle = u^\top v\)। তাহলে

\[\langle Au, v \rangle = (Au)^\top v = u^\top A^\top v = u^\top (A v) = \langle u, A v \rangle,\]

যেখানে মাঝে \(A^\top = A\) (symmetric) বসানো হয়েছে। যেহেতু \(\langle Au, v \rangle = \langle u, Av \rangle\) সব \(u, v\)-এর জন্য, তাই \(A^* = A\) — অর্থাৎ \(A\) self-adjoint। \(\square\)

(খ) eigenvalue বাস্তব। ধরো \(Av = \lambda v\), \(v \ne 0\)। (সম্ভাব্য জটিল eigenvalue ধরার জন্য complex inner product \(\langle a, b \rangle = \sum_i a_i \overline{b_i}\) ব্যবহার করি; self-adjointness একই ভাবে \(\langle Au, v\rangle = \langle u, Av\rangle\) দেয়।) \(\langle Av, v \rangle\)-কে দুই ভাবে হিসাব করি:

\[\langle Av, v \rangle = \langle \lambda v, v \rangle = \lambda \langle v, v \rangle = \lambda \lVert v \rVert^2,\]

\[\langle Av, v \rangle = \langle v, Av \rangle = \langle v, \lambda v \rangle = \overline{\lambda} \langle v, v \rangle = \overline{\lambda}\, \lVert v \rVert^2.\]

তাই \(\lambda \lVert v \rVert^2 = \overline{\lambda}\, \lVert v \rVert^2\)। যেহেতু \(v \ne 0\), \(\lVert v \rVert^2 > 0\), কাটাকাটি করে \(\lambda = \overline{\lambda}\) — মানে \(\lambda\) বাস্তব। \(\square\)

কেন এটা spectral theory-র ভিত্তি: self-adjoint operator-এর eigenvalue বাস্তব ও eigenvector-গুলো পরস্পর-লম্ব — এই দুই ধর্মই পরের অধ্যায়ের spectral decomposition (eigen-basis-এ operator-কে "কর্ণীয়" করা) ও Fourier analysis-কে সম্ভব করে।

৮. সারসংক্ষেপ ও Checklist¶

এই অধ্যায়ের পর নিজেকে যাচাই করো:

[ ] Cauchy sequence-এর সংজ্ঞা বলতে পারি — পদগুলো নিজেদের মধ্যে জমছে (\(\lVert v_m - v_n \rVert \to 0\)), কোথায় যাচ্ছে না দেখেই।
[ ] convergent \(\Rightarrow\) Cauchy সবসময়, কিন্তু Cauchy \(\Rightarrow\) convergent কেবল complete space-এ — এবং কেন, তা বলতে পারি।
[ ] complete/completeness মানে "কোনো গর্ত নেই" — প্রতিটা Cauchy ধারার সীমা space-এ থাকে; \(\mathbb{Q}\) ও \((0,1)\)-এর incomplete উদাহরণ দিতে পারি।
[ ] Banach space \(=\) complete normed space; আদর্শ উদাহরণ \(\ell^p\) জানি।
[ ] Hilbert space \(=\) complete inner product space; inner product norm প্রবর্তন করে (\(\lVert v \rVert = \sqrt{\langle v, v \rangle}\)); প্রতিটা Hilbert Banach, উল্টোটা নয় (parallelogram law)।
[ ] \(L^2\) ও function-কে infinite-dimensional vector হিসেবে দেখতে পারি; orthonormal basis-এ \(f = \sum_k f_k \phi_k\), \(f_k = \langle f, \phi_k \rangle\) (Fourier coefficient)।
[ ] operator-এর ধর্ম — linear, bounded, continuous, isometry, adjoint, self-adjoint, compact — এবং linear-এর জন্য bounded \(\Leftrightarrow\) continuous জানি।
[ ] functional \(=\) vector থেকে scalar; linear + continuous functional-দের সংগ্রহই dual space \(V^*\); Riesz-এর স্বজ্ঞা জানি।
[ ] weak বনাম strong convergence-এর পার্থক্য, আর compact operator কীভাবে weak-কে strong-এ পাঠায় বুঝি।
[ ] ML-সংযোগ: kernel/feature space একটা Hilbert space (kernel trick, RKHS), signal/Fourier ও spectral method Hilbert-এর orthonormal basis-এর উপর দাঁড়ায়।

➡️ পরের অধ্যায়: 8.6 — Spectral Theory — eigenvalue, eigenfunction ও Fourier।