5.2 — Orthogonality ও Projection

এই অধ্যায়ে কী শিখব: orthogonal projection, orthogonal complement — লম্বতার ধারণা থেকে Hilbert space-এর সবচেয়ে শক্তিশালী সরঞ্জাম: যেকোনো vector-কে দুটো লম্ব অংশে ভাঙা, আর কোনো subspace-এ সবচেয়ে কাছের বিন্দু খুঁজে বের করা।

উৎস (source): Pythagoras; Hilbert, Schmidt (projection ও orthogonal decomposition)।

---

১. কেন শিখব? (Motivation)

কল্পনা করো একটা noise-ভর্তি audio signal আছে। তুমি চাও শুধু voice-এর অংশটা আলাদা করতে, noise বাদ দিতে। গণিতে এটা মানে: signal \(f\)-কে একটা subspace \(U\)-এ project করা — মূলত \(f\)-এর "সবচেয়ে কাছের পরিষ্কার সংস্করণ" বের করা।

এই কাজটা সম্ভব শুধু orthogonality (লম্বতা) ধারণার কারণে। দুটো vector লম্ব মানে তারা একে অপরের সাথে "কোনো মিল রাখে না" — inner product শূন্য। আর projection মানে একটা vector-এর "ছায়া" ফেলা subspace-এর উপর।

এই অধ্যায়ে আমরা দেখব:

• Pythagorean theorem generalize হয় inner product space-এ — লম্ব vectors-এর ক্ষেত্রে \(\lVert x + y \rVert^2 = \lVert x \rVert^2 + \lVert y \rVert^2\)।
• Orthogonal projection (লম্ব অভিক্ষেপ) \(P_U\) — একটা linear map যা Hilbert space-এর প্রতিটা vector-কে subspace \(U\)-তে তার "সবচেয়ে কাছের প্রতিচ্ছবি"-তে পাঠায়।
• Best approximation theorem — সেই প্রতিচ্ছবিই \(U\)-এর মধ্যে \(f\)-এর সবচেয়ে কাছের বিন্দু।
• Orthogonal complement (লম্ব পূরক) \(U^\perp\) — \(U\)-এর সাথে লম্ব সব vectors-এর সমষ্টি।
• Orthogonal decomposition \(H = U \oplus U^\perp\) — যেকোনো \(f\)-কে অনন্যভাবে \(m + m^\perp\)-এ ভাঙা যায়।

মূল স্বজ্ঞা

Projection = "ছায়া ফেলা"। একটা flashlight সরাসরি উপর থেকে জ্বাললে মেঝেতে ছায়া পড়ে — সেটাই orthogonal projection। ছায়া থেকে মূল বিন্দুর দূরত্বটা সবসময় subspace-এর যেকোনো বিন্দু থেকে দূরত্বের মধ্যে সবচেয়ে ছোট।

আগের অধ্যায়ে inner product আর Cauchy–Schwarz শিখেছিলাম। এবার সেই কাঠামো ব্যবহার করে Hilbert space-এর সবচেয়ে শক্তিশালী ফলাফলগুলো বের করব।

---

২. মূল ধারণা (Core idea)

Orthogonality (লম্বতা) কী?

দুটো vector \(x, y\)-কে orthogonal বলা হয় যদি তাদের inner product শূন্য হয়:

\[\langle x, y \rangle = 0\]

চিহ্নে লেখা হয় \(x \perp y\)।

\(\mathbb{R}^2\)-এ এটা ঠিক geometric লম্বতা — \(x\)-axis আর \(y\)-axis পরস্পর orthogonal। কিন্তু এই সংজ্ঞা \(L^2(\mu)\)-তেও কাজ করে: দুটো function লম্ব মানে তাদের "overlap" (গুণফলের integral) শূন্য।

চিত্র ১: orthogonal vectors \(\mathbf{x}\) আর \(\mathbf{y}\) — inner product শূন্য, কোণ ঠিক \(90°\)। Right-angle চিহ্ন দিয়ে লম্বতা দেখানো হয়েছে।

উদাহরণ:

• \(\mathbb{R}^3\)-এ \((1, 0, 0)\) এবং \((0, 1, 0)\) orthogonal: \(\langle (1,0,0), (0,1,0) \rangle = 0\)।
• \(L^2[0, \pi]\)-এ \(\sin x\) আর \(\cos x\) orthogonal: \(\int_0^\pi \sin x \cos x\, dx = 0\)।
• \(L^2[-\pi, \pi]\)-এ \(\sin(mx)\) এবং \(\sin(nx)\) (\(m \neq n\)) orthogonal — এটাই Fourier analysis-এর ভিত্তি।

Projection — স্বজ্ঞা

একটা vector \(f\)-কে subspace \(U\)-এ "নামানো" মানে হলো এমন একটা vector \(P_U f \in U\) খোঁজা যেন \(f - P_U f\) (error vector) \(U\)-এর সাথে লম্ব। এটাই geometric "ছায়া ফেলা" — ঠিক flashlight যেমন উপর থেকে পড়লে মেঝেতে লম্ব ছায়া তৈরি হয়।

চিত্র ২: \(f\) থেকে line (subspace \(U\))-এ orthogonal projection। \(P_U f\) হলো \(U\)-তে \(f\)-এর "ছায়া"। Error vector \(f - P_U f\) ঠিক \(U\)-এর সাথে লম্ব।

---

৩. সংজ্ঞা ও উপপাদ্য (Definitions & Theorems)

Hilbert Space (হিলবার্ট স্পেস)

এই অধ্যায়ের গভীর ফলাফলগুলোর জন্য একটু বেশি শক্তি দরকার — completeness (সম্পূর্ণতা)।

সংজ্ঞা: Hilbert Space (হিলবার্ট স্পেস)

একটা Hilbert space হলো এমন একটা inner product space যেটা তার induced norm-এর সাপেক্ষে একটা Banach space (অর্থাৎ complete normed space)।

আরও স্পষ্টভাবে: \((V, \langle \cdot, \cdot \rangle)\) একটা Hilbert space যদি \(V\) inner product space হয় এবং \(V\)-এর প্রতিটা Cauchy sequence \(V\)-এরই কোনো element-এ converge করে।

উদাহরণ:

• \(L^2(\mu)\) — যেকোনো measure \(\mu\)-এর জন্য। (Axler 8.22)
• \(\mathbb{F}^n\) (যেকোনো \(n\)-এর জন্য) — standard dot product-সহ।
• \(\ell^2\) — square-summable sequences।
• \(\ell^1\), \(C([0,1])\) with \(L^2\) norm — এরা inner product space কিন্তু Hilbert space নয় (incomplete)।

Pythagorean Theorem (পিথাগোরাস উপপাদ্য) — generalised

উপপাদ্য (Axler 8.9): Pythagorean Theorem

Inner product space \((V, \langle \cdot, \cdot \rangle)\)-এ যদি \(\langle x, y \rangle = 0\) (অর্থাৎ \(x \perp y\)), তাহলে:

\[\lVert x + y \rVert^2 = \lVert x \rVert^2 + \lVert y \rVert^2\]

প্রমাণ:

\[\lVert x + y \rVert^2 = \langle x+y, x+y \rangle = \lVert x \rVert^2 + \langle x,y \rangle + \langle y,x \rangle + \lVert y \rVert^2\]

যেহেতু \(\langle x, y \rangle = 0\), তাই \(\langle y, x \rangle = \overline{\langle x,y \rangle} = 0\)। তাই:

\[\lVert x + y \rVert^2 = \lVert x \rVert^2 + \lVert y \rVert^2 \qquad \square\]

চিত্র ৩: Pythagorean theorem inner product space-এ। \(x \perp y\) হলে hypotenuse-এর বর্গ = দুই বাহুর বর্গের যোগ। এটা \(\mathbb{R}^2\) থেকে অসীম-মাত্রিক Hilbert space-এও সত্য।

সতর্কতা: Pythagorean theorem শুধু orthogonal vectors-এর জন্য। \(\langle x, y \rangle \neq 0\) হলে cross terms থেকে যায়।

Distance from a point to a subspace

সংজ্ঞা (Axler 8.24): Distance to a Set

Normed space \(V\)-এ \(f \in V\) এবং nonempty \(U \subseteq V\)-এর জন্য:

\[\operatorname{distance}(f, U) = \inf\{\lVert f - g \rVert : g \in U\}\]

লক্ষ করো: \(\operatorname{distance}(f, U) = 0\) যদি এবং কেবল যদি \(f \in \overline{U}\)।

Banach space-এ এই infimum কোনো \(g \in U\) দ্বারা attain নাও হতে পারে (Axler 8.27-এর counterexample আছে \(C([0,1])\)-এ)। কিন্তু Hilbert space-এ ছবিটা সুন্দর:

Best Approximation Theorem (সেরা আসন্ন মান উপপাদ্য)

উপপাদ্য (Axler 8.28): Closest Point in a Convex Set

ধরো \(V\) একটা Hilbert space, \(f \in V\), এবং \(U\) একটা nonempty closed convex (উত্তল বদ্ধ) subset। তাহলে এমন অনন্য \(g \in U\) আছে যার জন্য:

\[\lVert f - g \rVert = \operatorname{distance}(f, U)\]

অর্থাৎ \(U\)-তে \(f\)-এর সবচেয়ে কাছের বিন্দু exist করে এবং unique।

প্রমাণের স্কেচ (Axler 8.28-এর পদ্ধতিতে):

Existence: ধরি \(g_1, g_2, \ldots \in U\) এমন যে \(\lVert f - g_k \rVert \to \operatorname{distance}(f, U)\)। Parallelogram law প্রয়োগ করলে:

\[\lVert g_j - g_k \rVert^2 = 2\lVert f - g_j \rVert^2 + 2\lVert f - g_k \rVert^2 - \left\lVert 2f - (g_j + g_k) \right\rVert^2\]

\(U\) convex হওয়ায় \((g_j + g_k)/2 \in U\), তাই \(\left\lVert 2f - (g_j+g_k) \right\rVert^2 \geq 4 \cdot \operatorname{distance}(f,U)^2\)। তাই \(g_1, g_2, \ldots\) একটা Cauchy sequence। \(V\) complete হওয়ায় এটা কোনো \(g \in V\)-এ converge করে; \(U\) closed হওয়ায় \(g \in U\)।

Uniqueness: দুটো minimizer \(g, \tilde{g}\) থাকলে parallelogram law থেকে \(\lVert g - \tilde{g} \rVert^2 \leq 0\), তাই \(g = \tilde{g}\)। \(\square\)

Orthogonal Projection (লম্ব অভিক্ষেপ)

সংজ্ঞা (Axler 8.34): Orthogonal Projection \(P_U\)

Hilbert space \(V\)-এ \(U\) একটা nonempty closed convex subset। Orthogonal projection \(P_U : V \to V\) সংজ্ঞায়িত হয় এভাবে:

\[P_U f := \text{unique element of } U \text{ closest to } f\]

অর্থাৎ \(P_U f\) হলো \(U\)-তে \(f\)-এর সবচেয়ে কাছের বিন্দু — যার অস্তিত্ব ও uniqueness Axler 8.28 নিশ্চিত করেছে।

সহজ পর্যবেক্ষণ:

• \(P_U f = f\) যদি এবং কেবল যদি \(f \in U\) (নিজেই closest)।
• \(P_U \circ P_U = P_U\) (একবার project করলে আবার করলে একই থাকে — idempotent)।

চিত্র ৪: \(\mathbb{R}^3\)-এ একটা 2D subspace (plane)-এ orthogonal projection। \(f\) (লাল) থেকে নেমে \(P_U f\) (সবুজ) তৈরি হয়। Error \(f - P_U f\) (কমলা) plane-এর সাথে লম্ব।

Key Properties of Orthogonal Projection onto a Closed Subspace

Closed subspace \(U\)-এর জন্য projection আরও সুন্দর properties পায়:

উপপাদ্য (Axler 8.37): Projection onto Closed Subspace

\(U\) Hilbert space \(V\)-এর একটা closed subspace এবং \(f \in V\)। তাহলে:

(a) \(f - P_U f \perp g\) সকল \(g \in U\)-এর জন্য।

(b) যদি \(h \in U\) এবং \(f - h \perp g\) সকল \(g \in U\)-এর জন্য, তাহলে \(h = P_U f\)।

(c) \(P_U : V \to V\) একটা linear map (রৈখিক চিত্রণ)।

(d) \(\lVert P_U f \rVert \leq \lVert f \rVert\), সমতা হয় ঠিক তখনই যখন \(f \in U\)।

প্রমাণ (a): যেকোনো \(g \in U\) এবং \(\alpha \in \mathbb{F}\)-এর জন্য \(P_U f + \alpha g \in U\) (subspace হওয়ায়)। তাই \(P_U f\) closest হওয়া মানে:

\[\lVert f - P_U f \rVert^2 \leq \lVert f - (P_U f + \alpha g) \rVert^2 = \lVert f - P_U f \rVert^2 + |\alpha|^2 \lVert g \rVert^2 + 2 \operatorname{Re}(\bar{\alpha} \langle f - P_U f, g \rangle)\]

\(\alpha = -t \langle f - P_U f, g \rangle\) (যেখানে \(t > 0\)) রাখলে simplify করে পাওয়া যায়:

\[2 \lvert \langle f - P_U f, g \rangle \rvert^2 \leq t \lvert \langle f - P_U f, g \rangle \rvert^2 \lVert g \rVert^2\]

এটা সব \(t > 0\)-এর জন্য সত্য হতে পারে শুধু তখনই যখন \(\langle f - P_U f, g \rangle = 0\), অর্থাৎ \(f - P_U f \perp g\)। \(\square\)

প্রমাণ (b): যদি \(h \in U\) এবং \(f - h \perp U\), তাহলে যেকোনো \(g \in U\)-এর জন্য \(h - g \in U\), তাই \(f - h \perp h - g\)। Pythagorean theorem দেয়:

\[\lVert f - g \rVert^2 = \lVert (f-h) + (h-g) \rVert^2 = \lVert f-h \rVert^2 + \lVert h-g \rVert^2 \geq \lVert f-h \rVert^2\]

তাই \(h\) হলো \(U\)-তে \(f\)-এর closest element — uniqueness থেকে \(h = P_U f\)। \(\square\)

প্রমাণ (c): \(f_1, f_2 \in V\) নাও। যেকোনো \(g \in U\)-এর জন্য (a) থেকে \(\langle f_i - P_U f_i, g \rangle = 0\)। তাই \(\langle (f_1 + f_2) - (P_U f_1 + P_U f_2), g \rangle = 0\)। (b) থেকে \(P_U(f_1 + f_2) = P_U f_1 + P_U f_2\)। Scalar multiplication analogously। \(\square\)

প্রমাণ (d): \(f = P_U f + (f - P_U f)\) লেখি। (a) থেকে \(P_U f \perp (f - P_U f)\), তাই Pythagorean theorem:

\[\lVert f \rVert^2 = \lVert P_U f \rVert^2 + \lVert f - P_U f \rVert^2 \geq \lVert P_U f \rVert^2 \qquad \square\]

চিত্র ৫: Best approximation theorem। \(P_U f\) (সবুজ) হলো \(U\)-তে \(f\)-এর সবচেয়ে কাছের বিন্দু। অন্য যেকোনো \(g \in U\)-এর দূরত্ব (ধূসর বিন্দু) বেশি। Error vector (কমলা) \(U\)-এর সাথে লম্ব।

Orthogonal Complement (লম্ব পূরক) \(U^\perp\)

সংজ্ঞা (Axler 8.38): Orthogonal Complement

Inner product space \(V\)-এ \(U \subseteq V\)-এর orthogonal complement (লম্ব পূরক) সংজ্ঞায়িত:

\[U^\perp = \{h \in V : \langle g, h \rangle = 0 \text{ সকল } g \in U\text{-এর জন্য}\}\]

অর্থাৎ \(U^\perp\) হলো \(U\)-এর প্রতিটা element-এর সাথে লম্ব সব elements-এর সমষ্টি।

উদাহরণ (\(\ell^2\)-এ, Axler 8.39): \(U = \{(a_1, 0, a_3, 0, \ldots) : (a_k) \in \ell^2\}\) (শুধু বিজোড় coordinate nonzero)। তাহলে:

\[U^\perp = \{(0, a_2, 0, a_4, \ldots) : (a_k) \in \ell^2\}\]

(শুধু জোড় coordinate nonzero।)

Properties (Axler 8.40): \(U \subseteq V\)-এর জন্য:

• \(U^\perp\) সবসময় একটা closed subspace (\(V\)-এর)।
• \(U \cap U^\perp \subseteq \{0\}\) (শুধু শূন্য vector দুটোতেই থাকতে পারে)।
• \(W \subseteq U\) হলে \(U^\perp \subseteq W^\perp\)।
• \(U^\perp = (\overline{U})^\perp\) (closure নিলে complement বদলায় না)।
• \(U \subseteq (U^\perp)^\perp\)।

Hilbert space-এ আরও শক্তিশালী (Axler 8.41): \(U\) subspace হলে:

\[\overline{U} = (U^\perp)^\perp\]

বিশেষত: \(U\) closed subspace হলে \(U = (U^\perp)^\perp\)।

চিত্র ৬: Orthogonal complement \(U^\perp\)। বাঁয়ে \(U\) horizontal, \(U^\perp\) vertical — ঠিক coordinate axes। ডানে tilted \(U\) এবং তার সাথে লম্ব \(U^\perp\)। Right-angle চিহ্ন দেখাচ্ছে \(U \perp U^\perp\)।

Orthogonal Decomposition (লম্ব বিভাজন) \(H = U \oplus U^\perp\)

এটাই এই অধ্যায়ের সবচেয়ে গুরুত্বপূর্ণ ফলাফল।

উপপাদ্য (Axler 8.43): Orthogonal Decomposition

\(U\) Hilbert space \(V\)-এর একটা closed subspace। তাহলে প্রতিটা \(f \in V\)-কে অনন্যভাবে লেখা যায়:

\[f = g + h, \quad g \in U,\; h \in U^\perp\]

বিশেষত, \(g = P_U f\) এবং \(h = f - P_U f\)।

এই decomposition-কে direct sum বলা হয় এবং লেখা হয় \(V = U \oplus U^\perp\)।

প্রমাণ:

Existence: \(f = P_U f + (f - P_U f)\) — প্রথম অংশ \(U\)-এ, দ্বিতীয় অংশ \(U^\perp\)-এ (Axler 8.37(a) থেকে)।

Uniqueness: ধরো \(f = g_1 + h_1 = g_2 + h_2\) (যেখানে \(g_i \in U\), \(h_i \in U^\perp\))। তাহলে \(g_1 - g_2 = h_2 - h_1 \in U \cap U^\perp\)। কিন্তু \(U \cap U^\perp \subseteq \{0\}\), তাই \(g_1 = g_2\) এবং \(h_1 = h_2\)। \(\square\)

চিত্র ৭: Orthogonal decomposition \(H = U \oplus U^\perp\)। যেকোনো \(f\) (সবুজ) = \(m \in U\) (নীল অভিক্ষেপ) + \(m^\perp \in U^\perp\) (লাল উপাংশ)। দুটো অংশ লম্ব এবং এই ভাঙা অনন্য।

Range and Null Space of Projections (Axler 8.45)

উপপাদ্য (Axler 8.45)

\(U\) Hilbert space \(V\)-এর closed subspace হলে:

(a) \(\operatorname{range} P_U = U\) এবং \(\operatorname{null} P_U = U^\perp\)।

(b) \(\operatorname{range} P_{U^\perp} = U^\perp\) এবং \(\operatorname{null} P_{U^\perp} = U\)।

(c) \(P_{U^\perp} = I - P_U\) (যেখানে \(I\) হলো identity map)।

প্রমাণের মূল ধারণা:

• (a): \(P_U f \in U\) সবসময়, আর \(f \in U\) হলে \(P_U f = f\), তাই range \(= U\)। \(f \in \operatorname{null} P_U\) মানে \(P_U f = 0\), তাই \(f \perp U\) (Axler 8.37(a)), অর্থাৎ \(f \in U^\perp\)।
• (c): \(f \in U\) হলে \(P_{U^\perp} f = 0 = f - P_U f\)। \(f \in U^\perp\) হলে \(P_{U^\perp} f = f = f - 0\)। Linearity দিয়ে সব \(f\)-এ extend করা যায়। \(\square\)

Dense subspaces এবং \(U^\perp = \{0\}\) (Axler 8.42)

উপপাদ্য (Axler 8.42): Dense Subspace Criterion

Hilbert space \(V\)-এ subspace \(U\)-এর জন্য:

\[\overline{U} = V \iff U^\perp = \{0\}\]

অর্থাৎ \(U\) dense (ঘন) হওয়া equivalent to: শুধু শূন্য vectorই \(U\)-এর সব elements-এর সাথে লম্ব।

ব্যবহার: Fourier series-এ trigonometric polynomials-এর span \(L^2[-\pi,\pi]\)-এ dense — এটা দেখাতে এই criterion কাজে লাগে।

---

৪. উদাহরণ ও Analogy

Analogy: Shadows and Light

Flashlight সরাসরি উপর থেকে জ্বালালে মেঝেতে ছায়া পড়ে — সেটা orthogonal projection। Light-ray (error vector) মেঝের সাথে লম্ব। ছায়াটাই (projection) মেঝেতে closest point।

তেদচ্ছভাবে (oblique) জ্বালালে ছায়া আর orthogonal নয় — সেটা "oblique projection", যা আমরা এখানে পড়ছি না।

Analogy: Statistics এবং Regression

Linear regression আসলে orthogonal projection! \(n\)টা data point আছে, আর আমরা চাই একটা line (বা hyperplane) যা সবচেয়ে কাছে। "Least squares solution" মানে হলো data vector-কে line-এর span-এ project করা। Residual (error) vector ঠিক projected space-এর সাথে লম্ব।

Worked Example 1: \(\mathbb{R}^2\)-এ Projection onto a Line

\(V = \mathbb{R}^2\), \(U = \operatorname{span}\{(1, 1)\}\) (45° line), \(f = (3, 1)\)।

\(u = (1/\sqrt{2})(1,1)\) (unit vector in \(U\))। তাহলে:

\[P_U f = \langle f, u \rangle \cdot u = \left\langle (3,1), \frac{1}{\sqrt{2}}(1,1) \right\rangle \cdot \frac{1}{\sqrt{2}}(1,1) = \frac{4}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}}(1,1) = 2(1,1) = (2,2)\]

Check: error \(f - P_U f = (3,1) - (2,2) = (1,-1)\)। এবং \(\langle (1,-1), (1,1) \rangle = 1 - 1 = 0\) — লম্ব ✓।

Worked Example 2: \(L^2[0,1]\)-এ Projection onto Polynomials of Degree \(\leq 1\)

\(U = \operatorname{span}\{1, x\}\), \(f(x) = x^2\)। \(P_U f\) হলো \(x^2\)-এর সেই linear function \(a + bx\) যা \(L^2\)-এ সবচেয়ে কাছে।

Orthogonal decomposition condition: \(x^2 - (a + bx) \perp 1\) এবং \(x^2 - (a+bx) \perp x\)।

\[\int_0^1 (x^2 - a - bx) \cdot 1\, dx = \frac{1}{3} - a - \frac{b}{2} = 0\]

\[\int_0^1 (x^2 - a - bx) \cdot x\, dx = \frac{1}{4} - \frac{a}{2} - \frac{b}{3} = 0\]

Solve করলে: \(a = -1/6\), \(b = 1\)। তাই \(P_U(x^2) = x - 1/6\)।

Check: \(\lVert x^2 - (x - 1/6) \rVert_{L^2} = \lVert x^2 - x + 1/6 \rVert_{L^2}\)। এটাই সবচেয়ে ছোট possible error।

Worked Example 3: Orthogonal Decomposition স্পষ্টভাবে

\(V = \mathbb{R}^3\), \(U = \{(x,y,0) : x,y \in \mathbb{R}\}\) (\(xy\)-plane)। \(f = (2, 3, 4)\)।

\[P_U f = (2, 3, 0), \qquad f - P_U f = (0, 0, 4)\]

\((0,0,4) \perp (x,y,0)\) সব \(x,y\)-এর জন্য — check ✓।

\(U^\perp = \{(0,0,z) : z \in \mathbb{R}\}\) (\(z\)-axis)।

Decomposition: \((2,3,4) = (2,3,0) + (0,0,4)\) — \(U\)-তে একটা অংশ, \(U^\perp\)-এ অপরটা।

চিত্র ৮: Projection map \(P_U\)-এর linearity। বাঁয়ে: \(P_U(f+g) = P_U f + P_U g\)। ডানে: \(P_U(\alpha f) = \alpha P_U f\)। Projection আসলে একটা linear map।

---

৫. সাধারণ ভুল (Common mistakes)

1. "\(P_U f = 0\) মানে \(f = 0\)।" ভুল। \(P_U f = 0\) মানে \(f \in U^\perp\) (null space of \(P_U\))। শুধু \(f = 0\) হলে \(P_{U^\perp} f = 0\)-ও হবে।

2. Projection formula শুধু unit vector-এর জন্য মনে রাখা। Non-unit \(g \in U\)-এ projection: \(P_{\operatorname{span}\{g\}} f = \dfrac{\langle f, g \rangle}{\lVert g \rVert^2} g\)। Unit vector হলে denominator \(1\), কিন্তু সাধারণ ক্ষেত্রে \(\lVert g \rVert^2\) দরকার।

3. \(U\) closed না হলে projection নাও exist করতে পারে। Best approximation theorem-এর hypothesis-এ "closed convex" দরকার — এটা বাদ দেওয়া যায় না (Axler 8.27 counterexample)।

4. \(P_U f + P_{U^\perp} f \neq f\) মনে করা। এটা সত্যিই সত্য! \(P_U f + P_{U^\perp} f = P_U f + (f - P_U f) = f\)। এটাই orthogonal decomposition।

5. \((U^\perp)^\perp = U\) ভাবা সব inner product space-এ। এটা Hilbert space-এ সত্য; শুধু inner product space-এ \((U^\perp)^\perp = \overline{U}\), কিন্তু \(U \neq \overline{U}\) হতে পারে।

6. Projection always একটা self-adjoint map। \(P_U\)-এর জন্য \(\langle P_U f, g \rangle = \langle f, P_U g \rangle\) (কারণ \(P_U f - f \perp U\), তাই \(P_U g \in U\))। এটা projection-এর characterisation-এর অংশ।

---

৬. এক্সারসাইজ (Exercises)

নিচের সমস্যাগুলো নিজে করো, তারপর সমাধান দেখো।

1. \(\mathbb{R}^3\)-এ \(U = \operatorname{span}\{(1, 0, 1)\}\) এবং \(f = (2, 5, 3)\)। \(P_U f\) বের করো এবং check করো error \(f - P_U f \perp U\)।

2. \(L^2[0, 2\pi]\)-এ দেখাও যে \(\langle \sin(mx), \sin(nx) \rangle = 0\) যখন \(m \neq n\) (positive integers)। এটা Fourier analysis-এর জন্য কেন গুরুত্বপূর্ণ?

3. Hilbert space \(V\)-এ \(U\) closed subspace। দেখাও: \(P_U \circ P_U = P_U\) (projection idempotent)।

4. \(V = \ell^2\), \(U = \{(a_1, a_2, a_3, 0, 0, \ldots) : a_k \in \mathbb{F}\}\) (প্রথম তিন coordinate)। \(f = (1, 2, 3, 4, 5, \ldots, n^{-1}, \ldots)\)-এর জন্য \(P_U f\) এবং \(P_{U^\perp} f\) বের করো। Verify করো \(\lVert f \rVert^2 = \lVert P_U f \rVert^2 + \lVert P_{U^\perp} f \rVert^2\)।

5. Closed subspace \(U \subsetneq V\) (Hilbert space)-এ দেখাও \(U^\perp \neq \{0\}\)। [ইঙ্গিত: যেকোনো \(f \notin U\) নাও এবং \(f - P_U f\)-এর দিকে তাকাও।]

6. দেখাও: Hilbert space \(V\)-এ \(U, W\) দুটো closed subspace এবং \(U \subseteq W\) হলে \(W^\perp \subseteq U^\perp\) এবং \(P_W \circ P_U = P_U\)।

7. \(V = L^2[-\pi, \pi]\)-এ \(U_N = \operatorname{span}\{1, \cos x, \sin x, \ldots, \cos(Nx), \sin(Nx)\}\)। \(f(x) = x\)-এর জন্য \(P_{U_N} f\) কী? [ইঙ্গিত: Fourier coefficients — \(a_n = \frac{1}{\pi}\int_{-\pi}^\pi x \cos(nx)\, dx\) এবং \(b_n = \frac{1}{\pi}\int_{-\pi}^\pi x \sin(nx)\, dx\)।]

8. Prove করো: Hilbert space-এ \(\langle P_U f, g \rangle = \langle f, P_U g \rangle\) সব \(f, g \in V\)-এর জন্য। (এটা দেখায় \(P_U\) self-adjoint।)

---

৭. সমাধান (ব্যাখ্যাসহ)

১-নং সমাধান দেখাও

\(g = (1, 0, 1)\), \(\lVert g \rVert^2 = 2\)।

\[P_U f = \frac{\langle f, g \rangle}{\lVert g \rVert^2} g = \frac{\langle (2,5,3), (1,0,1) \rangle}{2} (1,0,1) = \frac{5}{2}(1,0,1) = \left(\frac{5}{2}, 0, \frac{5}{2}\right)\]

Error: \(f - P_U f = (2,5,3) - (5/2, 0, 5/2) = (-1/2, 5, 1/2)\)।

Check orthogonality: \(\langle (-1/2, 5, 1/2), (1,0,1) \rangle = -1/2 + 0 + 1/2 = 0\) ✓।

Distance: \(\lVert f - P_U f \rVert = \sqrt{1/4 + 25 + 1/4} = \sqrt{25.5} \approx 5.05\)।

২-নং সমাধান দেখাও

\(m \neq n\) (positive integers)-এর জন্য:

\[\langle \sin(mx), \sin(nx) \rangle = \int_0^{2\pi} \sin(mx)\sin(nx)\, dx\]

Product-to-sum formula ব্যবহার করি:

\[\sin(mx)\sin(nx) = \frac{1}{2}[\cos((m-n)x) - \cos((m+n)x)]\]

\[\int_0^{2\pi} \cos(kx)\, dx = \begin{cases} 2\pi & k = 0 \\ 0 & k \neq 0, k \in \mathbb{Z} \end{cases}\]

\(m \neq n\) হলে \(m - n \neq 0\) এবং \(m + n \neq 0\), তাই:

\[\langle \sin(mx), \sin(nx) \rangle = \frac{1}{2}[0 - 0] = 0 \quad \checkmark\]

Fourier analysis-এর গুরুত্ব: \(\{\sin(nx), \cos(nx)\}\) এরা পরস্পর orthogonal — তাই যেকোনো \(f \in L^2[-\pi, \pi]\)-কে এদের "components"-এ decompose করা যায়। প্রতিটা coefficient \(b_n = \langle f, \sin(nx) \rangle / \lVert \sin(nx) \rVert^2\) হলো \(f\)-এর \(\sin(nx)\)-দিকের projection।

৩-নং সমাধান দেখাও

দেখাতে হবে: \(P_U(P_U f) = P_U f\) সব \(f \in V\)-এর জন্য।

\(P_U f \in U\) (সংজ্ঞা অনুযায়ী)। আর \(U\)-এ যেকোনো element \(h\)-এর জন্য \(P_U h = h\) (কারণ \(h\) নিজেই \(U\)-তে, তাই \(h\) হলোই \(h\)-এর সবচেয়ে কাছের বিন্দু \(U\)-তে)।

তাই \(P_U(P_U f) = P_U f\) যেহেতু \(P_U f \in U\)। ✓

Geometric অর্থ: একবার মেঝেতে ছায়া ফেললে, সেই ছায়াকে আবার মেঝেতে project করলে একই থাকে — কারণ ছায়া মেঝেতেই আছে।

৪-নং সমাধান দেখাও

\(U\) = first 3 coordinates, \(U^\perp\) = 4th onward।

\[P_U f = (1, 2, 3, 0, 0, \ldots), \quad P_{U^\perp} f = (0, 0, 0, 4, 5, \ldots, n^{-1}, \ldots)\]

Verify decomposition: \(P_U f + P_{U^\perp} f = f\) ✓।

\[\lVert P_U f \rVert^2 = 1 + 4 + 9 = 14\]

\[\lVert P_{U^\perp} f \rVert^2 = 16 + 25 + \sum_{n=6}^\infty \frac{1}{n^2}\]

কিন্তু \(f = (1, 2, 3, 4, 5, 6^{-1}, 7^{-1}, \ldots)\) ধরলে: \(\lVert f \rVert^2 = 1+4+9+16+25+\sum_{n=6}^\infty n^{-2}\)।

Pythagoras (orthogonal decomposition): \(\lVert f \rVert^2 = \lVert P_U f \rVert^2 + \lVert P_{U^\perp} f \rVert^2 = 14 + (16 + 25 + \sum_{n=6}^\infty n^{-2})\) ✓।

৫-নং সমাধান দেখাও

\(U \subsetneq V\) হওয়ায় এমন \(f \in V\) আছে যে \(f \notin U\)।

\(h := f - P_U f\)। Axler 8.37(a) থেকে \(h \perp g\) সব \(g \in U\)-এর জন্য, তাই \(h \in U^\perp\)।

\(h = 0\) হলে \(f = P_U f \in U\) — contradiction। তাই \(h \neq 0\) এবং \(h \in U^\perp\)।

অতএব \(U^\perp \neq \{0\}\)। ✓

৬-নং সমাধান দেখাও

\(W^\perp \subseteq U^\perp\): \(h \in W^\perp\) হলে \(\langle g, h \rangle = 0\) সব \(g \in W\)-এর জন্য। \(U \subseteq W\) হওয়ায় এটা বিশেষত সব \(g \in U\)-এর জন্যও সত্য, তাই \(h \in U^\perp\)। ✓

\(P_W \circ P_U = P_U\): \(P_U f \in U \subseteq W\)। তাই \(P_U f\) ইতিমধ্যে \(W\)-তে। \(W\)-তে কোনো element-কে \(W\)-তে project করলে নিজেই পাওয়া যায়:

\[P_W(P_U f) = P_U f \qquad \checkmark\]

৭-নং সমাধান দেখাও

\(f(x) = x\)-এর Fourier coefficients:

\(a_0 = \frac{1}{2\pi}\int_{-\pi}^\pi x\, dx = 0\) (odd function, symmetric interval)।

\(a_n = \frac{1}{\pi}\int_{-\pi}^\pi x \cos(nx)\, dx = 0\) (\(x\cos(nx)\) odd function) ।

\(b_n = \frac{1}{\pi}\int_{-\pi}^\pi x \sin(nx)\, dx\)। Integration by parts:

\[= \frac{1}{\pi}\left[\frac{-x\cos(nx)}{n}\right]_{-\pi}^\pi + \frac{1}{n\pi}\int_{-\pi}^\pi \cos(nx)\, dx = \frac{-2\cos(n\pi)}{n} = \frac{2(-1)^{n+1}}{n}\]

তাই:

\[P_{U_N}(x) = \sum_{n=1}^N \frac{2(-1)^{n+1}}{n} \sin(nx) = 2\sin x - \sin(2x) + \frac{2}{3}\sin(3x) - \cdots\]

\(N \to \infty\)-এ এই series \(L^2\)-এ \(f(x) = x\)-এ converge করে — এটাই Fourier series!

৮-নং সমাধান দেখাও

\(P_U\) linear (Axler 8.37(c)), তাই \(\langle P_U f, g \rangle\) আর \(\langle f, P_U g \rangle\) উভয়ই সুসংজ্ঞিত।

Orthogonal decomposition: \(f = P_U f + (f - P_U f)\) এবং \(g = P_U g + (g - P_U g)\)।

\(f - P_U f \in U^\perp\) এবং \(P_U g \in U\), তাই \(\langle f - P_U f, P_U g \rangle = 0\)।

\[\langle f, P_U g \rangle = \langle P_U f + (f - P_U f), P_U g \rangle = \langle P_U f, P_U g \rangle + 0 = \langle P_U f, P_U g \rangle\]

আর \(P_U f \in U\) এবং \(g - P_U g \in U^\perp\), তাই \(\langle P_U f, g - P_U g \rangle = 0\)।

\[\langle P_U f, g \rangle = \langle P_U f, P_U g + (g - P_U g) \rangle = \langle P_U f, P_U g \rangle + 0 = \langle P_U f, P_U g \rangle\]

তাই \(\langle P_U f, g \rangle = \langle P_U f, P_U g \rangle = \langle f, P_U g \rangle\) ✓ — \(P_U\) self-adjoint।

---

৮. সারসংক্ষেপ ও Checklist

এই অধ্যায়ের পর নিজেকে যাচাই করো:

• [ ] Orthogonality (লম্বতা): \(\langle x, y \rangle = 0\) মানে বুঝি; \(L^2\)-এ উদাহরণ দিতে পারি (যেমন \(\sin \perp \cos\))।
• [ ] Pythagorean theorem inner product space-এ লিখতে ও প্রমাণ করতে পারি।
• [ ] Hilbert space সংজ্ঞা জানি — inner product space + completeness।
• [ ] Best approximation theorem (Axler 8.28): Hilbert space-এ closed convex set-এ closest point exist করে, unique — proof-এর মূল ধাপ (Cauchy sequence + Parallelogram law) বুঝি।
• [ ] Orthogonal projection \(P_U\)-এর সংজ্ঞা জানি, আর 4টা property (error \(\perp U\); uniqueness; linearity; \(\lVert P_U f \rVert \leq \lVert f \rVert\)) প্রমাণ করতে পারি।
• [ ] Orthogonal complement \(U^\perp\) সংজ্ঞায়িত করতে পারি, closed subspace কেন সেটা বুঝি।
• [ ] Orthogonal decomposition \(H = U \oplus U^\perp\) বলতে পারি — existence ও uniqueness prove করতে পারি।
• [ ] \(P_{U^\perp} = I - P_U\) প্রমাণ করতে পারি।
• [ ] Dense subspace criterion: \(\overline{U} = V \iff U^\perp = \{0\}\) জানি।
• [ ] \(\mathbb{R}^n\), \(L^2\)-এ concrete উদাহরণে projection হিসেব করতে পারি।

---

➡️ পরের অধ্যায়: 5.3 — Riesz Representation Theorem — orthogonal decomposition ব্যবহার করে প্রমাণ হয় যে Hilbert space-এর প্রতিটা bounded linear functional ঠিক একটা inner product-এর রূপ নেয়: \(\varphi(f) = \langle f, h \rangle\)। এটাই Hilbert space-এর dual space-এর সম্পূর্ণ characterization।