8.2 — Geometric ও Analytical Structures (জ্যামিতিক ও বিশ্লেষণী কাঠামো)¶

এই অধ্যায়ে কী শিখব: কীভাবে বিমূর্ত (abstract) vector space-এ "আকার", "দূরত্ব" ও "কোণ" ঢুকিয়ে জ্যামিতিক প্রাণ ফেরানো হয়। norm (নর্ম / দৈর্ঘ্য-অপেক্ষক) ও তার তিন axiom; norm থেকে metric (মেট্রিক / দূরত্ব-অপেক্ষক) তৈরি এবং \(d(u,v)=\lVert u-v\rVert\) যে একটা metric তার প্রমাণ; metric-এর চার axiom, pseudo-metric, quasi-metric ও Hausdorff distance; inner product (অন্তঃগুণন) ও তার তিন axiom; Cauchy–Schwarz inequality এবং induced norm \(\lVert u\rVert=\sqrt{\langle u,u\rangle}\); কোণ, orthogonality (লম্বতা), parallelogram law ও generalized Pythagorean theorem — সব বেসিক থেকে, লাইন-ধরে-ধরে, deep learning-এর সংযোগসহ।

উৎস (source): Mathematical Foundations of Geometric Deep Learning — Borde ও Bronstein।

১. কেন শিখব? (Motivation)¶

Part 8-এর আগের অধ্যায়ে (8.1) আমরা algebraic structures — group ও vector space — দেখেছি। ওরা আমাদের দিয়েছিল "সম্পর্ক" ও "রূপান্তর" (transformation) বোঝার শক্তিশালী ভাষা: কীভাবে দুটো vector যোগ করা যায়, কীভাবে scalar দিয়ে গুণ করা যায়, কীভাবে symmetry কাজ করে।

কিন্তু ঐ কাঠামোয় একটা বড় ফাঁক ছিল — সেখানে জ্যামিতিক স্বজ্ঞা (geometric intuition) ছিল না। আমরা জিজ্ঞেস করতে পারতাম না:

এই vector-টা কত বড় (size)?
দুটো vector-এর মধ্যে দূরত্ব (distance) কত?
দুটো vector-এর মধ্যে কোণ (angle) কত — তারা কি একই দিকে তাকিয়ে আছে, নাকি লম্ব (perpendicular)?

বাস্তব প্রয়োগে ঠিক এই তিনটা প্রশ্নই সবচেয়ে জরুরি। এই অধ্যায়ে আমরা vector space-এর উপর তিনটা "geometric layer" চাপাব, একটার উপর আরেকটা, ক্রমশ বেশি structure যোগ করে:

norm → প্রতিটা vector-এর "দৈর্ঘ্য" দেয়।
metric → দুটো vector-এর মধ্যে "দূরত্ব" দেয় (norm থেকে বিনামূল্যে পাওয়া যায়)।
inner product → দুটো vector-এর মধ্যে "কোণ" ও "projection" দেয় (এবং এর থেকে norm-ও পাওয়া যায়)।

deep learning-এ এগুলো কেন লাগে? কারণ আধুনিক neural network-এর প্রায় সবকিছুই কোনো-না-কোনো "geometric" প্রশ্নের উত্তর:

embedding (এমবেডিং): একটা শব্দ, ছবি বা protein-কে \(\mathbb{R}^d\)-এর একটা vector-এ রূপান্তর করা হয়। দুটো embedding "কতটা মিল" — সেটা inner product বা cosine similarity দিয়ে মাপা হয়।
similarity ও retrieval (মিল ও অনুসন্ধান): search engine বা recommendation-এ "কাছের প্রতিবেশী (nearest neighbour)" খোঁজা মানে metric দিয়ে দূরত্ব মাপা।
loss function ও regularization (ক্ষতি-অপেক্ষক ও নিয়ন্ত্রণ): mean-squared error আসলে Euclidean distance-এর বর্গ; weight decay model-এর parameter-এর Euclidean norm-কে শাস্তি দিয়ে overfitting ঠেকায়।
attention (মনোযোগ): Transformer-এর হৃদয় হলো scaled dot-product — অর্থাৎ query ও key vector-এর inner product।
invariance (অপরিবর্তনীয়তা): Geometric Deep Learning-এ norm ব্যবহার করে এমন feature বানানো হয় যা rotation বা reflection-এ বদলায় না।

মূল স্বজ্ঞা

Vector space দিল "কঙ্কাল" (যোগ ও গুণ)। এই অধ্যায় সেই কঙ্কালে রক্ত-মাংস যোগ করে — দৈর্ঘ্য (norm), দূরত্ব (metric), কোণ (inner product)। একটা সরল শ্রেণিবিন্যাস মনে রাখো: inner product ⇒ norm ⇒ metric। উপরের দিকে যত ওঠো, তত বেশি জ্যামিতি; প্রতিটা ধাপ আগেরটাকে বিনামূল্যে তৈরি করে দেয়, কিন্তু উল্টোটা সবসময় সত্য নয়।

২. মূল ধারণা (Core idea)¶

Norm (নর্ম) — "দৈর্ঘ্য"-এর বিমূর্ত রূপ¶

norm হলো এমন একটা গাণিতিক ফাংশন যা কোনো গাণিতিক বস্তুর আকার (size) বা মাত্রা (magnitude) পরিমাপ করে — বাস্তব জগতে "দৈর্ঘ্য" বা "দূরত্ব" বলতে আমরা যা বুঝি, তারই সাধারণীকরণ (generalization)।

স্কুলে শেখা মনে করো: \(\mathbb{R}^2\)-এ \((3,4)\) বিন্দুর "দৈর্ঘ্য" মূলবিন্দু থেকে \(\sqrt{3^2+4^2}=5\)। norm ঠিক এই ধারণাকেই যেকোনো vector space-এ নিয়ে যায়: প্রতিটা vector-কে একটা অঋণাত্মক বাস্তব সংখ্যা (non-negative real number) বরাদ্দ করে, কিছু স্বাভাবিক নিয়ম (axiom) মেনে।

একটা norm আছে এমন vector space \((V,\lVert\cdot\rVert)\)-কে বলা হয় normed vector space (নর্মড ভেক্টর স্পেস)।

চিহ্ন নিয়ে সতর্কতা: \(\lVert u\rVert\) বনাম \(\lvert\alpha\rvert\)

\(\lVert u\rVert\) (দুই দাগ) মানে vector space-এর একটা element \(u\)-এর norm। আর \(\lvert\alpha\rvert\) (এক দাগ) মানে একটা scalar \(\alpha\)-এর absolute value (পরম মান)। আসলে absolute value হলো norm-এরই একটা বিশেষ ক্ষেত্র — যখন underlying field \(\mathbb{R}\) বা \(\mathbb{C}\)। অর্থাৎ norm হলো absolute value-এর সাধারণীকরণ vector space-এ, আর absolute value কেবল scalar-এর জন্য।

(আমরা মূলত \(F=\mathbb{R}\) ধরে চলব সরলতার জন্য; তবে field \(F=\mathbb{C}\)-ও হতে পারে।)

Metric (মেট্রিক) — norm থেকে "দূরত্ব"¶

norm একটা একক vector-এর আকার মাপে। কিন্তু আমরা প্রায়ই জানতে চাই দুটো vector পরস্পর থেকে কত দূরে — এটাই metric বা দূরত্ব-অপেক্ষকের কাজ। বাস্তব জগতে "দূরত্ব" বলতে আমরা যা বুঝি, metric তারই সাধারণীকরণ।

মূল কৌশলটা সহজ ও সুন্দর: যদি আমার কাছে একটা norm থাকে, তবে দুটো vector-এর পার্থক্য (difference) vector-টার দৈর্ঘ্যই তাদের মধ্যকার দূরত্ব:

\[d(u,v) = \lVert u - v\rVert\]

অর্থাৎ "\(u\) থেকে \(v\)-এর দূরত্ব" = "\(u-v\) vector-টা কত লম্বা"। এভাবে প্রতিটা normed vector space স্বয়ংক্রিয়ভাবে একটা metric space (মেট্রিক স্পেস) হয়ে যায়।

কিন্তু উল্টোটা সত্য নয়: সব metric space normed vector space নয়। কারণ metric space-এ শুধু "দূরত্ব" থাকে, কিন্তু vector যোগ বা scalar গুণের কোনো বীজগাণিতিক (algebraic) কাঠামো নাও থাকতে পারে। অনেক metric space-এ এই অপারেশনগুলো নেই, বা vector space-এর axiom মানে না।

Inner product (অন্তঃগুণন) — "কোণ" ও projection¶

norm দিল দৈর্ঘ্য, metric দিল দূরত্ব। কিন্তু "কোণ" পেতে হলে আরও বেশি structure দরকার — inner product।

\(\mathbb{R}^n\)-এ dot product মনে করো: \(u\cdot v = \sum_i u_i v_i\)। এই একটা সংখ্যা থেকে আমরা অনেক কিছু জানতে পারি —

দৈর্ঘ্য: \(\lVert u\rVert = \sqrt{u\cdot u}\)।
কোণ: \(\cos\theta = \dfrac{u\cdot v}{\lVert u\rVert\,\lVert v\rVert}\)।
লম্বতা (orthogonality): \(u\cdot v = 0\) মানে \(u\) ও \(v\) পরস্পর লম্ব।
projection (অভিক্ষেপ): একটা vector-এর অন্যটার উপর ছায়া কতটা।

inner product হলো এই dot product-এর বিমূর্ত সাধারণীকরণ, যা যেকোনো vector space-এ (এমনকি function-এর space-এও) "কোণ" ও "projection"-এর ধারণা এনে দেয়। inner product আছে এমন space-কে বলে inner product space (ইনার প্রোডাক্ট স্পেস)।

শ্রেণিবিন্যাসে (hierarchy) metric space সবচেয়ে ভিত্তিমূলক (শুধু দূরত্ব); তার উপর normed vector space (norm একটা metric তৈরি করে); তার উপর inner product space (inner product একটা norm তৈরি করে)। প্রতিটা ধাপ আগেরটার চেয়ে বেশি "structured"।

কাঠামো	কী নতুন দেয়	কী তৈরি করে
metric space	দূরত্ব \(d(u,v)\)	—
normed space	দৈর্ঘ্য \(\lVert u\rVert\)	একটা metric (\(d=\lVert u-v\rVert\))
inner product space	কোণ \(\langle u,v\rangle\)	একটা norm (\(\lVert u\rVert=\sqrt{\langle u,u\rangle}\)) → এবং তার metric

মূল স্বজ্ঞা

inner product norm তৈরি করে, কিন্তু সব norm কোনো inner product থেকে আসে না (\(\ell^1,\ell^\infty\) আসে না)। তেমনি norm metric তৈরি করে, কিন্তু সব metric কোনো norm থেকে আসে না। তাই তিনটা কাঠামো ঠিক তিনটা concentric বৃত্তের মতো: সবচেয়ে ভেতরে (সবচেয়ে সমৃদ্ধ) inner product space, তারপর normed space, সবচেয়ে বাইরে metric space।

৩. সংজ্ঞা ও উপপাদ্য (Definitions & Theorems)¶

৩.১ Norm-এর আনুষ্ঠানিক সংজ্ঞা¶

সংজ্ঞা: Norm (নর্ম)

ধরো \(V\) একটা vector space over field \(F=\mathbb{R}\)। একটা ফাংশন \(\lVert\cdot\rVert : V \to \mathbb{R}\)-কে norm বলা হয় যদি সব \(u,v\in V\) এবং সব \(\alpha\in\mathbb{R}\)-এর জন্য নিচের তিনটা শর্ত পূরণ হয়:

(N1) Positive homogeneity (ধনাত্মক সমঘাতিতা):

\[\lVert \alpha u\rVert = \lvert\alpha\rvert\, \lVert u\rVert\]

(N2) Triangle inequality (ত্রিভুজ অসমতা):

\[\lVert u+v\rVert \le \lVert u\rVert + \lVert v\rVert\]

(N3) Positive definiteness (ধনাত্মক নিশ্চিততা):

\[\lVert u\rVert = 0 \;\Rightarrow\; u = \mathbf{0}\]

এই তিন axiom-সহ জোড় \((V,\lVert\cdot\rVert)\)-কে normed (vector) space বলে। স্বজ্ঞামূলকভাবে norm একটা vector-এর দৈর্ঘ্য মাপে।

তিনটা axiom-এর অর্থ ধাপে ধাপে:

(N1) সমঘাতিতা: vector-কে \(\alpha\) গুণ করলে তার দৈর্ঘ্য \(\lvert\alpha\rvert\) গুণ হয়। \(\alpha=2\) হলে দৈর্ঘ্য দ্বিগুণ; \(\alpha=-1\) হলে দিক উল্টে গেলেও দৈর্ঘ্য একই (\(\lvert-1\rvert=1\))। খেয়াল করো ডানদিকে scalar-এর absolute value \(\lvert\alpha\rvert\) — এটাই N1-কে সঙ্গতিপূর্ণ রাখে।
(N2) ত্রিভুজ অসমতা: দুটো vector যোগ করলে ফলাফলের দৈর্ঘ্য তাদের আলাদা আলাদা দৈর্ঘ্যের যোগফলের বেশি হতে পারে না। "সরাসরি পথ" সবসময় "ঘুরপথের" চেয়ে ছোট বা সমান — একটা ত্রিভুজের এক বাহু বাকি দুই বাহুর যোগফলের চেয়ে বড় নয়।
(N3) ধনাত্মক নিশ্চিততা: একমাত্র শূন্য vector-এরই দৈর্ঘ্য শূন্য; অন্য কোনো vector-এর দৈর্ঘ্য শূন্য হতে পারে না।

এই axiom থেকে যে দুটো ধর্ম "বিনামূল্যে" পাওয়া যায় (অনেক বই এদের সংজ্ঞার অংশ হিসেবে লেখে, কিন্তু আসলে এরা উপরের তিনটার পরিণতি):

পরিণতি ১ — শূন্য vector-এর norm শূন্য। N1 (\(\alpha=0\) বসিয়ে) থেকে:

\[\lVert\mathbf{0}\rVert = \lVert 0\cdot u\rVert = \lvert 0\rvert\,\lVert u\rVert = 0\]

তাই N3-কে আসলে iff (যদি এবং কেবল যদি) রূপে লেখা যায়: \(\lVert u\rVert = 0 \iff u=\mathbf{0}\)।

পরিণতি ২ — norm সর্বদা অঋণাত্মক। যেকোনো \(u\)-এর জন্য \(0=\lVert\mathbf{0}\rVert = \lVert u+(-u)\rVert \le \lVert u\rVert + \lVert -u\rVert = 2\lVert u\rVert\) (N2 ও N1 ব্যবহার করে), তাই \(\lVert u\rVert\ge 0\)।

উদাহরণ: গুরুত্বপূর্ণ norm-গুলো

\(\mathbb{R}^n\)-এ \(L^p\)-norm (\(p\ge 1\)):

\[\lVert u\rVert_p = \left(\sum_{i=1}^n \lvert u_i\rvert^p\right)^{1/p}\]

বিশেষ ক্ষেত্রগুলো:

\[\lVert u\rVert_1 = \sum_{i=1}^n \lvert u_i\rvert \qquad (L^1\text{-norm})\]

\[\lVert u\rVert_2 = \sqrt{\sum_{i=1}^n \lvert u_i\rvert^2} \qquad (L^2\text{-norm, Euclidean})\]

\[\lVert u\rVert_\infty = \max\{\lvert u_1\rvert, \ldots, \lvert u_n\rvert\} \qquad (L^\infty\text{-norm})\]

function space \(F(\Omega)\)-এ \(L^p\)-norm:

\[\lVert f\rVert_p = \left(\int_\Omega \lvert f(x)\rvert^p\, dx\right)^{1/p}\]

এখানে গুরুত্বপূর্ণ স্বজ্ঞা: vector-এর ক্ষেত্রে যে যোগফল (summation) \(\sum\), function-এর ক্ষেত্রে সেটাই সমাকল (integral) \(\int\) হয়ে যায়। কারণ একটা function-কে ভাবা যায় অসীম-সংখ্যক component-ওয়ালা vector হিসেবে, যেখানে integral হলো sum-এর ধারাবাহিক (continuous) সংস্করণ। \(L^2\)-norm-কে (Euclidean norm) সবচেয়ে বেশি ব্যবহার করা হয় — এটাই একটা vector-এর "দৈর্ঘ্য"-এর স্বাভাবিক ধারণা দেয়।

Geometric Deep Learning-এ norm

norm vector-এর magnitude মাপে এবং GDL architecture-এ invariant feature representation তৈরিতে অপরিহার্য — বিশেষত rotation ও reflection-এর মতো রূপান্তরের অধীনে (কারণ \(\lVert Ru\rVert = \lVert u\rVert\) যেকোনো rotation \(R\)-এর জন্য, তাই norm একটা invariant)। এছাড়া norm regularization-এ মূল ভূমিকা রাখে: weight decay model-এর parameter-এর Euclidean norm-কে শাস্তি দেয়, overfitting ঠেকাতে ও generalization বাড়াতে।

৩.২ Metric-এর সংজ্ঞা এবং norm থেকে metric তৈরি¶

সংজ্ঞা: Metric (মেট্রিক) ও Metric Space

একটা set (বা vector space) \(V\)-এর উপর একটা ফাংশন \(d: V\times V \to \mathbb{R}\)-কে metric বলা হয় যদি সব \(u,v,w\in V\)-এর জন্য:

(M1) Non-negativity (অঋণাত্মকতা):

\[d(u,v) \ge 0\]

(M2) Identity of indiscernibles (অবিভেদ্যের অভিন্নতা):

\[d(u,v) = 0 \iff u = v\]

(M3) Symmetry (প্রতিসাম্য):

\[d(u,v) = d(v,u)\]

(M4) Triangle inequality (ত্রিভুজ অসমতা):

\[d(u,w) \le d(u,v) + d(v,w)\]

জোড় \((V,d)\)-কে metric space বলে।

axiom-গুলোর অর্থ: (M1) দূরত্ব ঋণাত্মক হয় না; (M2) দুটো বিন্দুর দূরত্ব শূন্য হয় ঠিক তখনই যখন তারা একই বিন্দু; (M3) "\(u\) থেকে \(v\)" আর "\(v\) থেকে \(u\)" দূরত্ব সমান; (M4) কোনো তৃতীয় বিন্দু \(v\) ঘুরে গেলে পথ ছোট হয় না।

এখন মূল উপপাদ্য — norm থেকে কীভাবে metric জন্ম নেয়:

উপপাদ্য: Norm একটা Metric তৈরি করে

ধরো \((V,\lVert\cdot\rVert)\) একটা normed vector space। তাহলে

\[d(u,v) = \lVert u-v\rVert, \qquad \forall\, u,v\in V\]

একটা metric, এবং \((V,d)\) একটা metric space।

প্রমাণ: চারটা axiom যাচাই করি, শুধু norm-এর axiom ব্যবহার করে।

(M1) অঋণাত্মকতা: norm সর্বদা \(\ge 0\) (পরিণতি ২), তাই \(d(u,v)=\lVert u-v\rVert \ge 0\)।

(M2) অভিন্নতা: N3-এর iff রূপ থেকে \(d(u,v)=\lVert u-v\rVert = 0 \iff u-v=\mathbf{0} \iff u=v\)।

(M3) প্রতিসাম্য: N1 (\(\alpha=-1\)) ব্যবহার করে,

\[d(u,v)=\lVert u-v\rVert = \lVert -(v-u)\rVert = \lvert-1\rvert\,\lVert v-u\rVert = \lVert v-u\rVert = d(v,u)\]

(M4) ত্রিভুজ অসমতা: \(u-w = (u-v)+(v-w)\) লিখে N2 প্রয়োগ করি:

\[d(u,w) = \lVert u-w\rVert = \lVert (u-v)+(v-w)\rVert \le \lVert u-v\rVert + \lVert v-w\rVert = d(u,v)+d(v,w)\]

চারটাই সত্য, তাই \(d\) একটা valid metric। \(\square\)

তাই প্রতিটা normed vector space একই সঙ্গে একটা metric space — norm থেকে induced metric দিয়ে। কিন্তু উল্টোটা নয়।

উদাহরণ: norm থেকে আসা metric

\(\mathbb{R}^n\)-এ \(L^p\) দূরত্ব: \(d_p(u,v)=\lVert u-v\rVert_p = \left(\sum_{i=1}^n \lvert u_i-v_i\rvert^p\right)^{1/p}\), বিশেষত:

\[d_1(u,v) = \sum_{i=1}^n \lvert u_i-v_i\rvert \qquad (L^1,\ \text{taxicab/Manhattan})\]

\[d_2(u,v) = \sqrt{\sum_{i=1}^n \lvert u_i-v_i\rvert^2} \qquad (L^2,\ \text{Euclidean})\]

\[d_\infty(u,v) = \max\{\lvert u_1-v_1\rvert, \ldots, \lvert u_n-v_n\rvert\} \qquad (L^\infty)\]

function-এর জন্য \(L^p\) দূরত্ব: \(d_p(f,g)=\lVert f-g\rVert_p = \left(\int_\Omega \lvert f(x)-g(x)\rvert^p\, dx\right)^{1/p}\)।

এদের মধ্যে Euclidean distance \(d_2\) সবচেয়ে স্বজ্ঞাগত — এটাই মহাকাশে দুটো বিন্দুর প্রকৃত ভৌত দূরত্ব।

সব metric কিন্তু norm থেকে আসে না

\(\mathbb{R}^n\)-এ এই ফাংশনটি দেখো:

\[d(u,v) = \sqrt{\lvert u_1-v_1\rvert} + \cdots + \sqrt{\lvert u_n-v_n\rvert}\]

এটা একটা বৈধ metric (চারটা axiom মানে), কিন্তু এটা কোনো norm থেকে আসতে পারে না — কারণ এটা homogeneity ভাঙে। তাই "metric আছে" মানেই "norm আছে" নয়; norm-স্পেস metric-স্পেসের একটা বিশেষ, বেশি-structured উপসেট মাত্র।

Metric-এর সাধারণীকরণ (generalizations)। কিছু গুরুত্বপূর্ণ শিথিল রূপ:

pseudo-metric (ছদ্ম-মেট্রিক): একটা ফাংশন \(d:V\times V\to\mathbb{R}\) যা metric-এর সব শর্ত মানে কেবল অভিন্নতা (M2) ছাড়া। অর্থাৎ \(d(u,v)=0\) থাকলেও \(u=v\) হতেই হবে এমন নয় — দুটো ভিন্ন বিন্দুর দূরত্ব শূন্য হতে পারে। (উদাহরণ: general relativity-তে "pseudo-metric" প্রায়ই spacetime-এর metric tensor বোঝায়, যা আসলে একটা pseudo-Riemannian metric।)
quasi-metric (কোয়াসি-মেট্রিক): metric-এর সব শর্ত মানে, কিন্তু ত্রিভুজ অসমতা শিথিল করে একটা ধ্রুবক \(C\) দিয়ে:

\[d(u,w) \le C\big(d(u,v) + d(v,w)\big)\]

একে বলে \(C\)-relaxed triangle inequality। \(C=1\) হলে এটা সাধারণ metric-এ ফিরে আসে।

Definition: Hausdorff distance

\((V,d)\) metric space এবং \(A,B\subset V\) nonempty subset হলে extended Hausdorff distance:

\[d_H(A,B) = \max\left\{\; \sup_{a\in A}\inf_{b\in B} d(a,b), \;\; \sup_{b\in B}\inf_{a\in A} d(b,a) \;\right\}\]

এখানে \(\inf_{b\in B} d(a,b)\) মানে "\(a\) থেকে \(B\)-এর নিকটতম বিন্দুর দূরত্ব"; তার \(\sup_{a\in A}\) মানে "\(A\)-এর যে বিন্দুটা \(B\) থেকে সবচেয়ে খারাপভাবে দূরে"। দুই দিকের এই মানের সর্বোচ্চটাই Hausdorff distance।

সাধারণ subset-এর জন্য মান \(+\infty\) হতে পারে এবং \(d_H(A,B)=0\) closure-দুটি সমান বোঝায়। Nonempty compact subset-গুলোর collection-এ এটি finite-valued metric: \(d_H(A,B)=0\iff A=B\), symmetry ও triangle inequality মেনে চলে। Closed bounded subset-এ finiteness ambient space-এর properties-এর ওপর নির্ভর করতে পারে।

Hausdorff distance আকৃতি, বক্ররেখা বা point cloud তুলনায় খুব দরকারি — computer vision, shape analysis ও GDL-এ। এটা Chamfer distance-এর কাছাকাছি (যা গড় নিকটতম-বিন্দু দূরত্ব নেয়) এবং Gromov–Hausdorff distance-এ সাধারণীকৃত হয় (যা দুটো গোটা metric space-কে তুলনা করে, তাদের অভ্যন্তরীণ জ্যামিতি বিবেচনায়)।

Geometric Deep Learning-এ metric

metric দিয়ে graph, manifold ও point cloud উপস্থাপনায় — এবং neural latent (embedding) space-এ — data point তুলনা করা হয়। বিশেষত Euclidean distance \(d_2(u,v)=\lVert u-v\rVert_2\) বহু deep learning implementation-এ স্বাভাবিক পছন্দ। যেমন GDL ও computational biology-তে \(\mathbb{R}^3\)-এ k-nearest neighbour graph বা unit disk graph বানাতে Euclidean distance ব্যবহৃত হয় — X-ray crystallography বা cryo-EM থেকে পাওয়া protein-এর atomic point cloud-এ node = পরমাণু, edge = নৈকট্য-ভিত্তিক মিথস্ক্রিয়া। আরেকটা উদাহরণ: vector quantization (neural discrete representation learning) continuous latent embedding-কে codebook-এর entry-র সঙ্গে Euclidean distance দিয়ে মেলায়। এমনকি continuous space ছাড়িয়ে discrete কাঠামোর metric-ও (যেমন graph geodesic distance) ব্যবহার হয় — পরিবহন নেটওয়ার্কে optimal commute time বা social graph-এ তথ্যপ্রবাহ হিসাবে।

৩.৩ Inner Product-এর সংজ্ঞা¶

সংজ্ঞা: Inner Product (অন্তঃগুণন)

ধরো \(V\) একটা vector space over \(F=\mathbb{R}\)। একটা ফাংশন \(\langle\cdot,\cdot\rangle : V\times V \to \mathbb{R}\)-কে inner product বলা হয় যদি সব \(u,v,w\in V\) এবং \(\alpha\in\mathbb{R}\)-এর জন্য:

(IP1) Conjugate (Hermitian) symmetry (অনুবন্ধী প্রতিসাম্য):

\[\langle u,v\rangle = \overline{\langle v,u\rangle}\]

(IP2) Linearity in the first argument (প্রথম চলে রৈখিকতা):

\[\langle \alpha u, v\rangle = \alpha\langle u,v\rangle, \qquad \langle u+w, v\rangle = \langle u,v\rangle + \langle w,v\rangle\]

(IP3) Positive semi-definiteness (ধনাত্মক অর্ধ-নিশ্চিততা):

\[\langle u,u\rangle \ge 0, \qquad \langle u,u\rangle = 0 \iff u=\mathbf{0}\]

জোড় \((V,\langle\cdot,\cdot\rangle)\)-কে inner product space বলে। (field \(F=\mathbb{C}\)-ও হতে পারে; তখন conjugate symmetry-র complex conjugate গুরুত্বপূর্ণ হয়ে ওঠে।)

axiom-গুলোর অর্থ:

(IP1) অনুবন্ধী প্রতিসাম্য: overline \(\overline{(\cdot)}\) মানে complex conjugate। \(z=a+bi\) হলে \(\bar z = a-bi\)। একটা বাস্তব সংখ্যার complex conjugate সে নিজেই। তাই \(F=\mathbb{R}\) হলে IP1 সরল হয়ে দাঁড়ায় সাধারণ symmetry: \(\langle u,v\rangle = \langle v,u\rangle\)।
(IP2) রৈখিকতা: প্রথম argument-এ inner product রৈখিক — scalar বের করে আনা যায়, যোগ ভাঙা যায়। (\(\mathbb{R}^n\)-এ dot product ঠিক এভাবেই আচরণ করে।)
(IP3) ধনাত্মক অর্ধ-নিশ্চিততা: একটা vector নিজের সঙ্গে inner product সর্বদা \(\ge 0\), এবং শূন্য হয় কেবল শূন্য vector-এর জন্য। এটাই নিশ্চিত করে \(\langle u,u\rangle\) থেকে একটা বৈধ "দৈর্ঘ্যের বর্গ" পাওয়া যাবে।

দ্বিতীয় argument-এ conjugate linearity (একটা পরিণতি)। IP1 ও IP2 থেকে দ্বিতীয় চলে "conjugate-linear" আচরণ বেরিয়ে আসে (complex ক্ষেত্রে):

\[\langle u, \alpha v\rangle = \overline{\langle \alpha v, u\rangle} = \overline{\alpha\langle v,u\rangle} = \bar\alpha\,\overline{\langle v,u\rangle} = \bar\alpha\,\langle u,v\rangle\]

এখানে ধাপে ধাপে প্রয়োগ করা হলো: conjugate symmetry (IP1), প্রথম চলে linearity (IP2), conjugation-এর বণ্টন-ধর্ম (\(\overline{\alpha z}=\bar\alpha\bar z\)), এবং আবার conjugate symmetry দিয়ে প্রতিস্থাপন। বাস্তব ক্ষেত্রে \(\bar\alpha=\alpha\), তাই দুই চলেই সাধারণ linearity।

Einstein summation ও উদাহরণ

Einstein summation convention-এ পুনরাবৃত্ত সূচক (repeated index) নিয়ে ধরে নেওয়া হয় যে যোগ করা হচ্ছে। যেমন বাস্তব vector-এর জন্য \(\langle u,v\rangle = u_i v_i\) — এখানে \(i\) সূচকটি \(1\) থেকে \(n\) পর্যন্ত নীরবে যোগ হয়।

গুরুত্বপূর্ণ inner product-এর উদাহরণ:

real vector \(\mathbb{R}^n\): \(\displaystyle \langle u,v\rangle=\sum_{i=1}^n u_i v_i=u^\top v\)
complex vector \(\mathbb{C}^n\): \(\displaystyle \langle u,v\rangle = \sum_{i=1}^n u_i \bar v_i = v^* u\) (এখানে \(v^*\) = conjugate transpose)
বাস্তব matrix: \(\langle A,B\rangle = \operatorname{trace}(AB^\top)\) (Frobenius inner product)
\(L^2(\Omega)\): real case-এ \(\displaystyle\langle f,g\rangle=\int_\Omega f(x)g(x)\,dx\); complex case-এ \(\displaystyle\int_\Omega f(x)\overline{g(x)}\,dx\)
square-summable বাস্তব ধারা \(\ell^2\): \(\displaystyle \langle x,y\rangle = \sum_{i\ge 1} x_i y_i\)

একটা function \(f\) square-integrable (\(f\in L^2(\Omega)\)) যদি \(\int_\Omega \lvert f(x)\rvert^2\, dx < \infty\)। একটা ধারা \(\{a_n\}\) square-summable (\(\ell^2\)-এ) যদি \(\sum_{n=1}^\infty a_n^2 < \infty\)।

Inner product norm-এর চেয়ে বেশি কী দেয়? Inner product থেকে angle, orthogonality, projection ও Gram–Schmidt পাওয়া যায়। Finite-dimensional self-adjoint/normal operator-এর spectral decomposition এবং covariance matrix-এর PCA এই geometry ব্যবহার করে; arbitrary square matrix eigenbasis-এ diagonalize হবে—এমন নয়। Inner-product norm nonzero point-এ differentiable, কিন্তু origin-এ norm সাধারণত differentiable নয়। মূল কথা: inner product norm তৈরি করে, উল্টোটা সবসময় নয়।

৩.৪ Inner product থেকে Norm এবং Cauchy–Schwarz¶

উপপাদ্য: Inner Product একটা Norm তৈরি করে

যেকোনো inner product space-এ

\[\lVert u\rVert = \big(\langle u,u\rangle\big)^{1/2}\]

একটা বৈধ norm। এই norm Cauchy–Schwarz (Bunyakovsky) inequality মানে:

\[\lvert\langle u,v\rangle\rvert \le \lVert u\rVert\cdot\lVert v\rVert\]

Cauchy–Schwarz কেন এত গুরুত্বপূর্ণ? কারণ এটা inner product-এর উপর একটা উপরের সীমা (upper bound) দেয় vector-দের magnitude (norm)-এর মাধ্যমে — নিশ্চিত করে inner product কখনো norm-দুটোর গুণফল ছাড়াতে পারে না। এটাই কোণের সংজ্ঞাকে অর্থপূর্ণ করে।

প্রমাণ: Cauchy–Schwarz (বাস্তব ক্ষেত্রে)

যদি \(v=\mathbf{0}\) হয়, দুই পক্ষই শূন্য — তুচ্ছভাবে সত্য। তাই ধরি \(v\neq\mathbf{0}\)। যেকোনো \(t\in\mathbb{R}\)-এর জন্য IP3 বলে \(\lVert u-tv\rVert^2 \ge 0\)। এটা inner product দিয়ে খুলি:

\[0 \le \langle u-tv,\, u-tv\rangle = \lVert u\rVert^2 - 2t\,\langle u,v\rangle + t^2\lVert v\rVert^2\]

ডানদিকটা \(t\)-এর একটা দ্বিঘাত রাশি (quadratic), যা সব \(t\)-এর জন্য \(\ge 0\)। কোনো দ্বিঘাত \(at^2+bt+c\) (\(a>0\)) সর্বদা অঋণাত্মক হয় ঠিক তখনই যখন তার discriminant \(b^2-4ac\le 0\)। এখানে \(a=\lVert v\rVert^2,\ b=-2\langle u,v\rangle,\ c=\lVert u\rVert^2\), তাই:

\[\big(2\langle u,v\rangle\big)^2 - 4\lVert v\rVert^2\lVert u\rVert^2 \le 0\]

\[\Rightarrow \langle u,v\rangle^2 \le \lVert u\rVert^2\lVert v\rVert^2\]

বর্গমূল নিয়ে: \(\lvert\langle u,v\rangle\rvert \le \lVert u\rVert\,\lVert v\rVert\)। \(\square\)

এবার Cauchy–Schwarz হাতে থাকায় induced norm যে সত্যিই N2 (ত্রিভুজ অসমতা) মানে তা দেখানো সহজ:

প্রমাণ: Induced Norm-এর Triangle Inequality

\[\lVert u+v\rVert^2 = \langle u+v,\, u+v\rangle = \lVert u\rVert^2 + 2\langle u,v\rangle + \lVert v\rVert^2\]

এখন \(\langle u,v\rangle \le \lvert\langle u,v\rangle\rvert \le \lVert u\rVert\,\lVert v\rVert\) (Cauchy–Schwarz), তাই:

\[\lVert u+v\rVert^2 \le \lVert u\rVert^2 + 2\lVert u\rVert\,\lVert v\rVert + \lVert v\rVert^2 = \big(\lVert u\rVert + \lVert v\rVert\big)^2\]

বর্গমূল নিয়ে: \(\lVert u+v\rVert \le \lVert u\rVert + \lVert v\rVert\)। (N1 homogeneity ও N3 positive definiteness সরাসরি IP-এর ধর্ম থেকে আসে।) \(\square\)

কোণ ও orthogonality। দুটো অশূন্য vector-এর মধ্যে কোণ \(\angle(u,v)\) সংজ্ঞায়িত হয়:

\[\cos\angle(u,v) = \frac{\langle u,v\rangle}{\lVert u\rVert\cdot\lVert v\rVert}\]

Cauchy–Schwarz নিশ্চিত করে ডানদিকটা \([-1,1]\)-এ থাকে, তাই \(\arccos\) নেওয়া সংজ্ঞিত ও কোণটা বাস্তব। যখন \(\langle u,v\rangle = 0\), তখন vector দুটো orthogonal (লম্ব) — তাদের মধ্যে কোণ \(90^\circ\), লেখা হয় \(u\perp v\)।

parallelogram law ও কোন norm inner product থেকে আসে। সব norm inner product তৈরি করে না! একটা norm inner product থেকে আসে যদি এবং কেবল যদি সেটা parallelogram law মানে:

\[2\lVert u\rVert^2 + 2\lVert v\rVert^2 = \lVert u+v\rVert^2 + \lVert u-v\rVert^2\]

তখন polarization identity দিয়ে inner product পুনরুদ্ধার করা যায় (বাস্তব ক্ষেত্রে):

\[\langle u,v\rangle = \frac{1}{4}\left(\lVert u+v\rVert^2 - \lVert u-v\rVert^2\right)\]

parallelogram law-ই সেই নির্ণায়ক শর্ত: এটা বর্ণনা করে যোগ ও বিয়োগে vector-দের দৈর্ঘ্য কীভাবে জ্যামিতিকভাবে আচরণ করে। যদি law না মানে, তবে norm কোনো inner product থেকে আসে না — আর তখন orthogonality, কোণ, projection-এর মতো গুরুত্বপূর্ণ জ্যামিতিক ধারণা হারিয়ে যায়। যেমন \(L^1\)-norm parallelogram law মানে না, তাই সেখানে অর্থপূর্ণ কোণ বা লম্বতা সংজ্ঞায়িত করা যায় না।

উপপাদ্য ১ (Generalized Pythagorean Theorem)

ধরো \(v_1,v_2,\ldots,v_n\in V\) জোড়ায়-জোড়ায় (pairwise) orthogonal — অর্থাৎ \(\langle v_i,v_j\rangle = 0\) যখন \(i\neq j\)। তাহলে:

\[\left\lVert \sum_{i=1}^n v_i\right\rVert^2 = \sum_{i=1}^n \lVert v_i\rVert^2\]

প্রমাণ: inner product-কে দুই যোগফলে বিস্তৃত করি এবং IP2 (bilinearity) ব্যবহার করি:

\[\left\lVert \sum_i v_i\right\rVert^2 = \left\langle \sum_i v_i,\ \sum_j v_j\right\rangle = \sum_{i}\sum_{j} \langle v_i, v_j\rangle\]

orthogonality থেকে \(i\neq j\)-এর সব পদ শূন্য; শুধু \(i=j\) পদগুলো টেকে:

\[= \sum_i \langle v_i,v_i\rangle = \sum_i \lVert v_i\rVert^2 \qquad \square\]

এটি Pythagorean theorem-এর generalization: vector-গুলো pairwise orthogonal হলেই cross term শূন্য হয়ে squared norm-গুলো যোগ হয়। Orthogonal না হলে cross term positive বা negative দুটোই হতে পারে; triangle inequality শুধু \(\|\sum_i v_i\|\le\sum_i\|v_i\|\) বলে, squared norm-কে \(\sum_i\|v_i\|^2\) দিয়ে bound করে না।

Deep learning-এ inner product

দুটো vector-এর inner product similarity encode করে, কিন্তু এটা scale-invariant নয় — বড় magnitude প্রাধান্য পেয়ে যায় যদিও দিক ভিন্ন হয়। এই সমস্যা এড়াতে cosine similarity (normalized inner product, \(\cos\angle(u,v)\)) ব্যবহৃত হয়, যা শুধু দিকের সারিবদ্ধতা (directional alignment) ধরে, scale ফেলে দেয়। deep learning-এ এটা বিশেষ দরকারি: network-এর গভীরতা, normalization বা noise-এর কারণে activation-এর norm বদলায়, কিন্তু latent space-এ তাদের দিক প্রায়ই অর্থ (semantic content) বহন করে।

Inner product bilinear; cosine similarity normalized হওয়ায় linear নয় এবং zero vector-এ undefined। Scaled dot-product attention-এ \(q\cdot k\)-কে \(\sqrt d\) দিয়ে divide করা হয় কারণ suitably normalized independent component-এর dot-product variance সাধারণত \(d\)-এর সঙ্গে বাড়ে; scale softmax logit-কে usable range-এ রাখে, norm sensitivity পুরো remove করে না। High dimension-এ isotropic random unit vector প্রায় orthogonal হওয়ার tendency আছে, কিন্তু learned embedding-এর independence/isotropy automatic নয় এবং এটি “dimension-এর চেয়ে বেশি information” মাপার theorem নয়।

৪. উদাহরণ ও Analogy¶

Worked Example 1: \(\ell^1,\ell^2,\ell^\infty\) norm সংখ্যাসহ¶

ধরো \(u=(3,-4,12)\in\mathbb{R}^3\)। তিনটা norm হিসেব করি:

\[\lVert u\rVert_1 = \lvert 3\rvert + \lvert -4\rvert + \lvert 12\rvert = 3+4+12 = 19\]

\[\lVert u\rVert_2 = \sqrt{3^2 + (-4)^2 + 12^2} = \sqrt{9+16+144} = \sqrt{169} = 13\]

\[\lVert u\rVert_\infty = \max\{3,4,12\} = 12\]

লক্ষ করো একটা সাধারণ নিয়ম সবসময় সত্য: \(\lVert u\rVert_\infty \le \lVert u\rVert_2 \le \lVert u\rVert_1\) (এখানে \(12\le 13\le 19\))। \(L^\infty\) সবচেয়ে "উদার" (শুধু বড়টা গোনে), \(L^1\) সবচেয়ে "কঠোর" (সব যোগ করে)।

Worked Example 2: দূরত্ব — একই তিন norm-এ¶

\(u=(1,2,2)\) ও \(v=(4,6,2)\)-এর মধ্যে দূরত্ব। প্রথমে পার্থক্য: \(u-v=(-3,-4,0)\)।

\[d_1(u,v) = 3+4+0 = 7, \qquad d_2(u,v) = \sqrt{9+16+0} = 5, \qquad d_\infty(u,v) = \max\{3,4,0\} = 4\]

Euclidean দূরত্ব \(5\) — এটাই দুই বিন্দুর "সরলরেখা" দূরত্ব; \(\ell^1\) দূরত্ব \(7\) যেন গ্রিড-রাস্তা ধরে হাঁটা (taxicab)।

Worked Example 3: Inner product, কোণ ও orthogonality¶

(ক) সাধারণ কোণ। \(u=(1,0,1)\), \(v=(1,1,0)\in\mathbb{R}^3\)।

\[\langle u,v\rangle = 1\cdot1 + 0\cdot1 + 1\cdot0 = 1\]

\[\lVert u\rVert = \sqrt{1+0+1} = \sqrt{2}, \qquad \lVert v\rVert = \sqrt{1+1+0} = \sqrt{2}\]

\[\cos\angle(u,v) = \frac{1}{\sqrt2\cdot\sqrt2} = \frac{1}{2} \;\Rightarrow\; \angle(u,v) = 60^\circ\]

Cauchy–Schwarz যাচাই: \(\lvert 1\rvert = 1 \le \sqrt2\cdot\sqrt2 = 2\) ✓।

(খ) orthogonality। \(u=(1,2,2)\), \(v=(2,-2,1)\): \(\langle u,v\rangle = 2-4+2 = 0\)। তাই \(u\perp v\) — কোণ ঠিক \(90^\circ\)। দুটোরই norm \(\sqrt{1+4+4}=3\); Generalized Pythagorean যাচাই: \(\lVert u+v\rVert^2\)-এর কথা ভাবো — \(u+v=(3,0,3)\), \(\lVert u+v\rVert^2 = 18 = 9+9 = \lVert u\rVert^2 + \lVert v\rVert^2\) ✓।

Worked Example 4: Matrix (Frobenius) inner product¶

\(A=\begin{pmatrix}1&2\\0&1\end{pmatrix}\), \(B=\begin{pmatrix}2&0\\1&3\end{pmatrix}\)। সংজ্ঞা \(\langle A,B\rangle = \operatorname{trace}(AB^\top)\)। এটা আসলে সব entry-র element-wise গুণফলের যোগফল:

\[\langle A,B\rangle = \sum_{i,j} A_{ij}B_{ij} = 1\cdot2 + 2\cdot0 + 0\cdot1 + 1\cdot3 = 5\]

\[\lVert A\rVert = \sqrt{1+4+0+1} = \sqrt6, \qquad \lVert B\rVert = \sqrt{4+0+1+9} = \sqrt{14}\]

Cauchy–Schwarz: \(\lvert 5\rvert = 5 \le \sqrt6\cdot\sqrt{14} = \sqrt{84}\approx 9.17\) ✓। এটাই deep learning-এ দুটো weight matrix বা gradient তুলনার স্বাভাবিক inner product।

Analogy: inner product যেন "মিল-মিটার"¶

দুটো নথি (document) ভাবো, প্রতিটাকে একটা vector হিসেবে — প্রতিটা শব্দের ফ্রিকোয়েন্সি এক-একটা component। দুটো নথির inner product বড় হলে তারা অনেক শব্দ ভাগ করে নেয় — "মিল বেশি"। inner product শূন্য হলে কোনো অভিন্ন শব্দ নেই — orthogonal, সম্পূর্ণ ভিন্ন বিষয়।

কিন্তু একটা লম্বা নথির সব শব্দ-গণনা বড়, তাই raw inner product তাকে অন্যায্যভাবে "বেশি মিল" দেখাবে। তাই আমরা cosine similarity ব্যবহার করি — norm দিয়ে ভাগ করে দৈর্ঘ্যের প্রভাব সরিয়ে দিই, শুধু "দিক" (কোন শব্দগুলো, কোন অনুপাতে) রাখি। এটাই search engine, recommendation ও Transformer-এর attention-এর অন্তর্নিহিত স্বজ্ঞা: magnitude নয়, দিকই অর্থ বহন করে।

৫. সাধারণ ভুল (Common mistakes)¶

norm আর absolute value গুলিয়ে ফেলা। \(\lVert u\rVert\) (দুই দাগ) একটা vector-এর norm; \(\lvert\alpha\rvert\) (এক দাগ) একটা scalar-এর পরম মান। homogeneity axiom-এ ডানদিকে scalar-এর absolute value \(\lvert\alpha\rvert\) লাগে — vector-এর norm নয়।
norm আর inner product একই ভাবা। \(\langle u,v\rangle\) একটা সংখ্যা যা কোণ/মিল বোঝায় (ঋণাত্মকও হতে পারে); \(\lVert u\rVert\) একটা অঋণাত্মক দৈর্ঘ্য। সম্পর্ক শুধু \(\langle u,u\rangle = \lVert u\rVert^2\); সাধারণভাবে \(\langle u,v\rangle \neq \lVert u\rVert\,\lVert v\rVert\) (সমতা কেবল সমান্তরাল হলে)।
"সব metric norm থেকে আসে" ভাবা। ভুল। \(d(u,v)=\sqrt{\lvert u_1-v_1\rvert}+\cdots\) একটা বৈধ metric কিন্তু কোনো norm থেকে আসে না (homogeneity ভাঙে)। discrete metric-ও তাই।
"সব norm inner product থেকে আসে" ভাবা। ভুল। norm inner product থেকে আসে ঠিক তখনই যখন parallelogram law সত্য। \(L^1\) ও \(L^\infty\) norm এটা মানে না — তাই ওখানে অর্থপূর্ণ কোণ বা orthogonality নেই।
complex ক্ষেত্রে conjugate ভুলে যাওয়া। \(\mathbb{C}^n\)-এ \(\langle u,v\rangle = \sum u_i\bar v_i\), এবং \(\langle u,v\rangle = \overline{\langle v,u\rangle}\) (symmetric নয়, conjugate-symmetric)। দ্বিতীয় চলে scalar বের করলে conjugate লাগে: \(\langle u,\alpha v\rangle = \bar\alpha\langle u,v\rangle\)। বাস্তব ক্ষেত্রে conjugate কিছু বদলায় না বলে অনেকে অভ্যাসবশত complex-এও ভুল করে।
Cauchy–Schwarz-এ absolute value বাদ দেওয়া। সঠিক রূপ \(\lvert\langle u,v\rangle\rvert \le \lVert u\rVert\lVert v\rVert\) — বাঁদিকে absolute value দরকার, কারণ \(\langle u,v\rangle\) ঋণাত্মক (বা complex) হতে পারে। কেবল \(\langle u,v\rangle \le \lVert u\rVert\lVert v\rVert\) লিখলে অর্ধেক তথ্য।
quasi-metric আর pseudo-metric গুলিয়ে ফেলা। pseudo-metric অভিন্নতা (M2) শিথিল করে (\(d=0\) হলেও \(u\neq v\) হতে পারে); quasi-metric ত্রিভুজ অসমতা শিথিল করে (\(C\)-relaxed)। আলাদা জিনিস।
cosine similarity-কে scale-নির্ভর ভাবা। raw dot product scale-নির্ভর, কিন্তু cosine similarity নয় — এটাই ওকে deep learning-এ এত দরকারি করে। উল্টোটা মনে রাখলে attention/embedding-এর যুক্তি ভুল হবে।

৬. এক্সারসাইজ (Exercises)¶

নিজে চেষ্টা করো, তারপর নিচের সমাধান খোলো।

\(\mathbb{R}^4\)-এ \(u=(2,-2,1,0)\)-এর \(\lVert u\rVert_1\), \(\lVert u\rVert_2\), \(\lVert u\rVert_\infty\) হিসেব করো এবং \(\lVert u\rVert_\infty \le \lVert u\rVert_2 \le \lVert u\rVert_1\) যাচাই করো।
\(u=(1,3,4)\) ও \(v=(1,0,0)\)-এর মধ্যে \(L^1\), \(L^2\) ও \(L^\infty\) দূরত্ব নির্ণয় করো।
(ML — cosine similarity) দুটো embedding \(a=(1,1,0)\) ও \(b=(0,1,1)\)। এদের inner product, দুটোর norm, cosine similarity এবং কোণ নির্ণয় করো। raw inner product-এর বদলে cosine কেন বেশি অর্থবহ — এক লাইনে বলো।
প্রমাণ করো \(\ell^\infty\)-norm ত্রিভুজ অসমতা (N2) মানে; অর্থাৎ \(\max_i \lvert u_i+v_i\rvert \le \max_i\lvert u_i\rvert + \max_i\lvert v_i\rvert\)।
দেখাও \(d(u,v)=\sqrt{\lvert u_1-v_1\rvert}+\sqrt{\lvert u_2-v_2\rvert}\) (\(\mathbb{R}^2\)-এ) কোনো norm থেকে আসতে পারে না। [ইঙ্গিত: যদি \(d(u,v)=N(u-v)\) কোনো norm \(N\)-এর জন্য হতো, তবে homogeneity \(N(\alpha w)=\lvert\alpha\rvert N(w)\) পরীক্ষা করো \(w=(1,0)\), \(\alpha=4\)-এ।]
(parallelogram law) \(\ell^\infty\)-এ \(u=(1,0)\), \(v=(0,1)\) নাও। parallelogram law-এর দুই পক্ষ হিসেব করে দেখাও তারা সমান নয় — তাই \(\ell^\infty\)-norm কোনো inner product থেকে আসে না।
(Generalized Pythagorean) \(v_1=(1,1,0)\), \(v_2=(1,-1,0)\), \(v_3=(0,0,3)\) — যাচাই করো এরা জোড়ায়-জোড়ায় orthogonal, তারপর \(\lVert v_1+v_2+v_3\rVert^2 = \lVert v_1\rVert^2+\lVert v_2\rVert^2+\lVert v_3\rVert^2\) দুই দিক থেকে হিসেব করে মিলিয়ে দেখাও।
(ML — attention-এর \(1/\sqrt d\)) ধরো \(q,k\in\mathbb{R}^d\)-এর প্রতিটা component স্বাধীন, mean \(0\) ও variance \(1\)। দেখাও \(\langle q,k\rangle\)-এর variance \(d\), তাই তার সাধারণ মাপ (standard deviation) \(\sqrt d\)। ব্যাখ্যা করো কেন এই কারণেই scaled dot-product attention-এ dot product-কে \(\frac{1}{\sqrt d}\) দিয়ে ভাগ করা হয়।

৭. সমাধান (ব্যাখ্যাসহ)¶

১-নং সমাধান দেখাও

\(u=(2,-2,1,0)\)।

\[\lVert u\rVert_1 = 2+2+1+0 = 5\]

\[\lVert u\rVert_2 = \sqrt{4+4+1+0} = \sqrt{9} = 3\]

\[\lVert u\rVert_\infty = \max\{2,2,1,0\} = 2\]

যাচাই: \(2 \le 3 \le 5\) ✓। সাধারণভাবে \(\lVert\cdot\rVert_\infty \le \lVert\cdot\rVert_2 \le \lVert\cdot\rVert_1\) সবসময় সত্য, কারণ \(p\) বাড়লে বড় component-গুলো তুলনামূলক বেশি প্রাধান্য পায় আর ছোটগুলোর অবদান কমে।

২-নং সমাধান দেখাও

পার্থক্য: \(u-v = (0,3,4)\)।

\[d_1 = 0+3+4 = 7, \qquad d_2 = \sqrt{0+9+16} = \sqrt{25} = 5, \qquad d_\infty = \max\{0,3,4\} = 4\]

Euclidean দূরত্ব \(5\) — মূল \(3\)–\(4\)–\(5\) সমকোণী ত্রিভুজের কর্ণ।

৩-নং সমাধান দেখাও

\(a=(1,1,0)\), \(b=(0,1,1)\)।

\[\langle a,b\rangle = 1\cdot0 + 1\cdot1 + 0\cdot1 = 1\]

\[\lVert a\rVert = \sqrt{1+1+0} = \sqrt2, \qquad \lVert b\rVert = \sqrt{0+1+1} = \sqrt2\]

\[\text{cosine similarity} = \cos\angle(a,b) = \frac{1}{\sqrt2\cdot\sqrt2} = \frac{1}{2} \;\Rightarrow\; \angle(a,b) = 60^\circ\]

cosine কেন ভালো: এটা \(a,b\)-এর দৈর্ঘ্য মুছে দিয়ে শুধু "দিক" তুলনা করে; তাই একটা embedding-কে \(10\) গুণ বড় করলেও similarity একই থাকে — magnitude নয়, semantic দিকই গোনা হয়।

৪-নং সমাধান দেখাও

যেকোনো সূচক \(i\)-এর জন্য absolute value-এর ত্রিভুজ অসমতা:

\[\lvert u_i + v_i\rvert \le \lvert u_i\rvert + \lvert v_i\rvert \le \max_j\lvert u_j\rvert + \max_j\lvert v_j\rvert = \lVert u\rVert_\infty + \lVert v\rVert_\infty\]

ডানদিকটা \(i\)-নিরপেক্ষ একটা upper bound। যেহেতু এটা সব \(i\)-এর জন্য \(\lvert u_i+v_i\rvert\)-এর উপরের সীমা, তাই এদের সর্বোচ্চটাও এর নিচে:

\[\lVert u+v\rVert_\infty = \max_i\lvert u_i+v_i\rvert \le \lVert u\rVert_\infty + \lVert v\rVert_\infty \qquad \square\]

৫-নং সমাধান দেখাও

ধরি বিপরীতে \(d(u,v)=N(u-v)\) কোনো norm \(N\)-এর জন্য। তবে \(w=(w_1,w_2)\)-এ \(N(w)=\sqrt{\lvert w_1\rvert}+\sqrt{\lvert w_2\rvert}\) (মূলবিন্দু থেকে দূরত্ব)। homogeneity পরীক্ষা করি \(w=(1,0)\), \(\alpha=4\)-এ:

\[N(4w) = N(4,0) = \sqrt{4} = 2, \qquad \lvert 4\rvert\,N(w) = 4\cdot\sqrt{1} = 4\]

\(2 \neq 4\), তাই \(N(\alpha w) = \lvert\alpha\rvert N(w)\) ভেঙে যায় — homogeneity (N1) অসত্য। অতএব \(N\) কোনো norm নয়, আর \(d\) কোনো norm থেকে আসে না। (\(d\) নিজে কিন্তু একটা বৈধ metric — কারণ \(t\mapsto\sqrt t\) concave ও subadditive হওয়ায় ত্রিভুজ অসমতা টেকে।) \(\square\)

৬-নং সমাধান দেখাও

\(\ell^\infty\)-এ \(u=(1,0)\), \(v=(0,1)\)।

\[u+v = (1,1),\quad \lVert u+v\rVert_\infty = 1; \qquad u-v = (1,-1),\quad \lVert u-v\rVert_\infty = 1\]

\[\lVert u\rVert_\infty = 1, \qquad \lVert v\rVert_\infty = 1\]

parallelogram law-এর বাঁ পক্ষ: \(\lVert u+v\rVert^2 + \lVert u-v\rVert^2 = 1 + 1 = 2\)।

ডান পক্ষ: \(2\lVert u\rVert^2 + 2\lVert v\rVert^2 = 2\cdot1 + 2\cdot1 = 4\)।

\(2 \neq 4\) — law ভাঙে, তাই \(\ell^\infty\)-norm কোনো inner product থেকে আসে না। ফলে \(\ell^\infty\)-এ অর্থপূর্ণ কোণ/orthogonality নেই। \(\square\)

৭-নং সমাধান দেখাও

orthogonality যাচাই:

\[\langle v_1,v_2\rangle = 1\cdot1 + 1\cdot(-1) + 0 = 0, \quad \langle v_1,v_3\rangle = 0, \quad \langle v_2,v_3\rangle = 0\]

তিন জোড়াই orthogonal ✓।

ডান পক্ষ: \(\lVert v_1\rVert^2 = 2\), \(\lVert v_2\rVert^2 = 2\), \(\lVert v_3\rVert^2 = 9\), যোগফল \(= 13\)।

বাঁ পক্ষ: \(v_1+v_2+v_3 = (2,0,3)\), তাই \(\lVert v_1+v_2+v_3\rVert^2 = 4+0+9 = 13\)।

\(13 = 13\) ✓ — Generalized Pythagorean theorem নিশ্চিত।

৮-নং সমাধান দেখাও

\(\langle q,k\rangle = \sum_{i=1}^d q_i k_i\)। প্রতিটা \(q_i,k_i\) স্বাধীন, mean \(0\), variance \(1\)।

প্রতিটা পদ \(q_i k_i\)-এর প্রত্যাশা: \(\mathbb{E}[q_i k_i] = \mathbb{E}[q_i]\,\mathbb{E}[k_i] = 0\) (স্বাধীনতা)। তাই \(\mathbb{E}[\langle q,k\rangle] = 0\)।

variance: পদগুলো স্বাধীন হওয়ায় variance যোগ হয়, এবং \(\operatorname{Var}(q_i k_i) = \mathbb{E}[q_i^2 k_i^2] - 0 = \mathbb{E}[q_i^2]\,\mathbb{E}[k_i^2] = 1\cdot1 = 1\)। তাই:

\[\operatorname{Var}(\langle q,k\rangle) = \sum_{i=1}^d \operatorname{Var}(q_i k_i) = d\]

অর্থাৎ standard deviation \(= \sqrt{d}\)। তাই মাত্রা \(d\) বাড়লে dot product-এর সাধারণ মান \(\sqrt d\) হারে বড় হয়। এই বড় মান softmax-এ ঢুকলে সে খুব "তীক্ষ্ণ" (একটা entry-তে প্রায় \(1\), বাকিরা \(\approx 0\)) হয়ে যায়, gradient প্রায় শূন্য — প্রশিক্ষণ অস্থির। তাই dot product-কে \(\frac{1}{\sqrt d}\) দিয়ে ভাগ করলে variance আবার \(\approx 1\)-এ নেমে আসে, softmax সংখ্যাগতভাবে স্থিতিশীল থাকে। এটাই "scaled dot-product attention"-এর \(\frac{1}{\sqrt d}\)-এর কারণ।

৮. সারসংক্ষেপ ও Checklist¶

এই অধ্যায়ের পর নিজেকে যাচাই করো:

[ ] norm-এর তিন axiom (positive homogeneity, triangle inequality, positive definiteness) চোখ বন্ধ করে বলতে পারি, এবং \(\lVert\mathbf0\rVert=0\) ও \(\lVert u\rVert\ge0\) কেন পরিণতি তা বোঝাতে পারি।
[ ] \(L^1\), \(L^2\) (Euclidean), \(L^\infty\) norm ও function-space \(L^p\) norm লিখতে পারি; sum ↔ integral-এর স্বজ্ঞা জানি।
[ ] metric-এর চার axiom জানি এবং \(d(u,v)=\lVert u-v\rVert\) যে একটা metric তার প্রমাণ (চারটাই) দিতে পারি।
[ ] "প্রতিটা normed space একটা metric space, কিন্তু উল্টো নয়" — কেন, একটা counterexample সহ বলতে পারি।
[ ] pseudo-metric (M2 শিথিল) ও quasi-metric (\(C\)-relaxed triangle inequality)-এর পার্থক্য জানি; Hausdorff distance-এর সংজ্ঞা চিনি।
[ ] inner product-এর তিন axiom (conjugate symmetry, প্রথম চলে linearity, positive semi-definiteness) জানি; real vs complex পার্থক্য (conjugate) বুঝি; দ্বিতীয় চলে conjugate-linearity বের করতে পারি।
[ ] \(\mathbb{R}^n\), \(\mathbb{C}^n\), matrix (Frobenius), \(L^2(\Omega)\), \(\ell^2\) — প্রতিটার inner product formula জানি।
[ ] Cauchy–Schwarz \(\lvert\langle u,v\rangle\rvert\le\lVert u\rVert\lVert v\rVert\)-এর proof (discriminant পদ্ধতি) বুঝি, এবং এর থেকে induced norm-এর triangle inequality বের করতে পারি।
[ ] induced norm \(\lVert u\rVert=\sqrt{\langle u,u\rangle}\); কোণ \(\cos\angle(u,v)=\langle u,v\rangle/(\lVert u\rVert\lVert v\rVert)\); orthogonality \(\langle u,v\rangle=0\)।
[ ] parallelogram law ও polarization identity জানি; কেন এটা "norm inner product থেকে এসেছে কি না" নির্ণয় করে (\(L^1,L^\infty\) ব্যর্থ)।
[ ] Generalized Pythagorean theorem ও তার প্রমাণ জানি।
[ ] deep learning সংযোগ: norm → invariance ও weight decay; metric → k-NN graph, vector quantization; inner product → cosine similarity ও scaled dot-product attention-এর \(\frac{1}{\sqrt d}\); উচ্চ-মাত্রায় near-orthogonality।

➡️ পরের অধ্যায়: 8.3 — Vector Calculus — field, gradient, divergence, Laplacian ও gradient descent।