Hadamardův součin

Hadamardův součin[1], Schurův součin[2] nebo součin po složkách je v matematice binární operací na maticích stejného typu. Výsledná matice se získá součinem odpovídajících složek daných matic. Ve srovnání se složitějším maticovým součinem je Hadamardův součin méně používaný.

Hadamardův součin se týká matic stejného typu.

Hadamardův součin je asociativní a distributivní vzhledem k součtu. Pokud je komutativní příslušný okruh, je i Hadamardův součin komutativní.

Hadamardův součin dvou pozitivně semidefinitních matic je opět pozitivně semidefinitní. Některé maticové parametry, např. normu, hodnost nebo spektrální poloměr, Hadamardova součinu lze odhadnout pomocí součinu příslušných parametrů výchozích matic.

Součin je pojmenován po francouzském matematiku Jacquesi Hadamardovi (1865–1963) a německém matematiku Issai Schurovi (1875–1941). Stejně jako se lze setkat s různými názvy, lze se setkat i s různými symboly: , [3][4], .* nebo .

Při výpočtu Hadamardova součinu se matice mezi sebou násobí po složkách.

Definice

editovat

Pro matice   typu   nad okruhem  , např. nad celými, reálnými nebo komplexními čísly, je Hadamardův součin   definován předpisem:

 

po rozepsání:

 

Výsledkem je matice stejného typu  , jejíž každý prvek je určen součinem prvku matice   na stejné pozici s odpovídajícím prvkem matice  .

Pro matice různých rozměrů, tj. pro typy   a  , kde   nebo  , není Hadamardův součin definován.

Ukázka

editovat

Hadamardův součin dvou reálných matic typu  

  a  

je

 

Vlastnosti

editovat

Hadamardův součin v podstatě dědí vlastnosti základního okruhu. Je vždy asociativní, neboli pro matice   platí:

 

Hadamardův součin je lineární vůči skalárnímu násobku v obou činitelích, neboli pro každé   platí:

  .

Nad komutativním okruhem je i Hadamardův součin komutativní:

 

čímž se liší od běžně používaného maticového součinu.

Vůči součtu matic po složkách   platí distribuční zákony:

  a   .

Pro transpozici Hadamardova součinu platí:

 

Hadamardův součin dvou symetrických matic je symetrický.

V Kroneckerově součinu   matic   se Hadamardův součin   vyskytuje jako podmatice určená sloupcovými indexy   s řádkovými indexy . V důsledku pro hodnost těchto součinů platí:[5]

 

Diagonální matice

editovat

Na diagonálních maticích se Hadamardův součin se shoduje se standardním maticovým součinem  .

Pro Hadamardův součin a standardní maticový součin, jichž se účastní diagonální matice  , platí následující vztahy:[6]

 
 
 

V unitárních okruzích lze pomocí vektorů   ze samých jedniček ukázat, že součet všech prvků v Hadamardově součinu je roven stopě součinu  :[1]

 

Uvedený vztah lze zobecnit pro diagonální matice   a   s vektory   a   na diagonále:

 

Pro čtvercové matice   a   řádu   platí, že řádkové součty jejich Hadamardova součinu jsou diagonálními prvky součinu  :

 

Podobně platí:

 

Kombinaci Hadamardova součinu a součinu vektoru s maticí lze dále vyjádřit jako:

 

kde   je vektor sestavený z prvků na diagonále matice  .

Algebraické vlastnosti

editovat

Množina matic typu   nad okruhem   tvoří opět okruh   vzhledem k součtu a Hadamardovu součinu. Pokud je   unitární okruh s jednotkovým prvkem  , pak má okruh matic také jednotkový prvek, jmenovitě jedničkovou matici  , jejíž jsou všechny rovny 1. Pro všechny matice   a jedničkovou matici  pak platí:

 

Pokud je   těleso, potom lze matice, které neobsahují na žádné pozici nulový prvek, invertovat vzhledem k Hadamardovu součinu. Množina takto invertibilních matic pak tvoří grupu  , kde inverzní prvek   k matici   je dán předpisem:

 

Vlastnosti pro reálné a komplexní matice

editovat

V následujících odstavcích jsou uvažovány jen matice řádu   nad tělesem   reálných nebo komplexních čísel.

Definitnost

editovat

Schurova věta o součinu z roku 1911[7] uvádí, že Hadamardův součin   pozitivně semidefinitních matic   je opět pozitivně semidefinitní. Schur dokonce ukázal,[8] že pokud je matice   pozitivně definitivní a matice   je pozitivně semidefinitní s kladnými prvky na diagonále, pak je Hadamardův součin   také pozitivně definitní.

Pro determinant Hadamardova součinu pozitivně semidefinitních matic   a   platí, že je větší nebo roven součinu jejich determinantů:[6]

 

Pro vlastní čísla Hadamardova součinu   pozitivně semidefinitních matic navíc platí:

 

Jsou-li   a   pozitivně definitní matice řádu  , pak pro každé   platí následující nerovnost zahrnující Hadamardův součin:[9]

 

kde   znamená  -té největší vlastní číslo matice  .

Diagonalizovatelné matice

editovat

Pokud je matice   diagonalizovatelná, čili pokud ji lze rozložit na součin  , kde   je regulární matice a   je diagonální matice s vlastními čísly   matice   na diagonále, tak potom platí:[10]

 

Singulární rozklad

editovat

Má-li čtvercová matice   singulární rozklad   se singulárními hodnotami  , potom pro ni platí:[10]

 

Spektrální norma a poloměr

editovat

Je-li matice   pozitivně definitní, pak pro spektrální normu Hadamardova součinu platí:[8]

  .

Pokud lze matici rozložit na součin dvou matic  , pak platí:

 

kde   je maximální euklidovská norma sloupcových vektorů matice  .

Pro spektrální normu a spektrální poloměr Hadamardova součinu platí:[5]

 
 

Indukovaná seskvilineární forma

editovat

Pro matice   vektory   a diagonální matice   s   a   na diagonále platí:[11]

 

V důsledku lze seskvilineární formu generovanou Hadamardovým součinem zapsat pomocí stopy. Následně lze ukázat, že Frobeniova norma je vzhledem k Hadamardově součinu submultiplikativní:[11]

 

Programování

editovat

Hadamardův součin je integrován do řady vědeckých nebo numerických programovacích jazyků různými způsoby:

  • V numerickém softwarovém balíku Matlab je Hadamardův součin reprezentován kombinací symbolů .*, zatímco * znamená standardní maticový součin.
  • V programovacím jazyce Fortran je Hadamardův součin implementován pomocí jednoduchého operátoru násobení *, zatímco součin matic je prováděn samostatnou rutinou matmul.
  • Podobně numerická knihovna NumPy v Pythonu interpretuje a*b nebo a.multiply(b) jako Hadamardův součin a pro maticový součin používá a@b nebo a.matmul(b). V symbolické knihovně SymPy, značí a*b a a@b maticový součin, zatímco Hadamardův součin se provádí voláním metody a.multiply_elementwise(b).[12]
  • Ve statistickém softwaru R je Hadamardův součin reprezentován *, zatímco maticový součin je realizován %*%.
  • V programovacích jazycích pro psaní shaderů, jako je GLSL, provede operátor * Hadamardův součin mezi dvěma vektory. Podobně operátor / provede Hadamardovo dělení. Operátor * se však také používá k výpočtu součinu dvou matic nebo matice s vektorem.
  • V C++ poskytuje knihovna Eigen funkci cwiseProduct. Knihovna Armadillo používá zápis a % b pro Hadamardův součin a a * b pro standardní součin.

Aplikace

editovat

Hadamardův součin s kvantizační maticí se používá ve ztrátových kompresních a dekompresních algoritmech, jako například JPEG.

Při zpracování obrazu lze Hadamardův součin použít pro vylepšení, potlačení nebo maskování oblastí obrazu. Jedna matice představuje původní obrázek, druhá funguje jako váha nebo maskovací matice.

Ve strojovém učení se používá například k popisu architektury rekurentních neuronových sítí jako GRU nebo LSTM.[13]

Používá se také ke studiu statistických vlastností náhodných vektorů a matic.[14][15]

Podíl po složkách

editovat

Analogickým způsobem jako součin lze definovat i podíl po složkách:[16]

 , kde   pro   a  

Reference

editovat

V tomto článku byly použity překlady textů z článků Hadamard-Produkt na německé Wikipedii a Hadamard product (matices) na anglické Wikipedii.

  1. a b HORN, Roger A.; JOHNSON, Charles R. Matrix analysis. 2nd ed. vyd. Cambridge ; New York: Cambridge University Press, 1990. 643 s. Dostupné online. ISBN 978-0-521-83940-2. Kapitola 5. 
  2. DAVIS, Chandler. The norm of the Schur product operation. Numerische Mathematik. 1962, s. 343–44. DOI 10.1007/bf01386329. S2CID 121027182. 
  3. VOIGT, Christian; ADAMY, Jürgen. Formelsammlung der Matrizenrechnung. München: Oldenbourg 162 s. (Technik 10-2012). ISBN 978-3-486-58350-2. 
  4. Hadamard product - Machine Learning Glossary [online]. Dostupné online. 
  5. a b Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 96–100.
  6. a b STYAN, George P. H. Hadamard products and multivariate statistical analysis. Linear Algebra and its Applications. 1973-01-01, roč. 6, s. 217–240. Dostupné online [cit. 2025-01-04]. ISSN 0024-3795. DOI 10.1016/0024-3795(73)90023-2. 
  7. SCHUR, J. Bemerkungen zur Theorie der beschränkten Bilinearformen mit unendlich vielen Veränderlichen.. www.degruyter.com. 1911-01-01, roč. 1911, čís. 140, s. 1–28. Dostupné online [cit. 2025-01-04]. ISSN 1435-5345. DOI 10.1515/crll.1911.140.1. (německy) 
  8. a b Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 95.
  9. HIAI, Fumio; LIN, Minghua. On an eigenvalue inequality involving the Hadamard product. Linear Algebra and its Applications. 2017-02, roč. 515, s. 313–320. Dostupné online [cit. 2025-01-04]. DOI 10.1016/j.laa.2016.11.017. (anglicky) 
  10. a b Elizabeth Million, University of Puget Sound: The Hadamard Product
  11. a b Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 100–104.
  12. Common Matrices — SymPy 1.9 documentation [online]. Dostupné online. 
  13. SAK, Haşim; SENIOR, Andrew; BEAUFAYS, Françoise. Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition. arxiv.org [online]. [cit. 2025-01-04]. Dostupné online. 
  14. NEUDECKER, Heinz; LIU, Shuangzhe; POLASEK, Wolfgang. The Hadamard product and some of its applications in statistics. Statistics. 1995, s. 365–373. DOI 10.1080/02331889508802503. 
  15. NEUDECKER, Heinz; LIU, Shuangzhe. Some statistical properties of Hadamard products of random matrices. Statistical Papers. 2001, s. 475–487. DOI 10.1007/s003620100074. S2CID 121385730. 
  16. CYGANEK, Bogusław. Object detection and recognition in digital images: theory and practice. Chichester, West Sussex, United Kingdom: Wiley 1 s. ISBN 978-1-118-61836-3, ISBN 978-1-118-61835-6. 

Literatura

editovat
  • HORN, Roger A. The Hadamard Product. In: JOHNSON, Charles R. Matrix Theory and Applications (= Proceedings of Symposia in Applied Mathematics. Band 40). Providence (R.I.): American Mathematical Society, 1990. ISBN 0-8218-0154-6. S. 87-170.

Související články

editovat