Stojkovic, Natasa and Utkovski, Zoran and Miteva, Marija and Karamazova Gelova, Elena (2018) Теорија на информации - скрипта. ISBN ISBN 978-608-244-534-2.
Full text not available from this repository. (Request a copy)Abstract
Скриптата „Теорија на информации“ содржи систематизирани предавања од истоимениот предмет и е наменета, пред сè за студентите на Факултет за информатика, но и за студентите на други факултети кои изучуваат содржини поврзани со ентропија, информација, комуникациски системи и компресија на податоци.
Во првата глава е даден краток вовед во Теоријата на информации како наука и тука се наведени главните проблеми што таа ги истражува. На кратко се опишани најзначајните достигнувања во оваа наука, а дадена е и нејзина поврзаност со другите науки.
Во втората глава е дефинирана ентропијата на конечна и бесконечна дискретна распределба на веројатности, како и на непрекината распределба на веројатности и е објаснето значењето на оваа величина. Наведени се поважните својства на ентропијата, а докажани се и тврдењата што се однесуваат на ентропијата.
Во третата глава се воведени поимите: информација, сопствена информација, заемна информација, заемна ентропија и условна ентропија, а дадено е и нивното значење при преносот на податоците. Во оваа глава се наведени и неколку примери.
Во четвртата глава се разработени некои неравенства што се однесуваат на ентропијата и информацијата, а кои се важни за разбирање на значењето и примената на овие величини.
Во петтата глава е разработена ентропијата на случајна променлива со непрекинато множество вредности. Разгледани се и взаемната ентропија, како и взаемната информација на две непрекинати случајни променливи.
Во шестата глава се разгледуваат изворите на информации, при што се дефинирани одредени видови на извори на информации. Најпрво е воведен дискретниот извор на информации, а потоа стационарниот, како специфичен вид дискретен извор на информации. Понатаму, се разгледани: безмеморискиот, Марковиот извор и ергодичниот извор на информации.
Во седмата глава е разработен еден од основните проблеми во теоријата на информации, а тоа е процесот на кодирање и декодирање на изворните пораки. Наведен е проблемот за оптималност на кодот, како и потребните услови за оптималност на кодот. Разработен е Huffman (Хофмановиот) алгоритам за конструкција на оптимален префикс - код, а дадени се примери и на други симболички и stream – кодови. Решени се повеќе примери.
Во осмата глава е разгледан проблемот на моделирање на дискретен комуникациски канал под претпоставка дека постојат пречки при пренос на информациите низ дадениот канал. Подетално се разгледува т.н. дискретен канал без меморија, се изведуваат одредени својства на каналот без меморија и подетално се изразува проблематиката на конструкција на кодер и декодер, но под услов на постоење на пречки во комуникацискиот канал. Во оваа глава е дефинирана величината - капацитет на дискретен канал без меморија. Главата содржи и решени примери.
Во деветтата глава се разработени кодер и декодер на комуникацискиот канал, наведена е шемата на одлучување, фундамнеталната теорема и обратната фундаментална теорема. Наведени се и примери поврзани со разработените теми во главата.
За да ги совладаат содржините што се опфатени, студентите треба да имаат основни познавања од теоријата на веројатност.
| Item Type: | Teaching Resource |
|---|---|
| Subjects: | Natural sciences > Computer and information sciences |
| Divisions: | Faculty of Computer Science |
| Depositing User: | Marija Miteva |
| Date Deposited: | 18 Feb 2019 09:32 |
| Last Modified: | 22 Jun 2022 09:27 |
| URI: | https://eprints.ugd.edu.mk/id/eprint/21577 |
Actions (login required)
 |
View Item |