Podaci se mogu komprimirati pomoću tehnike Huffmanovog kodiranja kako bi postali manji bez gubitka informacija. Nakon Davida Huffmana, tko ga je stvorio na početku? Podaci koji sadrže znakove koji se često ponavljaju obično su komprimirani pomoću Huffmanovog kodiranja.
Dobro poznati Greedy algoritam je Huffmanovo kodiranje. Veličina koda dodijeljenog znaku ovisi o učestalosti znaka, zbog čega se naziva pohlepnim algoritmom. Varijabilni kod kratke duljine dodjeljuje se znaku s najvećom frekvencijom, i obrnuto za znakove s nižom frekvencijom. Koristi kodiranje promjenjive duljine, što znači da svakom znaku u pruženom toku podataka daje drugačiji kod promjenjive duljine.
Pravilo prefiksa
U osnovi, ovo pravilo kaže da kod koji je dodijeljen znaku ne smije biti prefiks drugog koda. Ako se ovo pravilo prekrši, mogu se pojaviti razne dvosmislenosti prilikom dekodiranja stvorenog Huffmanovog stabla.
Pogledajmo ilustraciju ovog pravila da bismo ga bolje razumjeli: Za svaki znak je osiguran kod, kao što je:
a - 0 b - 1 c - 01
Pod pretpostavkom da je proizvedeni tok bitova 001, kod se može izraziti na sljedeći način kada se dekodira:
0 0 1 = aab 0 01 = ac
Što je Huffmanov proces kodiranja?
Huffmanov kod se dobiva za svaki poseban znak u prvenstveno dva koraka:
što java
- Najprije izradite Huffmanovo stablo koristeći samo jedinstvene znakove u pruženom toku podataka.
- Drugo, moramo nastaviti kroz konstruirano Huffmanovo stablo, dodijeliti kodove znakovima, a zatim upotrijebiti te kodove za dekodiranje dobivenog teksta.
Koraci koje treba poduzeti u Huffmanovom kodiranju
Koraci korišteni za konstrukciju Huffmanova stabla pomoću navedenih znakova
Input: string str = 'abbcdbccdaabbeeebeab'
Ako se u ovom slučaju za kompresiju podataka koristi Huffmanovo kodiranje, za dekodiranje se moraju odrediti sljedeće informacije:
- Za svaki znak, Huffmanov kod
- Duljina Huffmanovo kodirane poruke (u bitovima), prosječna duljina koda
- Koristeći dolje navedene formule, otkrivaju se posljednje dvije od njih.
Kako se Huffmanovo stablo može konstruirati od ulaznih znakova?
Najprije se mora odrediti učestalost svakog znaka u danom nizu.
| Lik | Frekvencija |
|---|---|
| a | 4 |
| b | 7 |
| c | 3 |
| d | 2 |
| to je | 4 |
- Poredajte znakove prema učestalosti, uzlazno. Oni se čuvaju u Q/min-heap prioritetnom redu čekanja.
- Za svaki poseban znak i njegovu učestalost u toku podataka, stvorite lisni čvor.
- Uklonite dva čvora s dvije najniže frekvencije iz čvorova, a novi korijen stabla kreira se pomoću zbroja tih frekvencija.
- Učinite prvi izdvojeni čvor svojim lijevim podređenim elementom, a drugi izdvojeni čvor njegovim desnim podređenim čvorom dok izdvajate čvorove s najnižom frekvencijom iz min-heap-a.
- U min-heap dodajte ovaj čvor.
- Budući da lijeva strana korijena uvijek treba sadržavati minimalnu frekvenciju.
- Ponavljajte korake 3 i 4 dok na gomili ne ostane samo jedan čvor ili dok svi znakovi ne budu predstavljeni čvorovima u stablu. Stablo je gotovo kada ostane samo korijenski čvor.
Primjeri Huffmanovog kodiranja
Iskoristimo ilustraciju da objasnimo algoritam:
Algoritam za Huffmanovo kodiranje
Korak 1: Izgradite min-heap u kojem svaki čvor predstavlja korijen stabla s jednim čvorom i sadrži 5 (broj jedinstvenih znakova iz pruženog toka podataka).
Korak 2: Nabavite dva minimalna frekvencijska čvora iz minimalne gomile u drugom koraku. Dodajte treći unutarnji čvor, frekvencija 2 + 3 = 5, koji nastaje spajanjem dva izvađena čvora.
- Sada postoje 4 čvora u min-heapu, od kojih su 3 korijeni stabala s po jednim elementom, a 1 je korijen stabla s dva elementa.
Korak 3: Uzmite dva minimalna frekvencijska čvora iz gomile na sličan način u trećem koraku. Dodatno, dodajte novi unutarnji čvor formiran spajanjem dva izvađena čvora; njegova frekvencija u stablu bi trebala biti 4 + 4 = 8.
- Sada kada minimalna gomila ima tri čvora, jedan čvor služi kao korijen stabala s jednim elementom, a dva čvora gomile služe kao korijen stabala s više čvorova.
Korak 4: Dobijte dva minimalna frekvencijska čvora u četvrtom koraku. Dodatno, dodajte novi unutarnji čvor formiran spajanjem dva izvađena čvora; njegova frekvencija u stablu bi trebala biti 5 + 7 = 12.
- Kada stvaramo Huffmanovo stablo, moramo osigurati da je minimalna vrijednost uvijek na lijevoj strani i da je druga vrijednost uvijek na desnoj strani. Trenutačno, slika ispod prikazuje stablo koje je formirano:
Korak 5: Nabavite sljedeća dva minimalna frekvencijska čvora u koraku 5. Dodatno, dodajte novi unutarnji čvor formiran spajanjem dva izvađena čvora; njegova frekvencija u stablu bi trebala biti 12 + 8 = 20.
Nastavite dok se svi različiti znakovi ne dodaju u stablo. Huffmanovo stablo stvoreno za navedenu postavu likova prikazano je na gornjoj slici.
Sada, za svaki čvor koji nije list, dodijelite 0 lijevom rubu i 1 desnom rubu kako biste stvorili kod za svako slovo.
Pravila kojih se treba pridržavati za određivanje težine rubova:
- Desnim rubovima trebamo dati težinu 1 ako lijevim rubovima date težinu 0.
- Ako je lijevim rubovima dana težina 1, desnim rubovima mora biti dana težina 0.
- Može se koristiti bilo koja od dvije gore navedene konvencije.
- Međutim, slijedite isti protokol i prilikom dekodiranja stabla.
Nakon ponderiranja, modificirano stablo se prikazuje na sljedeći način:
Razumijevanje Kodeksa
- Moramo proći kroz Huffmanovo stablo dok ne dođemo do čvora lista, gdje je element prisutan, kako bismo dekodirali Huffmanov kod za svaki znak iz rezultirajućeg Huffmanovog stabla.
- Težine po čvorovima moraju se zabilježiti tijekom obilaska i dodijeliti stavkama koje se nalaze na određenom lisnom čvoru.
- Sljedeći primjer će vam pomoći da dodatno ilustriramo što mislimo:
- Da bismo dobili kod za svaki znak na gornjoj slici, moramo hodati po cijelom stablu (dok se ne pokriju svi čvorovi lista).
- Kao rezultat toga, stablo koje je stvoreno koristi se za dekodiranje kodova za svaki čvor. Ispod je popis kodova za svaki znak:
| Lik | Učestalost/broj | Kodirati |
|---|---|---|
| a | 4 | 01 |
| b | 7 | jedanaest |
| c | 3 | 101 |
| d | 2 | 100 |
| to je | 4 | 00 |
Ispod je implementacija u C programiranju:
// C program for Huffman Coding #include #include // This constant can be avoided by explicitly // calculating height of Huffman Tree #define MAX_TREE_HT 100 // A Huffman tree node struct MinHeapNode { // One of the input characters char data; // Frequency of the character unsigned freq; // Left and right child of this node struct MinHeapNode *left, *right; }; // A Min Heap: Collection of // min-heap (or Huffman tree) nodes struct MinHeap { // Current size of min heap unsigned size; // capacity of min heap unsigned capacity; // Array of minheap node pointers struct MinHeapNode** array; }; // A utility function allocate a new // min heap node with given character // and frequency of the character struct MinHeapNode* newNode(char data, unsigned freq) { struct MinHeapNode* temp = (struct MinHeapNode*)malloc( sizeof(struct MinHeapNode)); temp->left = temp->right = NULL; temp->data = data; temp->freq = freq; return temp; } // A utility function to create // a min heap of given capacity struct MinHeap* createMinHeap(unsigned capacity) { struct MinHeap* minHeap = (struct MinHeap*)malloc(sizeof(struct MinHeap)); // current size is 0 minHeap->size = 0; minHeap->capacity = capacity; minHeap->array = (struct MinHeapNode**)malloc( minHeap->capacity * sizeof(struct MinHeapNode*)); return minHeap; } // A utility function to // swap two min heap nodes void swapMinHeapNode(struct MinHeapNode** a, struct MinHeapNode** b) { struct MinHeapNode* t = *a; *a = *b; *b = t; } // The standard minHeapify function. void minHeapify(struct MinHeap* minHeap, int idx) { int smallest = idx; int left = 2 * idx + 1; int right = 2 * idx + 2; if (left size && minHeap->array[left]->freq array[smallest]->freq) smallest = left; if (right size && minHeap->array[right]->freq array[smallest]->freq) smallest = right; if (smallest != idx) { swapMinHeapNode(&minHeap->array[smallest], &minHeap->array[idx]); minHeapify(minHeap, smallest); } } // A utility function to check // if size of heap is 1 or not int isSizeOne(struct MinHeap* minHeap) { return (minHeap->size == 1); } // A standard function to extract // minimum value node from heap struct MinHeapNode* extractMin(struct MinHeap* minHeap) { struct MinHeapNode* temp = minHeap->array[0]; minHeap->array[0] = minHeap->array[minHeap->size - 1]; --minHeap->size; minHeapify(minHeap, 0); return temp; } // A utility function to insert // a new node to Min Heap void insertMinHeap(struct MinHeap* minHeap, struct MinHeapNode* minHeapNode) { ++minHeap->size; int i = minHeap->size - 1; while (i && minHeapNode->freq array[(i - 1) / 2]->freq) { minHeap->array[i] = minHeap->array[(i - 1) / 2]; i = (i - 1) / 2; } minHeap->array[i] = minHeapNode; } // A standard function to build min heap void buildMinHeap(struct MinHeap* minHeap) { int n = minHeap->size - 1; int i; for (i = (n - 1) / 2; i >= 0; --i) minHeapify(minHeap, i); } // A utility function to print an array of size n void printArr(int arr[], int n) { int i; for (i = 0; i left) && !(root->right); } // Creates a min heap of capacity // equal to size and inserts all character of // data[] in min heap. Initially size of // min heap is equal to capacity struct MinHeap* createAndBuildMinHeap(char data[], int freq[], int size) { struct MinHeap* minHeap = createMinHeap(size); for (int i = 0; i array[i] = newNode(data[i], freq[i]); minHeap->size = size; buildMinHeap(minHeap); return minHeap; } // The main function that builds Huffman tree struct MinHeapNode* buildHuffmanTree(char data[], int freq[], int size) { struct MinHeapNode *left, *right, *top; // Step 1: Create a min heap of capacity // equal to size. Initially, there are // modes equal to size. struct MinHeap* minHeap = createAndBuildMinHeap(data, freq, size); // Iterate while size of heap doesn't become 1 while (!isSizeOne(minHeap)) { // Step 2: Extract the two minimum // freq items from min heap left = extractMin(minHeap); right = extractMin(minHeap); // Step 3: Create a new internal // node with frequency equal to the // sum of the two nodes frequencies. // Make the two extracted node as // left and right children of this new node. // Add this node to the min heap // '$' is a special value for internal nodes, not // used top = newNode('$', left->freq + right->freq); top->left = left; top->right = right; insertMinHeap(minHeap, top); } // Step 4: The remaining node is the // root node and the tree is complete. return extractMin(minHeap); } // Prints huffman codes from the root of Huffman Tree. // It uses arr[] to store codes void printCodes(struct MinHeapNode* root, int arr[], int top) { // Assign 0 to left edge and recur if (root->left) { arr[top] = 0; printCodes(root->left, arr, top + 1); } // Assign 1 to right edge and recur if (root->right) { arr[top] = 1; printCodes(root->right, arr, top + 1); } // If this is a leaf node, then // it contains one of the input // characters, print the character // and its code from arr[] if (isLeaf(root)) { printf('%c: ', root->data); printArr(arr, top); } } // The main function that builds a // Huffman Tree and print codes by traversing // the built Huffman Tree void HuffmanCodes(char data[], int freq[], int size) { // Construct Huffman Tree struct MinHeapNode* root = buildHuffmanTree(data, freq, size); // Print Huffman codes using // the Huffman tree built above int arr[MAX_TREE_HT], top = 0; printCodes(root, arr, top); } // Driver code int main() { char arr[] = { 'a', 'b', 'c', 'd', 'e', 'f' }; int freq[] = { 5, 9, 12, 13, 16, 45 }; int size = sizeof(arr) / sizeof(arr[0]); HuffmanCodes(arr, freq, size); return 0; } Izlaz
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 …………… Process executed in 1.11 seconds Press any key to continue.
Java implementacija gornjeg koda:
import java.util.Comparator; import java.util.PriorityQueue; import java.util.Scanner; class Huffman { // recursive function to print the // huffman-code through the tree traversal. // Here s is the huffman - code generated. public static void printCode(HuffmanNode root, String s) { // base case; if the left and right are null // then its a leaf node and we print // the code s generated by traversing the tree. if (root.left == null && root.right == null && Character.isLetter(root.c)) { // c is the character in the node System.out.println(root.c + ':' + s); return; } // if we go to left then add '0' to the code. // if we go to the right add'1' to the code. // recursive calls for left and // right sub-tree of the generated tree. printCode(root.left, s + '0'); printCode(root.right, s + '1'); } // main function public static void main(String[] args) { Scanner s = new Scanner(System.in); // number of characters. int n = 6; char[] charArray = { 'a', 'b', 'c', 'd', 'e', 'f' }; int[] charfreq = { 5, 9, 12, 13, 16, 45 }; // creating a priority queue q. // makes a min-priority queue(min-heap). PriorityQueue q = new PriorityQueue( n, new MyComparator()); for (int i = 0; i <n; i++) { creating a huffman node object and add it to the priority queue. huffmannode hn="new" huffmannode(); hn.c="charArray[i];" hn.data="charfreq[i];" hn.left="null;" hn.right="null;" functions adds q.add(hn); } create root here we will extract two minimum value from heap each time until its size reduces 1, all nodes are extracted. while (q.size()> 1) { // first min extract. HuffmanNode x = q.peek(); q.poll(); // second min extract. HuffmanNode y = q.peek(); q.poll(); // new node f which is equal HuffmanNode f = new HuffmanNode(); // to the sum of the frequency of the two nodes // assigning values to the f node. f.data = x.data + y.data; f.c = '-'; // first extracted node as left child. f.left = x; // second extracted node as the right child. f.right = y; // marking the f node as the root node. root = f; // add this node to the priority-queue. q.add(f); } // print the codes by traversing the tree printCode(root, ''); } } // node class is the basic structure // of each node present in the Huffman - tree. class HuffmanNode { int data; char c; HuffmanNode left; HuffmanNode right; } // comparator class helps to compare the node // on the basis of one of its attribute. // Here we will be compared // on the basis of data values of the nodes. class MyComparator implements Comparator { public int compare(HuffmanNode x, HuffmanNode y) { return x.data - y.data; } } </n;> Izlaz
f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 ………………. Process executed in 1.11 seconds Press any key to continue.
Obrazloženje:
Putovanjem se stvara i dekodira Huffmanovo stablo. Vrijednosti prikupljene tijekom obilaženja zatim se primjenjuju na znak koji se nalazi u čvoru lista. Svaki jedinstveni znak u isporučenom toku podataka može se identificirati pomoću Huffmanovog koda na ovaj način. O (nlogn), gdje je n ukupan broj znakova, je vremenska složenost. ExtractMin() se poziva 2*(n - 1) puta ako postoji n čvorova. Budući da extractMin() poziva minHeapify(), njegovo vrijeme izvršenja je O (logn). Ukupna složenost je stoga O (nlogn). Postoji linearni vremenski algoritam ako je ulazni niz sortiran. O tome ćemo detaljnije govoriti u našem nadolazećem članku.
Problemi s Huffmanovim kodiranjem
Razgovarajmo o nedostacima Huffmanovog kodiranja u ovom dijelu i zašto to nije uvijek najbolja opcija:
- Ako nisu sve vjerojatnosti ili učestalosti likova negativne potencije od 2, ne smatra se idealnim.
- Iako se idealu može doći bliže grupiranjem simbola i proširenjem abecede, metoda blokiranja zahtijeva rukovanje većom abecedom. Stoga Huffmanovo kodiranje ne mora uvijek biti vrlo učinkovito.
- Iako postoji mnogo učinkovitih načina za brojanje učestalosti svakog simbola ili znaka, rekonstrukcija cijelog stabla za svaki od njih može biti dugotrajna. Kada je abeceda velika i distribucije vjerojatnosti se brzo mijenjaju sa svakim simbolom, to je obično slučaj.
Algoritam za konstrukciju pohlepnog Huffmanovog koda
- Huffman je razvio pohlepnu tehniku koja generira Huffmanov kod, idealan prefiks kod, za svaki poseban znak u ulaznom toku podataka.
- Pristup koristi najmanje čvorova svaki put za stvaranje Huffmanova stabla odozdo prema gore.
- Budući da svaki znak dobiva duljinu koda na temelju toga koliko se često pojavljuje u danom toku podataka, ova je metoda poznata kao pohlepni pristup. To je element koji se često pojavljuje u podacima ako je veličina dohvaćenog koda manja.
Korištenje Huffmanovog kodiranja
- Ovdje ćemo govoriti o nekim praktičnim upotrebama Huffmanova kodiranja:
- Konvencionalni formati kompresije poput PKZIP, GZIP itd. obično koriste Huffmanovo kodiranje.
- Huffmanovo kodiranje koristi se za prijenos podataka faksom i tekstom jer smanjuje veličinu datoteke i povećava brzinu prijenosa.
- Huffmanovo kodiranje (osobito prefiks kodovi) koristi nekoliko multimedijskih formata za pohranu, uključujući JPEG, PNG i MP3, za komprimiranje datoteka.
- Huffmanovo kodiranje se uglavnom koristi za kompresiju slike.
- Kada je potrebno poslati niz znakova koji se često ponavljaju, to može biti od veće pomoći.
Zaključak
- Općenito, Huffmanovo kodiranje je korisno za komprimiranje podataka koji sadrže znakove koji se često pojavljuju.
- Vidimo da znak koji se najčešće pojavljuje ima najkraći kod, dok onaj koji se rjeđe pojavljuje ima najveći kod.
- Tehnika kompresije Huffmanovog koda koristi se za stvaranje kodiranja promjenjive duljine, koje koristi različitu količinu bitova za svako slovo ili simbol. Ova metoda je bolja od kodiranja fiksne duljine jer koristi manje memorije i brže prenosi podatke.
- Pročitajte ovaj članak da biste bolje upoznali pohlepni algoritam.