Vodič za SSIS pruža osnovne i napredne koncepte SQL Server Integration Services. Naš SSIS vodič je dizajniran za početnike i profesionalce.
Usluga integracije SQL poslužitelja je brz i fleksibilan alat za skladištenje podataka koji se koristi za ekstrakciju podataka, transformaciju i učitavanje podataka. Olakšava učitavanje podataka iz jedne baze podataka u drugu bazu podataka kao što je SQL Server, Oracle, Excel datoteka itd.
U ovom vodiču raspravljat ćemo o sljedećim temama:
- Što je SSIS
- Što je integracija podataka
- Zašto SSIS
- Kako radi SSIS
- Zahtjevi za uslugu integracije SQL Servera
- Što je SSIS paket
- SSIS zadaci
- Primjer zadatka protoka podataka
- Primjer izvršenja SQL zadatka
Što je SSIS?
- SSIS je kratica za SQL Server Integration Services.
- To je komponenta dostupna u softveru baze podataka Microsoft SQL Server koji se koristi za izvođenje širokog raspona integracijskih zadataka.
- To je alat za skladištenje podataka koji se koristi za ekstrakciju podataka, učitavanje podataka u drugu bazu podataka, transformacije kao što su čišćenje, agregiranje, spajanje podataka itd.
- Alat SSIS također sadrži grafičke alate i funkcije tijeka rada čarobnjaka prozora kao što su slanje poruka e-pošte, ftp operacije, izvori podataka.
- SSIS se koristi za izvođenje širokog spektra zadataka transformacije i integracije. U cjelini, SSIS alat se koristi u migraciji podataka.
SSIS je alat koji se uglavnom koristi za izvođenje dvije funkcije:
SSIS provodi integraciju podataka kombinirajući podatke iz više izvora i pruža objedinjene podatke korisnicima.
Tijek rada može se koristiti za izvođenje nekoliko stvari. Ponekad trebamo izvršiti neke specifične korake ili određeni put koji se temelji ili na vremenskom razdoblju ili parametru proslijeđenom paketu ili podacima traženim iz baze podataka. Može se koristiti za automatizaciju održavanja baza podataka SQL Servera i omogućuje ažuriranje višedimenzionalnih analitičkih podataka.
Što je integracija podataka?
Integracija podataka je proces koji slijedite kako biste integrirali podatke iz više izvora. Podaci mogu biti ili heterogeni podaci ili homogeni podaci. Podaci mogu biti strukturirani, polustrukturirani ili nestrukturirani. U integraciji podataka, podaci iz različitih različitih izvora podataka integriraju se kako bi formirali neke smislene podatke.
Za postizanje integracije podataka koriste se neke metode:
Prednosti integracije podataka:
Smanjuje složenost podataka što znači da se podaci mogu isporučiti bilo kojem sustavu. Integracija podataka održava složenost, pojednostavljene veze i olakšava isporuku podataka bilo kojem sustavu.
Cjelovitost podataka igra glavnu ulogu u integraciji podataka. Bavi se čišćenjem i provjerom podataka. Svatko želi visokokvalitetne i robusne podatke, pa se za postizanje ovog koncepta integracije podataka koristi ovaj koncept. Integracija podataka pomaže u uklanjanju pogrešaka, nedosljednosti i dupliciranja.
Pristupačnost je dio suradnje podataka. Pristupačnost znači da se podaci mogu jednostavno transformirati, a ljudi mogu jednostavno integrirati podatke u projekte, dijeliti svoje rezultate i održavati podatke ažurnima.
Također vam omogućuje donošenje pametnijih odluka. Integrirani podaci odnose se na proces prijenosa unutar tvrtke kako bismo lakše razumjeli informacije. Integrirani podaci puno su lakši i informativniji.
Zašto SSIS?
SSIS se koristi iz sljedećih razloga:
SSIS se koristi za kombiniranje podataka iz više izvora podataka za generiranje jedne strukture u jedinstvenom prikazu. U osnovi, odgovoran je za prikupljanje podataka, izdvajanje podataka iz više izvora podataka i spajanje u jedan izvor podataka.
SSSIS je platforma koja ima mogućnost učitavanja velike količine podataka iz excela u bazu podataka SQL Servera.
Alat SSSIS omogućuje tijesnu integraciju s drugim proizvodima tvrtke Microsoft.
SSSIS alat je jeftiniji od većine drugih alata. Može se oduprijeti drugim osnovnim proizvodima, njihovoj upravljivosti, poslovnoj inteligenciji itd.
SSSIS vam omogućuje rukovanje složenom pogreškom unutar protoka podataka. Tijek podataka možete pokrenuti i zaustaviti ovisno o ozbiljnosti pogreške. Možete čak poslati e-mail administratoru kada se dogodi neka greška. Kada se pogreška riješi, tada možete odabrati put između tijeka rada.
Kako radi SSIS?
Znamo da je SSIS platforma za dvije funkcije, tj. integraciju podataka i tijek rada. I zadaci Transformacije podataka i stvaranje tijeka rada obavljaju se korištenjem SSIS paketa. SSIS paket sastoji se od tri komponente:
Operativni podaci
Operativni podaci su baza podataka koja se koristi za integraciju podataka iz više izvora podataka za izvođenje dodatnih operacija na podacima. To je mjesto gdje su podaci smješteni za trenutni rad prije slanja u skladište podataka za pohranu, izvješćivanje ili arhiviranje.
java iteracija karte
ETL
- ETL je najvažniji proces u SSIS alatu. ETL se koristi za ekstrakciju, transformaciju i učitavanje podataka u skladište podataka.
- ETL je proces odgovoran za izvlačenje podataka iz više izvora podataka, pretvaranje podataka u korisne podatke i zatim pohranjivanje podataka u skladište podataka. Podaci mogu biti u bilo kojem formatu xml datoteke, ravne datoteke ili bilo koje datoteke baze podataka.
- Također osigurava da su podaci pohranjeni u skladištu podataka relevantni, točni, visoke kvalitete i korisni poslovnim korisnicima.
- Može mu se lako pristupiti tako da se skladište podataka može učinkovito i učinkovito koristiti.
- Također pomaže organizaciji da donosi odluke temeljene na podacima dohvaćanjem strukturiranih i nestrukturiranih podataka iz više izvora podataka.
ETL je koncept od tri riječi, ali je podijeljen u četiri faze:
Uhvatiti: Faza hvatanja poznata je i kao faza ekstrakcije. U ovoj fazi odabire izvorne podatke ili metapodatke, a podaci mogu biti u bilo kojem formatu kao što je xml datoteka, ravna datoteka ili bilo koja datoteka baze podataka.
Pročišćavati: U ovoj fazi se provjeravaju izvorni podaci. Provjerava podatke, sastoje li se od pogrešaka ili ne. Provjerava pogreške ili nedosljednost podataka pomoću nekih tehnika umjetne inteligencije. Ukratko, provjerava je li kvaliteta proizvoda zadovoljena ili ne.
Transformirati: To je treća faza u ETL-u. Transformacija je proces u kojem se izvorni format pretvara u traženi format koji želite. Transformacija je modeliranje ili mijenjanje podataka prema zahtjevima korisnika. Promjene mogu biti promjena u broju stupaca ili redaka.
Učitaj i indeks: Četvrta faza je Load and index. Učitava podatke i potvrđuje broj obrađenih redaka. Nakon što je učitavanje podataka završeno, koristi se indeksiranje. Indeksiranje vam pomaže da pratite broj redaka koji su učitani u skladište podataka. Indeksiranje također pomaže identificirati podatke, bez obzira jesu li u ispravnom formatu ili ne.
Skladište podataka
Skladište podataka jedno je, potpuno i dosljedno skladište podataka koje je formulirano kombiniranjem podataka iz više izvora podataka.
Razlika između baze podataka i skladišta podataka
Odgovor može biti i da i ne. I baza podataka i skladište podataka imaju veliku jedinicu podataka i sličnu fizičku reprezentaciju, ali je vrijeme odgovora na složene upite u Skladištu podataka brže od baze podataka.
Zahtjevi za SQL Server Integration Services
Sljedeći su zahtjevi za instalaciju SQL Server Integration Services:
- Instalirajte SQL Server
- Instalirajte SQL Server Data Tools
Slijedite korake u nastavku da biste instalirali alate SQL Server Data:
Korak 1: Kliknite na poveznicu https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 za preuzimanje podatkovnih alata SQL Servera.
Korak 2: Kada kliknete gornju poveznicu, pojavit će se ekran prikazan u nastavku:
Na gornjem zaslonu odaberite verziju SSDT-a koju želite instalirati.
Korak 3: Nakon što je preuzimanje završeno, pokrenite preuzetu datoteku. Kada pokrenete preuzetu datoteku, pojavit će se zaslon prikazan u nastavku:
Korak 4: Kliknite na gumb Dalje.
Korak 5: Odaberite instancu Visual Studio i alate koje želite instalirati u Visual Studio 2017.
Korak 6: Klikni na Instalirati dugme.
Što je SSIS paket?
Paket je temeljni blok u kojem kodirate u SSIS-u. Kod ovdje ne znači da kodirate u nekom programskom jeziku; to znači razvoj koji radite. Razvoj se radi u SSIS paketu. SSIS se uglavnom koristi za ETL proces, a ETL proces se izvodi unutar SSIS paketa.
SSIS paket se sastoji od tri dijela:
SSIS paket će imati neke veze, a te se veze koriste za povezivanje s različitim izvorima podataka.
SSIS paket se sastoji od dva elementa, tj. elemenata kontrolnog toka i elemenata toka podataka. Elementi tijeka upravljanja upravljaju tijekovima rada. Tijek rada znači da neke zadatke izvršavamo u koracima, tako da se slijed odvija kroz kontrolni tijek.
Elementi protoka podataka izvode transformacije.
SSIS zadaci
U SSIS paketu možemo dodati zadatke. Zadatak je jedinica rada i imat ćemo različite vrste zadataka za obavljanje različitih vrsta posla. Postoje različite vrste zadataka, ali mi ćemo raspravljati o najčešćim zadacima koji se koriste u SSIS-u:
Koristi se za izvršavanje SQL naredbi u odnosu na relacijsku bazu podataka.
Uglavnom se koristi za čitanje podataka iz jednog ili više izvora podataka, transformaciju podataka i također može učitati podatke na jedno ili više odredišta.
Koristi se za obradu objekata SSAS kocke ili tabličnog modela.
Ovaj se zadatak koristi za pozivanje drugih paketa unutar istog projekta. Možete čak proslijediti vrijednosti varijabli pozvanom paketu.
Omogućuje vam pokretanje aplikacije ili skupnih skripti kao SQL Server Integration Services. Može se koristiti za otvaranje standardnih aplikacija kao što su Microsoft Excel, Microsoft Word itd. Također se koristi za raspakiranje komprimirane datoteke.
Može se koristiti za izvođenje manipulacija u datotečnom sustavu kao što su premještanje datoteka, brisanje datoteka, preimenovanje datoteka, promjena direktorija itd.
IFTP zadaci koriste se za izvođenje operacija na datotekama i mapama. Na primjer, ako želite poslati ili primiti datoteku s FTP poslužitelja u lokalni direktorij, tada se koristi SSIS FTP zadatak.
Ovaj zadatak vam omogućuje pisanje .Net koda koji želite izvesti.
Ovaj se zadatak koristi za slanje e-pošte. Uglavnom se koristi kada želite obavijestiti korisnike o stanju zadatka je li u stanju pokretanja ili je došlo do neke greške.
Pogledajmo neki radni primjer usluge integracije podataka.
Primjer zadatka protoka podataka
Korak 1: Prvo, kreiramo excel datoteku u programu Microsoft Excel. Pretpostavimo da kreiram bazu podataka učenika u programu Microsoft Excel, a polja u tablici učenika su student_id, student_name, ocjene i spol.
Korak 2: Otvorite Visual Studio (SQL Server Data Tools).
java lambda primjer
Korak 3: Kliknite na opciju Datoteka, a zatim prijeđite na Novo->Projekt.
Korak 4: Kada kliknete na Projekt, pojavit će se ekran koji je prikazan u nastavku:
Na gornjem zaslonu kliknite na Integration Services koji se pojavljuje na krajnjoj lijevoj strani ploče, a zatim kliknite na Integration Services Project.
Korak 5: Nakon klika na Projekt integracijskih usluga opciju, ekran se pojavljuje kao ispod:
Gornji zaslon sastoji se od pet kartica kao što su Control flow, Data flow, Parameters, Event Handler i Package Explorer. Već smo razgovarali o tijeku kontrole i tijeku podataka, i tok kontrole i tok podataka postoje unutar SSIS paketa.
korak 6: Za uvoz podataka potrebno je prvo kreirati bazu podataka u kojoj kreiramo tablicu u SQL Server bazi podataka. Kako znamo da su podaci o studentima dostupni unutar Excel datoteke, te želimo uvesti podatke u bazu podataka SQL Servera. Da bismo to postigli, prvo moramo kreirati tablicu u SQL Serveru. Otvorite SQL Server Management studio.
Korak 7: Stvorite student baza podataka. Desnom tipkom miša kliknite bazu podataka, a zatim kliknite na Nova baza podataka opcija.
Korak 8: Unesite naziv baze podataka na slici ispod:
Dao sam StudentWarehouse kao ime baze podataka.
Korak 9: Klikni na u redu dugme.
Korak 10: Sada stvaramo tablicu u a StudentWarehouse baza podataka. Kliknite desnom tipkom miša na tablice, a zatim kliknite na novu tablicu.
Korak 11: Sada dodajemo polja u tablicu kao što su student_id, student_name, ocjene i spol. Student_id postavljamo kao primarni ključ koji jedinstveno identificira svaki red.
Gornji zaslon pokazuje da dodajemo četiri polja u tablicu. Nakon dodavanja svih polja u tablicu, spremamo tablicu dajući neko korisno ime. Pretpostavimo da sam naveo učenika kao naziv tablice.
Korak 12: Vratite se u vizualni studio. Kontrolni tok sadrži zadatak protoka podataka, povucite i ispustite zadatak protoka podataka na glavni prozor.
Korak 13: Kada dvaput kliknemo na Data Flow Task, kontrola se automatski pomiče u Data Flow iz Control Flow-a, tako da možemo reći da je Control Flow spremnik Data Flow-a.
Korak 14: Sada možemo izvršiti transformacije u protoku podataka. Želimo izdvojiti podatke iz Excel datoteke koju smo ranije stvorili, pa povucite i ispustite Excel izvor iz drugih izvora koji se pojavljuju na krajnjoj lijevoj strani ploče.
Na gornjem ekranu vidimo da se crveni križ pojavljuje unutar Excel izvora, što znači da je komponenta konfigurirana s Excel izvorom.
Korak 15: Da biste konfigurirali komponentu, desnom tipkom miša kliknite izvorni izvor programa Excel i kliknite na opciju Uredi kao što je prikazano na slici ispod:
Korak 16: Ispunite detalje prikazane na snimci zaslona u nastavku:
Korak 17: Nakon unosa svih pojedinosti, pojavit će se zaslon kao što je prikazano u nastavku:
Korak 18: Kliknite na Excel izvor.
Gornji zaslon prikazuje dvije strelice, crvenu i plavu strelicu. Plava strelica definira stvarne podatke koje primamo iz Excel datoteke, a crvena strelica označava pogreške koje imamo. Sada moramo izvršiti transformacije, a prije izvođenja transformacija moramo učitati bazu podataka.
Korak 19: Za učitavanje baze podataka kliknite na Ostala odredišta, a zatim kliknite na Odredište.
Korak 20: Nakon dodavanja odredišta, povežite izvor s odredištem.
Korak 21: U gornjem koraku primijetili smo crveni križ u ADO NET Destination, što znači da nije konfiguriran s komponentom. Desnom tipkom miša kliknite na ADO NET odredište, a zatim kliknite na opciju Uredi kao što je prikazano na slici ispod:
Korak 22: Morate navesti upravitelja konfiguracije.
Korak 23: Klikni na Novi gumb za dodavanje upravitelja veze. Kada kliknete na Novi gumb, pojavljuje se zaslon prikazan u nastavku:
Korak 24: Dodajte naziv poslužitelja i odaberite naziv baze podataka s SQL poslužitelja.
Korak 25: Kliknite na gumb OK.
Korak 26: Dodajte naziv tablice u koju želite učitati podatke.
Korak 27: Na donjem zaslonu preslikajte polje izvora unosa u polje odredišnog izvora.
zamijeni iz niza u Javi
Korak 28: Nakon dodavanja mapiranja, izvor je povezan s Odredištem, kao što je prikazano na slici ispod:
Korak 29: Klikni na Početak gumb za pokretanje Projekta integracijskih usluga. Kada pokrenete projekt, podaci se učitavaju na odredište, tj. SQL poslužitelj .
Primjer izvršenja SQL zadatka
- Slijedite korake od koraka 2 do koraka 5 prethodnog primjera.
- Povucite i ispustite Izvrši SQL zadatak koji se pojavljuje na krajnjoj lijevoj ploči u glavnom prozoru.
Na gornjem ekranu vidimo da se crveni križ pojavljuje u Izvrši SQL zadatak, što znači da Upravitelj povezivanja nije konfiguriran s Izvrši SQL zadatak . Da bismo ga konfigurirali, moramo dodati Connection Manager.
- Da biste dodali Connection Manager, desnom tipkom miša kliknite Connection Manager, a zatim kliknite New Connection Manager kao što je prikazano na slici ispod:
- Odaberite OLEDB kao vrstu Connection Manager i zatim kliknite na Dodati gumb kao što je prikazano na slici ispod:
- Nakon klika na Dodati gumb, pojavljuje se zaslon prikazan na slici ispod:
Na gornjem zaslonu vidimo da je podatkovna veza od StudentWarehouse baza podataka je već dostupna kao što smo stvorili u prethodnom koraku. Klikni na u redu dugme.
- Kada kliknete na gumb U redu, pojavit će se ekran kao što je prikazano u nastavku:
U gornjem ekranu morate unijeti detalje kao što su naziv vašeg zadatka, opis, SQL naredba (SQL zadatak koji trebate izvršiti na tablici).
- Unio sam sljedeće podatke na gornjoj snimci zaslona:
U gornjem slučaju, dao sam naredbu za umetanje u SQLStatement.
- Klikni na u redu dugme.
- Kada konfigurirate komponentu s Izvrši SQL zadatak, crveni križić nestaje kao što je prikazano na slici ispod:
- Pokrenite projekt klikom na Početak .
- Kada kliknete na Početak , pojavit će se zaslon kao u nastavku:
Na gornjem zaslonu kvačica pokazuje da je vaš SQL zadatak uspješno dovršen. Naredba insert koju smo dodali u prethodnim koracima je izvršena, a podaci su dodani u tablicu. tj. student1.
- Ishod ovog zadatka prikazan je u nastavku
Preduvjet
Prije učenja SSIS-a, morate imati osnovno znanje o SQL Serveru.
Publika
Naš vodič za SSIS osmišljen je kao pomoć početnicima i profesionalcima.
Problem
Uvjeravamo vas da nećete pronaći nikakav problem u ovom vodiču za SSIS. Ali ako postoji bilo kakva greška ili pogreška, molimo da je objavite u obrascu za kontakt.