Vodič za SSIS pruža osnovne i napredne koncepte SQL Server Integration Services. Naš SSIS vodič je dizajniran za početnike i profesionalce.

Usluga integracije SQL poslužitelja je brz i fleksibilan alat za skladištenje podataka koji se koristi za ekstrakciju podataka, transformaciju i učitavanje podataka. Olakšava učitavanje podataka iz jedne baze podataka u drugu bazu podataka kao što je SQL Server, Oracle, Excel datoteka itd.

U ovom vodiču raspravljat ćemo o sljedećim temama:

• Što je SSIS
• Što je integracija podataka
• Zašto SSIS
• Kako radi SSIS
• Zahtjevi za uslugu integracije SQL Servera
• Što je SSIS paket
• SSIS zadaci
• Primjer zadatka protoka podataka
• Primjer izvršenja SQL zadatka

Što je SSIS?

• SSIS je kratica za SQL Server Integration Services.
• To je komponenta dostupna u softveru baze podataka Microsoft SQL Server koji se koristi za izvođenje širokog raspona integracijskih zadataka.
• To je alat za skladištenje podataka koji se koristi za ekstrakciju podataka, učitavanje podataka u drugu bazu podataka, transformacije kao što su čišćenje, agregiranje, spajanje podataka itd.
• Alat SSIS također sadrži grafičke alate i funkcije tijeka rada čarobnjaka prozora kao što su slanje poruka e-pošte, ftp operacije, izvori podataka.
• SSIS se koristi za izvođenje širokog spektra zadataka transformacije i integracije. U cjelini, SSIS alat se koristi u migraciji podataka.

SSIS je alat koji se uglavnom koristi za izvođenje dvije funkcije:

Integracija podataka
SSIS provodi integraciju podataka kombinirajući podatke iz više izvora i pruža objedinjene podatke korisnicima.Tijek rada
Tijek rada može se koristiti za izvođenje nekoliko stvari. Ponekad trebamo izvršiti neke specifične korake ili određeni put koji se temelji ili na vremenskom razdoblju ili parametru proslijeđenom paketu ili podacima traženim iz baze podataka. Može se koristiti za automatizaciju održavanja baza podataka SQL Servera i omogućuje ažuriranje višedimenzionalnih analitičkih podataka.

Što je integracija podataka?

Integracija podataka je proces koji slijedite kako biste integrirali podatke iz više izvora. Podaci mogu biti ili heterogeni podaci ili homogeni podaci. Podaci mogu biti strukturirani, polustrukturirani ili nestrukturirani. U integraciji podataka, podaci iz različitih različitih izvora podataka integriraju se kako bi formirali neke smislene podatke.

Za postizanje integracije podataka koriste se neke metode:

Modeliranje podataka:U modeliranju podataka prvo morate stvoriti model podataka i izvršiti operacije na njemu.Profiliranje podataka:Profiliranje podataka je proces koji se koristi za provjeru pogrešaka, nedosljednosti ili varijacija u dostupnim podacima. Profiliranje podataka osigurava kvalitetu podataka gdje se kvaliteta podataka odnosi na točnost, dosljednost i potpunost podataka.

Prednosti integracije podataka:

Smanjite složenost podataka
Smanjuje složenost podataka što znači da se podaci mogu isporučiti bilo kojem sustavu. Integracija podataka održava složenost, pojednostavljene veze i olakšava isporuku podataka bilo kojem sustavu.Integritet podataka
Cjelovitost podataka igra glavnu ulogu u integraciji podataka. Bavi se čišćenjem i provjerom podataka. Svatko želi visokokvalitetne i robusne podatke, pa se za postizanje ovog koncepta integracije podataka koristi ovaj koncept. Integracija podataka pomaže u uklanjanju pogrešaka, nedosljednosti i dupliciranja.Jednostavna suradnja podataka
Pristupačnost je dio suradnje podataka. Pristupačnost znači da se podaci mogu jednostavno transformirati, a ljudi mogu jednostavno integrirati podatke u projekte, dijeliti svoje rezultate i održavati podatke ažurnima.Pametnije poslovne odluke
Također vam omogućuje donošenje pametnijih odluka. Integrirani podaci odnose se na proces prijenosa unutar tvrtke kako bismo lakše razumjeli informacije. Integrirani podaci puno su lakši i informativniji.

Zašto SSIS?

SSIS se koristi iz sljedećih razloga:

Podaci se mogu učitavati paralelno na mnoga različita odredišta
SSIS se koristi za kombiniranje podataka iz više izvora podataka za generiranje jedne strukture u jedinstvenom prikazu. U osnovi, odgovoran je za prikupljanje podataka, izdvajanje podataka iz više izvora podataka i spajanje u jedan izvor podataka.Uklanja potrebu za hardcore programerima
SSSIS je platforma koja ima mogućnost učitavanja velike količine podataka iz excela u bazu podataka SQL Servera.Integracija s drugim proizvodima
Alat SSSIS omogućuje tijesnu integraciju s drugim proizvodima tvrtke Microsoft.Jeftiniji od ostalih ETL alata
SSSIS alat je jeftiniji od većine drugih alata. Može se oduprijeti drugim osnovnim proizvodima, njihovoj upravljivosti, poslovnoj inteligenciji itd.Složeno rukovanje pogreškama unutar protoka podataka
SSSIS vam omogućuje rukovanje složenom pogreškom unutar protoka podataka. Tijek podataka možete pokrenuti i zaustaviti ovisno o ozbiljnosti pogreške. Možete čak poslati e-mail administratoru kada se dogodi neka greška. Kada se pogreška riješi, tada možete odabrati put između tijeka rada.

Kako radi SSIS?

Znamo da je SSIS platforma za dvije funkcije, tj. integraciju podataka i tijek rada. I zadaci Transformacije podataka i stvaranje tijeka rada obavljaju se korištenjem SSIS paketa. SSIS paket sastoji se od tri komponente:

Operativni podaci

Operativni podaci su baza podataka koja se koristi za integraciju podataka iz više izvora podataka za izvođenje dodatnih operacija na podacima. To je mjesto gdje su podaci smješteni za trenutni rad prije slanja u skladište podataka za pohranu, izvješćivanje ili arhiviranje.

java iteracija karte

ETL

• ETL je najvažniji proces u SSIS alatu. ETL se koristi za ekstrakciju, transformaciju i učitavanje podataka u skladište podataka.
• ETL je proces odgovoran za izvlačenje podataka iz više izvora podataka, pretvaranje podataka u korisne podatke i zatim pohranjivanje podataka u skladište podataka. Podaci mogu biti u bilo kojem formatu xml datoteke, ravne datoteke ili bilo koje datoteke baze podataka.
• Također osigurava da su podaci pohranjeni u skladištu podataka relevantni, točni, visoke kvalitete i korisni poslovnim korisnicima.
• Može mu se lako pristupiti tako da se skladište podataka može učinkovito i učinkovito koristiti.
• Također pomaže organizaciji da donosi odluke temeljene na podacima dohvaćanjem strukturiranih i nestrukturiranih podataka iz više izvora podataka.

ETL je koncept od tri riječi, ali je podijeljen u četiri faze:

Uhvatiti: Faza hvatanja poznata je i kao faza ekstrakcije. U ovoj fazi odabire izvorne podatke ili metapodatke, a podaci mogu biti u bilo kojem formatu kao što je xml datoteka, ravna datoteka ili bilo koja datoteka baze podataka.

Pročišćavati: U ovoj fazi se provjeravaju izvorni podaci. Provjerava podatke, sastoje li se od pogrešaka ili ne. Provjerava pogreške ili nedosljednost podataka pomoću nekih tehnika umjetne inteligencije. Ukratko, provjerava je li kvaliteta proizvoda zadovoljena ili ne.

Transformirati: To je treća faza u ETL-u. Transformacija je proces u kojem se izvorni format pretvara u traženi format koji želite. Transformacija je modeliranje ili mijenjanje podataka prema zahtjevima korisnika. Promjene mogu biti promjena u broju stupaca ili redaka.

Učitaj i indeks: Četvrta faza je Load and index. Učitava podatke i potvrđuje broj obrađenih redaka. Nakon što je učitavanje podataka završeno, koristi se indeksiranje. Indeksiranje vam pomaže da pratite broj redaka koji su učitani u skladište podataka. Indeksiranje također pomaže identificirati podatke, bez obzira jesu li u ispravnom formatu ili ne.

Skladište podataka

Skladište podataka jedno je, potpuno i dosljedno skladište podataka koje je formulirano kombiniranjem podataka iz više izvora podataka.

Razlika između baze podataka i skladišta podataka

Odgovor može biti i da i ne. I baza podataka i skladište podataka imaju veliku jedinicu podataka i sličnu fizičku reprezentaciju, ali je vrijeme odgovora na složene upite u Skladištu podataka brže od baze podataka.

Zahtjevi za SQL Server Integration Services

Sljedeći su zahtjevi za instalaciju SQL Server Integration Services:

• Instalirajte SQL Server
• Instalirajte SQL Server Data Tools

Slijedite korake u nastavku da biste instalirali alate SQL Server Data:

Korak 1: Kliknite na poveznicu https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 za preuzimanje podatkovnih alata SQL Servera.

Korak 2: Kada kliknete gornju poveznicu, pojavit će se ekran prikazan u nastavku:

Na gornjem zaslonu odaberite verziju SSDT-a koju želite instalirati.

Korak 3: Nakon što je preuzimanje završeno, pokrenite preuzetu datoteku. Kada pokrenete preuzetu datoteku, pojavit će se zaslon prikazan u nastavku:

Korak 4: Kliknite na gumb Dalje.

Korak 5: Odaberite instancu Visual Studio i alate koje želite instalirati u Visual Studio 2017.

Korak 6: Klikni na Instalirati dugme.

Što je SSIS paket?

Paket je temeljni blok u kojem kodirate u SSIS-u. Kod ovdje ne znači da kodirate u nekom programskom jeziku; to znači razvoj koji radite. Razvoj se radi u SSIS paketu. SSIS se uglavnom koristi za ETL proces, a ETL proces se izvodi unutar SSIS paketa.

SSIS paket se sastoji od tri dijela:

Veze
SSIS paket će imati neke veze, a te se veze koriste za povezivanje s različitim izvorima podataka.Elementi upravljanja protokom
SSIS paket se sastoji od dva elementa, tj. elemenata kontrolnog toka i elemenata toka podataka. Elementi tijeka upravljanja upravljaju tijekovima rada. Tijek rada znači da neke zadatke izvršavamo u koracima, tako da se slijed odvija kroz kontrolni tijek.Elementi protoka podataka
Elementi protoka podataka izvode transformacije.

SSIS zadaci

U SSIS paketu možemo dodati zadatke. Zadatak je jedinica rada i imat ćemo različite vrste zadataka za obavljanje različitih vrsta posla. Postoje različite vrste zadataka, ali mi ćemo raspravljati o najčešćim zadacima koji se koriste u SSIS-u:

Izvrši SQL zadatak
Koristi se za izvršavanje SQL naredbi u odnosu na relacijsku bazu podataka.Zadatak protoka podataka
Uglavnom se koristi za čitanje podataka iz jednog ili više izvora podataka, transformaciju podataka i također može učitati podatke na jedno ili više odredišta.Zadatak obrade Analysis Services
Koristi se za obradu objekata SSAS kocke ili tabličnog modela.Izvršite zadatak paketa
Ovaj se zadatak koristi za pozivanje drugih paketa unutar istog projekta. Možete čak proslijediti vrijednosti varijabli pozvanom paketu.Izvrši procesni zadatak
Omogućuje vam pokretanje aplikacije ili skupnih skripti kao SQL Server Integration Services. Može se koristiti za otvaranje standardnih aplikacija kao što su Microsoft Excel, Microsoft Word itd. Također se koristi za raspakiranje komprimirane datoteke.Zadatak datotečnog sustava
Može se koristiti za izvođenje manipulacija u datotečnom sustavu kao što su premještanje datoteka, brisanje datoteka, preimenovanje datoteka, promjena direktorija itd.FTP zadaci
IFTP zadaci koriste se za izvođenje operacija na datotekama i mapama. Na primjer, ako želite poslati ili primiti datoteku s FTP poslužitelja u lokalni direktorij, tada se koristi SSIS FTP zadatak.Zadatak skripte
Ovaj zadatak vam omogućuje pisanje .Net koda koji želite izvesti.Zadatak slanja pošte
Ovaj se zadatak koristi za slanje e-pošte. Uglavnom se koristi kada želite obavijestiti korisnike o stanju zadatka je li u stanju pokretanja ili je došlo do neke greške.

Pogledajmo neki radni primjer usluge integracije podataka.

Primjer zadatka protoka podataka

Korak 1: Prvo, kreiramo excel datoteku u programu Microsoft Excel. Pretpostavimo da kreiram bazu podataka učenika u programu Microsoft Excel, a polja u tablici učenika su student_id, student_name, ocjene i spol.

Korak 2: Otvorite Visual Studio (SQL Server Data Tools).

java lambda primjer

Korak 3: Kliknite na opciju Datoteka, a zatim prijeđite na Novo->Projekt.

Korak 4: Kada kliknete na Projekt, pojavit će se ekran koji je prikazan u nastavku:

Na gornjem zaslonu kliknite na Integration Services koji se pojavljuje na krajnjoj lijevoj strani ploče, a zatim kliknite na Integration Services Project.

Korak 5: Nakon klika na Projekt integracijskih usluga opciju, ekran se pojavljuje kao ispod:

Gornji zaslon sastoji se od pet kartica kao što su Control flow, Data flow, Parameters, Event Handler i Package Explorer. Već smo razgovarali o tijeku kontrole i tijeku podataka, i tok kontrole i tok podataka postoje unutar SSIS paketa.

korak 6: Za uvoz podataka potrebno je prvo kreirati bazu podataka u kojoj kreiramo tablicu u SQL Server bazi podataka. Kako znamo da su podaci o studentima dostupni unutar Excel datoteke, te želimo uvesti podatke u bazu podataka SQL Servera. Da bismo to postigli, prvo moramo kreirati tablicu u SQL Serveru. Otvorite SQL Server Management studio.

Korak 7: Stvorite student baza podataka. Desnom tipkom miša kliknite bazu podataka, a zatim kliknite na Nova baza podataka opcija.

Korak 8: Unesite naziv baze podataka na slici ispod:

Dao sam StudentWarehouse kao ime baze podataka.

Korak 9: Klikni na u redu dugme.

Korak 10: Sada stvaramo tablicu u a StudentWarehouse baza podataka. Kliknite desnom tipkom miša na tablice, a zatim kliknite na novu tablicu.

Korak 11: Sada dodajemo polja u tablicu kao što su student_id, student_name, ocjene i spol. Student_id postavljamo kao primarni ključ koji jedinstveno identificira svaki red.

Gornji zaslon pokazuje da dodajemo četiri polja u tablicu. Nakon dodavanja svih polja u tablicu, spremamo tablicu dajući neko korisno ime. Pretpostavimo da sam naveo učenika kao naziv tablice.

Korak 12: Vratite se u vizualni studio. Kontrolni tok sadrži zadatak protoka podataka, povucite i ispustite zadatak protoka podataka na glavni prozor.

Korak 13: Kada dvaput kliknemo na Data Flow Task, kontrola se automatski pomiče u Data Flow iz Control Flow-a, tako da možemo reći da je Control Flow spremnik Data Flow-a.

Korak 14: Sada možemo izvršiti transformacije u protoku podataka. Želimo izdvojiti podatke iz Excel datoteke koju smo ranije stvorili, pa povucite i ispustite Excel izvor iz drugih izvora koji se pojavljuju na krajnjoj lijevoj strani ploče.

Na gornjem ekranu vidimo da se crveni križ pojavljuje unutar Excel izvora, što znači da je komponenta konfigurirana s Excel izvorom.

Korak 15: Da biste konfigurirali komponentu, desnom tipkom miša kliknite izvorni izvor programa Excel i kliknite na opciju Uredi kao što je prikazano na slici ispod:

Korak 16: Ispunite detalje prikazane na snimci zaslona u nastavku:

Korak 17: Nakon unosa svih pojedinosti, pojavit će se zaslon kao što je prikazano u nastavku:

Korak 18: Kliknite na Excel izvor.

Gornji zaslon prikazuje dvije strelice, crvenu i plavu strelicu. Plava strelica definira stvarne podatke koje primamo iz Excel datoteke, a crvena strelica označava pogreške koje imamo. Sada moramo izvršiti transformacije, a prije izvođenja transformacija moramo učitati bazu podataka.

Korak 19: Za učitavanje baze podataka kliknite na Ostala odredišta, a zatim kliknite na Odredište.

Korak 20: Nakon dodavanja odredišta, povežite izvor s odredištem.

Korak 21: U gornjem koraku primijetili smo crveni križ u ADO NET Destination, što znači da nije konfiguriran s komponentom. Desnom tipkom miša kliknite na ADO NET odredište, a zatim kliknite na opciju Uredi kao što je prikazano na slici ispod:

Korak 22: Morate navesti upravitelja konfiguracije.

Korak 23: Klikni na Novi gumb za dodavanje upravitelja veze. Kada kliknete na Novi gumb, pojavljuje se zaslon prikazan u nastavku:

Korak 24: Dodajte naziv poslužitelja i odaberite naziv baze podataka s SQL poslužitelja.

Korak 25: Kliknite na gumb OK.

Korak 26: Dodajte naziv tablice u koju želite učitati podatke.

Korak 27: Na donjem zaslonu preslikajte polje izvora unosa u polje odredišnog izvora.

zamijeni iz niza u Javi

Korak 28: Nakon dodavanja mapiranja, izvor je povezan s Odredištem, kao što je prikazano na slici ispod:

Korak 29: Klikni na Početak gumb za pokretanje Projekta integracijskih usluga. Kada pokrenete projekt, podaci se učitavaju na odredište, tj. SQL poslužitelj .

Primjer izvršenja SQL zadatka

• Slijedite korake od koraka 2 do koraka 5 prethodnog primjera.
• Povucite i ispustite Izvrši SQL zadatak koji se pojavljuje na krajnjoj lijevoj ploči u glavnom prozoru.

Na gornjem ekranu vidimo da se crveni križ pojavljuje u Izvrši SQL zadatak, što znači da Upravitelj povezivanja nije konfiguriran s Izvrši SQL zadatak . Da bismo ga konfigurirali, moramo dodati Connection Manager.

• Da biste dodali Connection Manager, desnom tipkom miša kliknite Connection Manager, a zatim kliknite New Connection Manager kao što je prikazano na slici ispod:

• Odaberite OLEDB kao vrstu Connection Manager i zatim kliknite na Dodati gumb kao što je prikazano na slici ispod:

• Nakon klika na Dodati gumb, pojavljuje se zaslon prikazan na slici ispod:

Na gornjem zaslonu vidimo da je podatkovna veza od StudentWarehouse baza podataka je već dostupna kao što smo stvorili u prethodnom koraku. Klikni na u redu dugme.

• Kada kliknete na gumb U redu, pojavit će se ekran kao što je prikazano u nastavku:

U gornjem ekranu morate unijeti detalje kao što su naziv vašeg zadatka, opis, SQL naredba (SQL zadatak koji trebate izvršiti na tablici).

• Unio sam sljedeće podatke na gornjoj snimci zaslona:

U gornjem slučaju, dao sam naredbu za umetanje u SQLStatement.

• Klikni na u redu dugme.
• Kada konfigurirate komponentu s Izvrši SQL zadatak, crveni križić nestaje kao što je prikazano na slici ispod:

• Pokrenite projekt klikom na Početak .

• Kada kliknete na Početak , pojavit će se zaslon kao u nastavku:

Na gornjem zaslonu kvačica pokazuje da je vaš SQL zadatak uspješno dovršen. Naredba insert koju smo dodali u prethodnim koracima je izvršena, a podaci su dodani u tablicu. tj. student1.

• Ishod ovog zadatka prikazan je u nastavku

Preduvjet

Prije učenja SSIS-a, morate imati osnovno znanje o SQL Serveru.

Publika

Naš vodič za SSIS osmišljen je kao pomoć početnicima i profesionalcima.

Problem

Uvjeravamo vas da nećete pronaći nikakav problem u ovom vodiču za SSIS. Ali ako postoji bilo kakva greška ili pogreška, molimo da je objavite u obrascu za kontakt.