datavitenskapere er i stor etterspørsel, og i noen tilfeller tar datavitenskapere over eldre statistikerroller. Mens en karriere innen datavitenskap kan høres interessant og tilgjengelig, bør potensielle datavitenskapere vurdere deres komfort med statistikk før de planlegger sitt neste skritt, som å tjene en mastergrad i datavitenskap.
mens en karriere innen datavitenskap kan høres interessant og tilgjengelig, bør potensielle datavitenskapere vurdere deres komfort med statistikk før de planlegger sitt neste skritt, som å tjene en mastergrad i datavitenskap.
Statistikkens Rolle I Datavitenskap
Statistikk, som faglig og faglig disiplin, er innsamling, analyse og tolkning av data. Fagfolk som jobber med statistikk må også kunne kommunisere sine funn. Som sådan er statistikk et grunnleggende verktøy for datavitenskapere, som forventes å samle og analysere store mengder strukturerte og ustrukturerte data og rapportere om sine funn.
Data er rå informasjon, og dataforskere lærer å utvinne det, ifølge Data Science Central. Dataforskere bruker en kombinasjon av statistiske formler og dataalgoritmer for å legge merke til mønstre og trender i data. Deretter bruker de sin kunnskap om samfunnsvitenskap og en bestemt bransje eller sektor for å tolke betydningen av disse mønstrene og hvordan de gjelder for virkelige situasjoner. Hensikten er å generere verdi for en bedrift eller organisasjon.
for å bli datavitenskapsmann må du ha en sterk forståelse av matematikk, statistisk resonnement, datavitenskap og informasjonsvitenskap. Du må forstå statistiske begreper, hvordan du bruker viktige statistiske formler, og hvordan du tolker og kommuniserer statistiske resultater.
Viktige Statistikkbegreper I Datavitenskap
Ifølge Elite Data Science, en datavitenskapelig pedagogisk plattform, må datavitenskapere forstå de grunnleggende konseptene for beskrivende statistikk og sannsynlighetsteori, som inkluderer nøkkelbegrepene sannsynlighetsfordeling, statistisk signifikans, hypotesetesting og regresjon. Bayesiansk tenkning er også viktig for maskinlæring; dens sentrale begreper inkluderer betinget sannsynlighet, priors og posteriors, og maksimal sannsynlighet.
Beskrivende Statistikk
Beskrivende statistikk er en måte å analysere og identifisere de grunnleggende funksjonene i et datasett. Beskrivende statistikk gir sammendrag og beskrivelser av dataene, samt en måte å visualisere dataene på. Mye rå informasjon er vanskelig å gjennomgå, oppsummere og kommunisere. Med beskrivende statistikk kan du presentere dataene på en meningsfull måte.
Viktige analyser i beskrivende statistikk inkluderer normalfordeling (bellkurve), sentral tendens( gjennomsnitt, median og modus), variabilitet (25%, 50%, 75% kvartiler), varians, standardavvik, modalitet, skjevhet og kurtose, ifølge Towards Data Science, en datavitenskapsindustriblogg.
Beskrivende statistikk er atskilt fra inferensiell statistikk. Beskrivende statistikk viser hva dataene er; inferensiell statistikk brukes til å nå konklusjoner og trekke slutninger fra dataene.
Sannsynlighetsteori
Sannsynlighetsteori er en gren av matematikken som måler sannsynligheten for at en tilfeldig hendelse inntreffer, Ifølge Encyclopedia Britannica. Et tilfeldig eksperiment er en fysisk situasjon med et utfall som ikke kan forutsies før det er observert. Som å flippe en mynt. Sannsynlighet er et kvantifiserbart tall mellom null og en som måler sannsynligheten for at en bestemt hendelse skjer. Jo høyere sannsynligheten (jo nærmere en), desto mer sannsynlig er det å skje. Sannsynligheten for å snu en mynt er 0.5 siden landing på hoder eller haler er like sannsynlig.
Sannsynlighet ser på hva som kan skje basert på en stor mengde data – når et eksperiment gjentas om og om igjen. Det gjør ingen konklusjoner om hva som kan skje med en bestemt person eller i en bestemt situasjon. Statistiske formler knyttet til sannsynlighet brukes på mange måter, inkludert aktuarielle diagrammer for forsikringsselskaper, sannsynligheten for forekomst av en genetisk sykdom, politisk avstemning og kliniske studier, ifølge Britannica.
Statistiske Funksjoner
Statistiske funksjoner er ofte de første teknikkene dataforskere bruker til å utforske data. Statistiske funksjoner (PDF, 21.6 MB) inkluderer å organisere dataene og finne minimums-og maksimumsverdiene, finne medianverdien og identifisere kvartilene. Kvartilene viser hvor mye av dataene som faller under 25%, 50% og 75%. Andre statistiske funksjoner inkluderer gjennomsnitt, modus, bias og andre grunnleggende fakta om dataene.
Sannsynlighetsfordelinger
en sannsynlighetsfordeling er alle mulige utfall av en tilfeldig variabel og deres tilsvarende sannsynlighetsverdier mellom null og En, ifølge Investopedia. Dataforskere bruker sannsynlighetsfordelinger for å beregne sannsynligheten for å oppnå visse verdier eller hendelser.
sannsynlighetsfordelingen har en form og flere egenskaper som kan måles, inkludert forventet verdi, varians, skjevhet og kurtose. Forventet verdi er gjennomsnittlig (gjennomsnittlig) verdi av en tilfeldig variabel. Variansen er spredningen av verdiene til en tilfeldig variabel vekk fra gjennomsnittet (gjennomsnitt). Kvadratroten av variansen er kjent som standardavviket, som er den vanligste måten å måle spredning av data.
Dimensjonsreduksjon
Dimensjonsreduksjon er prosessen med å redusere dimensjonene til datasettet ditt, (PDF, 751 KB) ifølge University Of California Merced. Hensikten med dette er å løse problemer som oppstår med datasett i høye dimensjoner som ikke finnes i lavere dimensjoner. Med andre ord er det for mange faktorer involvert. Jo flere funksjoner som inngår i et datasett, desto flere prøver må forskerne ha hver kombinasjon av funksjoner representert. Dette øker kompleksiteten i forsøket. Dimensjonsreduksjon har en rekke potensielle fordeler, inkludert mindre data å lagre, raskere databehandling, færre redundanser og mer nøyaktige modeller.
Over-Og Under-Sampling
Ikke alle datasett er iboende balansert. Data forskere bruker over-sampling og undersampling å endre ulike datasett, (PDF, 4.9 MB) som også er kjent som resampling. Overprøvetaking brukes når de tilgjengelige dataene ikke er nok. Det er etablert teknikker for hvordan å imitere en naturlig forekommende prøve, Som Syntetisk Minoritet Over-Sampling Teknikk (SMOTE). Under-sampling brukes når en del av dataene er overrepresentert. Under-sampling teknikker fokusere på å finne overlappende og overflødige data til å bruke bare noen av dataene.
Bayesiansk Statistikk
Det Internasjonale Samfunnet for Bayesiansk Analyse forklarer Bayes-Teoremet: «I Det Bayesianske paradigmet uttrykkes nåværende kunnskap om modellparametrene ved å plassere en sannsynlighetsfordeling på parametrene, kalt den tidligere fordelingen.»
den tidligere fordelingen er en forskers nåværende kunnskap om et emne. Når ny informasjon kommer til lys, uttrykkes den som sannsynligheten, som er «proporsjonal med fordelingen av de observerte dataene gitt modellparametrene.»Denne nye informasjonen er» kombinert med før for å produsere en oppdatert sannsynlighetsfordeling kalt den bakre fordelingen.»
Dette kan være forvirrende for nye statistikkstudenter, men det er forenklede definisjoner. Bayesiansk tenkning omfatter oppdatering tro basert på nye data, ifølge Elite Data Science. Dette er et alternativ til frekvensstatistikk, som ofte brukes til å beregne sannsynligheter.
Bruk Statistikk Og Datavitenskap
hvis du er ivrig etter å lære mer om statistikk og hvordan du kan utvinne store datasett for nyttig informasjon, kan datavitenskap være riktig for deg. Kompetanse i statistikk, dataprogrammering og informasjonsteknologi kan føre deg til en vellykket karriere i et bredt spekter av bransjer. Dataforskere trengs nesten overalt, fra helsevesen og vitenskap til næringsliv og bank.