Kesän aikana tehtyjä uudistuksia

03.10.2017 07:18 - Esko Piirainen (modifierad: 03.10.2017 07:28)
Lajitietokeskus tiedottaa kehitystyön etenemisestä parin viikon välein. Kesällä tiedotteita ei ole kirjoitettu ja (koska kesä taitaa nyt pikku hiljaa ikkunasta näkyvän perusteella olla ohi) on korkea aika kirjoittaa tiedote koko kesän kehitystyön tuloksista.

Laadunvalvonta

Laji.fi -portaaliin ja Lajitietokeskuksen tietovarastoon on lisätty ensimmäiset laadunvalvontaan liittyvät ominaisuudet. Laadunvalvontaa on kahdenlaista: automaattista ja käyttäjien merkintöihin perustuvaa. Näiden tietojen perusteella havainto saa jonkin seuraavista laatuluokituksista:
  • Varmistettu - Havainto on asiantuntijan tai riittävän monen käyttäjän osalta vahvistettu
  • Todennäköinen - Käyttäjät pitävät havaintoa mahdollisena
  • Neutraali - Oletusluokitus
  • Epätodennäköinen - Käyttäjät tai havainnon alkuperäinen syöttäjä epäilevät havaintoa
  • Mahdoton - Asiantuntija tai riittävän moni käyttäjä pitää havaintoa mahdottomana
  • Spam - Havainto on "roskapostia" ja poistetaan kokonaan tietovarastosta
Lisäksi havainnolla voi olla muita kuin taksonomiaan liittyviä laatuongelmia, kuten epävalideja päivämääriä tai paikkatietoa, joissa koordinaatit ja kunta eivät täsmää. Luotettavuuden arvioimisen lisäksi asiantuntijat ja käyttäjät voivat ehdottaa vaihtoehtoista määritystä havainnolle, mikäli mukana on valokuva tai muulla tavoin voi päätellä mikä laji todennäköisemmin on kyseessä. Ehdotettu määritys astuu voimaan siten, että Laji.fi -havaintohaussa käytetään alkuperäisen määrityksen sijasta ehdotettua määritystä. Tapauksissa, joissa kyseessä on jo aiemmin varmistettu havainto tai havaintoon liittyy useita kilpailevia määrityksiä, käytössä on tietynlainen "äänestysjärjestelmä", jossa eniten ääniä saanut määritys tulee voimassa olevaksi määritykseksi. Logiikkaa jonka mukaan havainto saa jonkin laatuluokituksen tai määrityksen tullaan vielä parantelemaan käyttökokemusten perusteella tulevaisuudessa. Logiikka on jo nyt jokseenkin monimutkainen ja tullaan dokumentoimaan laji.fi portaaliin luettavaksi. Avaamme asiaa auki myös erillisessä tiedotteessa ja avaamme keskustelun Laji.fi foorumille. Logiikkaa tullaan tarkastelemaan ja parantamaan myös Lajitietokeskuksen havaintotyöryhmässä. Laatutiedon näyttäminen Laji.fi -portaalin Havainnot-haussa näytetään oletuksena kaikkien laatuluokitusten (paitsi spam) havainnot, mutta sen sijaan laatuongelmallisia havaintoja ei näytetä oletuksena. Näkyvyyttä voi säätää havainnot -osion rajauksissa. laatuarajaukset - Luotettavuuteen liittyviä rajauksia havainnot -haussa luettelo_laatua - Luotettavuusluokituksia havainnot haun luettelossa vi_vahvistettu - Asiantuntijan varmistama havainto vi_muutettu_maaritys - Ehdotettu vaihtoehtoinen määritys joka on voimassa Automaatinen laadunvalvonta Automaattisen laadunvalvonnan osalta tietovaraston havaintolähteiden kokoelmille on määritelty luotettavuusluokitus. Luokitus on 1 - 5 "tähteä" ja 4-5 tähden kokoelmat merkitään automaattisesti varmistetuiksi, jos havaintoon ei liity laatuongelmia, laatumerkintöjä tai käyttäjien laatumerkintöjä. Kokoelmien laatuluokittelu on seuraava:
  • 1 - Ei laadunvalvontaa, kuka tahansa voi kirjata havaintoja, ei sisäänkirjautumista. Esimerkiksi Löydös-havaintopalvelu.
  • 2 - Sisäänkirjautuneet käyttäjät, laatua ei aktiivisesti valvota. Esimerkiksi Vihko.
  • 3 - Kuka tahansa voi kirjata havaintoja mutta tietoa tarkistetaan systemaattisella tavalla asiantuntijaharrastajien tai asiantuntijoiden toimesta. Esimerkiksi Tiira.fi.
  • 4 - Kaikki havainnoitsijat tunnetaan. Kaikki tieto tarkastetaan systemaattisesti. Esimerkiksi rengastustietokanta.
  • 5 - Kaikki tieto tulee ammattilaisilta. Esimerkiksi museokokoelmat.
(Huom: Lajitietokeskuksen Vihko pyritään toki nostamaan tasolle 3 tulevaisuudessa.) Laatumerkintöjen tekeminen Kuka tahansa kirjautunut käyttäjä voi tehdä laatumerkintöjä Laji.fi -portaalissa. Tämä tapahtuu siirtymällä kyseisen havaintoerän näkymään ja painamalla puhekupla -ikonia havainnon kohdalla. Esimerkiksi luettelossa painamalla havaintoriviä avautuu havaintoerä, jossa on korostettuna klikattu havainto. Puhekupla näkyy havaintorivin oikealla puolella. Avautuvasta osiosta painetaan virheää + -ikonia, jonka jälkeen voi syöttää uuden kommentin tai laatumerkinnän. ann_tekeminen - Laatumerkinnän tekeminen Ilmoitukset koskien omia havaintoja Jos sinun syöttämääsi havaintoa kommentoidaan tai siihen tehdään laatumerkintöjä, saat asiasta ilmoituksen Laji.fi portaalissa. Ilmoitukset tulevat portaalin yläpalkkiin. Tällä hetkellä ilmoituksia saa vain Lajitietokeskuksen Vihkon avulla syötetyistä havainnoista, mutta kun saamme käyttäjätunnusten linkityksen toteutettua ja käyttäjä käy linkittämässä muiden järjestelmien käyttäjätunnuksensa Lajitietokeskuksen profiiliinsa, on mahdollista saada myös ilmoituksia muihin tietolähteisiin syötetyistä havavainnoista (esimerkiksi Luomuksen linnustonseurantajärjestelmät tai Hyönteistietokanta). ann_ilmoitukset - Ilmoituksia koskien omia havaintoja

Vihko havaintopalvelu

Vihkon Retkilomakkeesta on otettu käyttöön uusi versio, jossa lomakkeen ulkoasua ja sijoittelua on muutettu tukemaan paremmin useiden havaintojen syöttämistä. Uudella lomakkeella havaintorivit sijaitsevat kartan alla ja syötetyt havainnot näytetään taulukkona. Valitsemalla rivin pääsee takaisin ko. havainnon muokkaustilaan. Paikan voi edelleen antaa myös yksittäiselle havainnot mutta nyt se tapahtuu omassa popup-ikkunassa. Vihkon Omat havaintoeräni -sivulta voi nyt ladata valitun vuoden tallennetut tiedot csv- tai Excel-tiedostoon. Lisäksi Vihkon lomakkeita tallennettaessa mahdollisesti syntyvät virheilmoitukset näytetään nyt informatiivisemmin. Olemme myös parantaneet logiikkaa keskeneräiseltä lomakkeelta poistumiseen ja välitallentamiseen liittyen.

Havaintohaku

Laji.fi:n havainnot -osioon on tehty käytettävyysparannuksia ja uudistuksia. Muuttuneen ulkoasun lisäksi rajausten valitsemisen pitäisi nyt olla helpompaa. Esimerkiksi kun kartalta valitaan yksittäisen havainnon tiedot, "lisätiedot" -linkin sisältö avautuu omaan pieneen laatikkoonsa jonka voi sulkea (ennen sisältö korvasi koko näkymän). Aikarajauksen syöttäminen hyväksyy päivämäärät myös ilman etunollia ja lisäksi kenttään voi syöttää vain vuosiluvun, jolloin järjestelmä automaattisesti lisää alkupäivämääräkentään 1.1. ja loppupäivämääräkenttään 31.12. Luettelo sivun sarakkeiden valinta on nyt helpompaa, niiden järjestyksen voi valita ja järjestämiseen soveltuvilla sarakkeilla voi määrittää luettelon järjestyksen (järjestystekijöitä voi olla useita). Kartalla näytetään nyt yksittäisten havaintojen paikat jos osumia on alle 2000. Ennen tämä luku oli 500. Siis jos rajauksilla tulee osumia yli 2000, kartta näyttää summitaisen ruutuesityksen. Jos havaintoja on alle 2000, näytetään tarkat pisteet (tai epätarkasti ilmoitettujen alueiden tapauksessa täppä on alueen keskipisteessä). Karttaesitystä tullaan vielä muuttamaan tulevaisuudessa huomattavan paljon nykyisestä. Esimerkiksi pyrimme siihen, että kartalla visualisoidaan havaintopisteen tarkkuutta ja käyttäjä voi kustomoida näkymää haluamakseensa. Omat havainnot haku Havainnot-osioon on lisätty mahdollisuus rajata haku näyttämään vain itse tallentamasi havainnot tai vain ne havainnot joissa sinut on merkitty havainnoitsijaksi. Sinun täytyy kirjautua sisälle käyttääksesi tätä rajausta. Tällä hetkellä toiminto kattaa vain Vihko-havaintojärjestelmän avulla syötetyt havainnot, mutta tulevaisuudessa on mahdollista yhdistää muiden järjestelmien kuten Luomuksen linnustonseurannan, Hatikka.fi:n ja Hyönteistietokannan käyttäjätunnukset omaan Lajitietokeskus-tiliisi, jolloin omat havainnot haku kattaa myös näistä lähdejärjestelmistä tulevat havainnot.

Lajikortti

Lajikortille on tehty pieniä muutoksia koskien vieraslajitiedon ja IUCN uhanalaisuusarviointien tietojen näyttämistä. Lajikorilta puuttuu vielä paljon sellaista tietoa joka on tallennettu taksonomiatietokantaan. Pääsemme toivottavasti lähikuukausien aikana lajikortin kimppuun ja päivitämme tietosisällön ajantasalle.

Laji.fi-teemasivut

Laji.fi-portaalin ylävalikkoon on lisätty Teemat-osio. Sen alta löytyy tällä hetkellä seuraavia palveluita: Koska vastaavia teemoja tulee vielä paljon lisää, muokkaamme Teemat-osiota siten, ettei kaikkea lisätä etusivun valikkoon vaan ylävalikosta siirrytään erilliseen näkymään josta löytyy teemasivut aiheittain ryhmiteltynä ja niiden kuvaukset.

API

Teimme paljon muutoksia palveluiden taustalla oleviin rajapintoihin. Muutoshistoria on luettavissa täällä. Muutoksista johtuen käynnistimme tietovaraston sisällön täydellisen uudelleenlatauksen. Tämä ei ole vielä valmistunut, joten tietovarastossa on tällä hetkellä rinnakkain sekä vanhaa että uudenmallista tietoa. Lisäksi on havaittu monia bugeja, jotka eivät tulleet esiin testausvaiheessa. Näitä korjataan parhaillaan ja virhelliset tietueet ladataan vielä uudestaan.

Tietovaraston salaukset

Olemme muuttaneet salattavien havaintoerien käsittelyn logiikkaa. Vanha logiikka oli se, että jos havaintoerässä oli kymmenestä lajista havaintoja, joista jokin piti salata, koko havaintoerä (kaikki havainnot) salattiin korkeimman salaustason vaatineen lajin mukaan. Tämän vuoksi tuli salatuksi paljon havaintoja hyvin yleisistäkin lajeista. Nyt salattavat havainnot irroitetaan havaintoerästä ja tallennetaan tietovarastoon myöhemmin. Alkuperäiseen havaintoerään jäävät ne havainnot jotka eivät vaadi salaamista ja irroitetut havainnot ladataan tietovarastoon omissa havaintoerissään. Irroitetut havainnot ilmestyvät tietovarastoon ja Laji.fi hakuun useiden päivien viiveellä. Olemme varmistaneet, ettei ole erityisen helppoa tapaa yhdistää irroitettua havaintoerää ja alkuperäistä havaintoerää toisiinsa. salaus_irroitettu_lahde - Havaintoerä josta on irroitettu salattavia havaintoja salaus_irroitettu - Irroitettu salattu havainto salaus_yksittainen - Havaintoerä jossa oli alunperin vain yksi havainto jota tuli salata

Tulevia kehityskohteita

Tällä hetkellä työn alla on laadunvalvonnan työkalujen parantaminen (erillinen näkymä josta saa rajattua epätavallisia havaintoja ja voi tarkastella tehtyjä laatumerkintöjä) ja automaattisen laadunvalvonnan laajentaminen (datan perusteella epätavalliset havainnot). Lisäksi teemme osiota josta voi selailla ja rajata sellaisia kuvallisia havaintoja joita ei ole määritetty lajilleen. Tähän liittyy "Mikä laji?" -lomake Vihkoon jonka avulla voi lähettää kuvan lajista paikka ja aikatietoineen määritettäväksi. Toivomme, että viimeksi mainittu korvaa osan tunnistusviestiliikenteestä Laji.fi foorumilla niiden käyttäjien osalta, jotka tallentavat havaintonsa joka tapauksessa Vihkoon. "Mikä laji?" -lomakkeen käyttö ei ole mitenkään välttämätöntä, vaan myös retkilomakkeella ja muilla lomakkeilla voi tallentaa havainnon johon liittyy kuva ja jos lajimäärityksen merkitsee epävarmaksi tai lajitasoa ylemmälle taksonomiselle tasolle, havainto tulee näkyviin tunnistusosioon. Vihkoon ollaan tekemässä pikasyöttö -ominaisuuksia kuten lajiluetteloja ja lomakepohjia. Tietovaraston laatuongelmien havaitsevissa validoinneissa on vakavia virheitä, joiden vuoksi suuri joukko havaintoja on virheellisesti tällä hetkellä merkittynä laatuongelmallisiksi. Nämä virheet korjataan lähitulevaisuudessa. Talvilintulaskennan lomaketta kehitetään Vihkoon tulevaa talvea varten.