DS-74: test stage in CI
- Testien ajo CI:ssä ennen deployta
- Vaikka oli puhe että ajetaan testit olemassaolevaa storybook instanssia vasten, niin tämä vaikutti omasta mielestä järkevämmältä
- Olisi joutunut tekemään käytännössä saman jokatapauksessa ennen tuotantodeployta, eikä tämä vaikuttanut hidastavan CI:tä kauheasti
- Tuli hieman haasteita vastaan image snapshotien kanssa, jossa lokaalisti läpi menneet testit failasi CI:ssä
- Tähän kokeiltu useampaa ratkaisua, mm tämän artikkelin mukaisesti testien ajo dockerissa lokaalisti, mutta tälläkin tuli svg ikonien kanssa CI:ssä ongelmia
- Lopulta snapshoteissa taisi olla hyvin pieni ero (alle 1% ero pikseleissä), jota vaikutti olevan todella vaikea saada korjattua. Vaikutti olevan ihan yleistä asettaa joku 1% threshold snapshot eroavaisuuksille, eli yli 1% eroavaisuudet pikseleissä tulkitaan epäonnistuneeksi testiksi
- Ainakin omalla koneella onnistui päivittää ilman dockeria snapshotit siten että ne myös menivät CI:ssä läpi, mutta tätä ainakin kannattaa kokeilla katselmoinnin yhteydessä, että meneekö testit vielä läpi jos ajaa
npm run test-storybook
. Jätin MR:ään nuo testien ajamiset dockerissa, kun vaikutti olevan ihan hyödyllistä pitää ne ongelmien varalta
Jira tiketti: https://jira.it.helsinki.fi/browse/DS-74
Edited by Joel Kuronen