Anomali Tespitinde En Etkili Yöntem Nedir?
İşletmelerin, iş performansını yükseltmek ve verimliliği artırmak için; iş süreçlerine ve ekipmanlara ait verilere sahip olmaları gerekmektedir. Bu veri kümesinin içinde, standart olan veri modelleri vardır. Burada beklenmeyen bir değişiklik veya veri modeline uymayan bir olay, anomali olarak kabul edilir.
Başka bir deyişle, izlenen bir veya birden fazla değerin daha önceki çalışma şartlarında normal kabul edilen davranışların dışında davranması olarak da tanımlanabilir.
Anomaliler, kategorik olarak iyi veya kötü olarak nitelendirilmemektedir. Sadece belirli bir zamanda, beklenen değerde yaşanan sapmalardır.
Endüstride anomalileri 3 başlığa ayırmak mümkündür:
- Nokta anomalileri: Verilerin geri kalanından sapan tek bir veri noktası (örn. malzeme hatası gibi). Ölçülen basınç değerinin, normal kabul edilen aralığın dışında kalması da nokta anomalisine bir örnektir.
- Bağlamsal anomaliler: Okunan veri, bazı durumlarda anomaliye işaret ederken diğer durumlarda normal bir veriye işaret ediyorsa, yani özel bir bağlamda anomali davranış sergiliyorsa bu bağlamsal anomalidir.
- Toplu anomaliler: Birbiriyle ilişkili olan veriler, tüm veri setinde anomali davranış oluşturuyorsa, bu bir toplu anomalidir. Burada, ilişkili olan bazı veriler bir araya geldiğinde anomali oluşturabilirken, bu veriler bireysel olarak veri setinde anomali davranış göstermiyor da olabilir.
Anomali tespiti, bir veri kümesinin normal davranışından sapan veri noktalarının, olayların ve gözlemlerin tanımlanmasıdır. Anomali tespiti, teknik bir aksaklık gibi kritik olayları veya tüketici davranışındaki bir değişiklik gibi potansiyel fırsatları gösterebilmektedir.
İşletmeler Anomali Tespitine Neden İhtiyaç Duyar?
Anomali tespitinin işletmelerde kullanım pek çok farklı alanda kullanılmaktadır, bunların başlıcaları; kestirimci kalite - kestirimci bakım, ürün kalitesinin artırılması ve kullanıcı deneyiminin iyileştirilmesi.
Kestirimci Kalite - Kestirimci Bakım Takibi
Makine performansı izlemeye yönelik geleneksel, reaktif yaklaşımlar, yalnızca sorunlara tepki vermenize izin verir ve iş süreçlerinde bir sorun olduğunu bile anlamadan sonuçlara katlanılmasına neden olur. Kestirimci kalite ve kestirimci bakım uygulamaları, makine performasında süreklilik sağlanması için gereklidir.
Anomali tespiti sayesinde, ekipman ya da personel performansında olası kayıplar ve düşüşler önceden tahmin edilebilir hâle gelerek; iş süreçlerinin sürekliliği sağlanır.
Ürün Kalitesinin Artırılması
Üretilen ürünler, sürekli gelişim halinde olduğundan dolayı, her versiyonda A / B testi, yeni özellik, satın alma hunisi ayarlaması veya müşteri desteğinde yapılan değişiklik, davranışsal anomalilere neden olabilir. Bu ürün anomalileri tespit edilemediğinde, devam eden sorunlar işletmelerde büyük gelir kaybına ve marka itibarının zarar görmesine sebep olabilmektedir.
Kullanıcı Deneyiminin İyileştirilmesi
Hatalı bir versiyon sunduğunuzda, bir siber saldırı yaşadığınızda veya olumsuz sonuçlanan bir müşteri destek süreci değişikliğiniz olduğunda, müşteri deneyimlerinin kötü etkilenmesi riskiyle karşı karşıya kalırsınız. Anomali tespiti ile kullanıcı deneyimini etkilemeden önce bu gecikmelere tepki vermek, müşteri kaybına ve gelir kaybına neden olabilecek gelişmeleri öngörebilmek için çok önemlidir.
Anomali Tespiti İçin En Fazla Tercih Edilen Yöntemler
Geçmişte, manuel anomali tespiti geçerli bir seçenekti ve işletmelerin genelinde izlenebilecek çok az metrik bulunuyordu. Bu sebeple, veri kümeleri bir analiz ekibi için kolay yönetilebilirdi. Ancak, günümüzde parmaklarınızın ucunda her zamankinden daha fazla veri var ve gün geçtikçe artmaya devam ediyor.
Geleneksel, manuel anomali tespitinin en belirgin sorunu, ölçeklenememesidir. Yönetilmesi gereken yüzlerce, binlerce ve hatta milyonlarca ölçüm olmadan, manuel anomali tespiti yapılması yüksek maliyet ve karmaşıklık ile sonuçlanmaktadır.
Anomali tespiti için kullanılacak doğru yöntemi belirlemeden önce aşağıdaki konuları netleştirmeniz önem arz etmektedir:
- Şirketinizin büyüklüğü ve işlenmesi gereken veri hacminin belirlenmesi,
- Anomali tespiti uygulamaları için ayırabileceğiniz bütçe,
- Anomali tespiti için, acil ihtiyaç ve iş paydaşlarının talepleri açısından değer elde etmek için beklenen sürenin belirtilmesi,
- BT ekibinizin, anomali tespiti uygulamalarını geliştirme ve bakım kapasitesinin tespit edilmesi,
- İşletmenizin büyüme planlarının veri analitiğini nasıl etkileyeceğinin öngörülmesi.
Basit İstatistiksel Anomali Tespiti
Anomali tespitinde en basit yaklaşım; ortalama, medyan, mod ve nicelikler dahil bir dağılımın ortak istatistiksel özelliklerinden sapan veri noktalarını işaretlemektir.
Bu yöntem, sürecin normal ve anormal davranışı arasındaki sınırın açıkça anlaşıldığı ve tek bir arıza kaynağının tanımlanabildiği basit kullanım durumları için yararlı olabilmektedir. Ancak günümüz teknolojik gelişmelerinin gerisinde kalması sebebiyle çok fazla tercih edilmemektedir.
Makine Öğrenimi ile Anomali Tespiti
1- K-Nearest Neighbour ve Yoğunluk Temelli Algoritmalar
Knn algoritması veya Density Based (yoğunluk temelli) algoritması temel olarak bir veri noktasının normal ya da anomali olarak sınıflandırılması için; n komşu noktalar arasındaki uzaklığı ölçerek bu noktalara bir anomali puanı verir. Bu yöntemden elde ettiğimiz anomali puanı ile yapılan sınıflandırmaya bağlı olarak ne tür bir anomali oluştuğunu belirleyebiliriz.
2- Kümeleme Tabanlı Algoritmalar
Veri setindeki noktalar, normal ya da anomali gibi bir sınıf etiketine sahip değilse, yani unsupervised öğrenim varsa, kümeleme tabanlı algortimalar anomali tespiti için en popüler yöntemlerden bir tanesidir.
Bir veri kümesine eklenen yeni veri noktalarının konumu, normal veri kümelerinin ağırlık merkezlerine ve yoğunluğuna göre hesaplanacaktır. Bu algoritmalara göre, normal noktalar kendi içinde bir grup oluşturur ve bu noktaların dışında kalanların anomali olduğu ortaya çıkar.
Ancak, noktalar veri setinde homojen olarak dağılmışsa; bu algoritmaların anomali tespitinde yetersiz kalma ihtimali bulunmaktadır.
Retmes’in yapay zekâ destekli çözümleri ile işletmenizi uçtan uca izleyebilir, makine öğrenimi ile anomali tespitini ve olası anomalilerin %90 doğruluk oranı ile önceden tespit edilebilmesini sağlayabilirsiniz.
