Rakamlar iç karartıcı bir fikir birliğine dönüştü. Orta ölçekli bir kuruluşun başlattığı her on yapay zeka pilotundan ikisi anlamlı ölçekte üretime ulaşıyor, üçü küçük yerleşik kullanım senaryoları olarak yaşıyor ve beşi sessizce ölüyor. Ölüm nadiren duyurulur; Artık yönetim kurulu güvertesinde pilotun adı geçmiyor ve bir yıl sonra hiç kimse onun gönderilip gönderilmediğinden emin olamıyor.
Son iki yılda bankacılık, kamu sektörü, enerji ve tüketim mallarında bu pilot uygulamaların altmıştan fazlasında otopsi yaptık. Ölüm nedeni neredeyse hiçbir zaman model değildir. Neredeyse her zaman modelin takması gereken işletim sistemidir. Orta ölçekli kuruluşlar (örneğin, 200 ila 5 milyar dolar arasında gelire sahip olanlar) bu konuda en kötü konumda yer alıyor: değişim yönetiminin gerçek bir iş olduğu kadar büyük, bunu kolay gösterecek özel bir MLOps ekibinin olmayacağı kadar küçük.
Bu makale, şu anda ikinci veya üçüncü pilotta olan, ilk duraklamayı görmüş ve teknolojinin aşırı satılıp satılmadığını merak etmeye başlayan orta ölçekli liderler içindir. Fazla satılmadı. Pilot başarısız olacak şekilde yapılandırılmıştı.
Pilotlar neden ölçeklenemiyor?
Pilotlar öngörülebilir bir süreçte başarısız oluyor. Orta ölçekli bir kuruluşun bir yılda değerlendirdiği tipik yüz aday fikirden yaklaşık kırk tanesi kavram kanıtlaması için onaylanır. Bunların yarısı çalışan bir demo üretiyor. Bunların üçte biri tedarik, güvenlik incelemesi ve entegrasyonu geçmeyi başarıyor. Yaklaşık beşte biri üretim dağıtımına ulaşıyor. Ve bunların belki de üçte ikisi, iş senaryosunda başlangıçta vaat edilen ölçekte faaliyet gösteriyor. Bileşik yıpratma acımasızdır; ancak yıpratmanın her aşamasının belirli bir operasyonel nedeni vardır.
Pilotları öldüren dört işletim modeli boşluğu
Ölen pilotlar dört özelliği paylaşıyor ve bunlar sektörler arasında oldukça tutarlı.
1. Sahiplik demoda sona erer
Pilot ölümün en yaygın şekli: Bir proje sponsoru bir kavram kanıtını görevlendirir, satıcı bir model oluşturur, demo çalışır, herkes alkışlar - ve ardından işletme işindeki hiç kimseden bunu yürütme taahhüdünde bulunması istenmez. Sponsor günlük işine geri döner. Model, teknik olarak işlevsel, ancak üretim sahibi, SLA'sı ve bütçe sınırı olmayan bir sunucu üzerinde oturuyor. Altı ay sonra sunucu, rutin bir temizlik işlemiyle hizmet dışı bırakılır.
Çözüm teknik değil yapısaldır. POC başlamadan önce, adlandırılmış bir faaliyet gösteren işletme sahibi, eğer çalışıyorsa sistemi çalıştırmayı taahhüt etmelidir ve bu taahhüt, devam eden maliyetler için bir P&L hattını, adlandırılmış bir sorumlu yöneticiyi ve tanımlanmış bir hizmet düzeyini içermelidir. Eğer kimse bu taahhüdü imzalamazsa pilotu çalıştırmayın. Sonuç, çalıştırmamakla aynı olacaktır ancak parayı harcamış olacaksınız.
2. Veri temeli varsayıldı, denetlenmedi
Her pilot iş senaryosu, üretim verilerinin eğitim verilerine benzeyeceğini sessizce varsayar. İncelediğimiz pilotların yaklaşık %70'inde bu olmadı. Bazen eğitim verileri vakaların %30'unu hariç tutan bir örnekti. Bazen üretim verileri farklı alan anlamlarıyla farklı bir sistemde yaşıyordu. Bazen - ve bu acı verici olanıdır - üretim verileri, modelin ihtiyaç duyduğu hacimde veya kalitede mevcut değildi.
Ciddi bir pilot, model oluşturulduktan sonra değil, önce bir veri denetimi içerir. Birkaç haftaya mal olur. Üretim verilerinin eğitim setinden farklı olduğu ortaya çıktığında takip eden sekiz ayı kurtarır.
3. Değişim yönetimi çalışması ertelendi
Üçüncü model: Model teknik olarak doğru, veriler iyi ve üretim sahibi kararlı, ancak modeli kullanması gereken kişiler bunu yapmıyor. Tasarımına dahil olmadılar. Çıktılarına güvenmiyorlar. %80 oranında iyi olan ve anladıkları geçici çözümlere sahipler. Model, herkesin yönetim kurulu sunumlarında referans verdiği ve aslında kimsenin kararlara güvenmediği bir sistem haline geliyor.
Yapay zeka pilotlarının çoğu, model oluşturulmadan önceki on sekiz ay içinde kazanılır veya kaybedilir. Veri bilimcileri geldiğinde, sonucu belirleyecek işletim modeli seçimleri zaten yapılmış olacaktır.
4. Tedarik ve güvenlik yanlış zamanda yakalandı
Pilotlar, POC aşamasında tedarik ve güvenliği atlama eğilimindedir; harcama küçüktür, veriler sentetiktir veya anonimleştirilmiştir ve kimse deneyi yavaşlatmak istemez. Daha sonra üretim belirir, harcamalar gerçektir, veriler gerçektir ve satın alma projeyi ilk kez karşılamaktadır. Pilotların bu aşamada altı ila dokuz ay eklediğini gördük. Bunlardan ikisi orada öldü.
Çözüm: Tedarik ve güvenliği erkenden tasarım masasına getirin. Kısıtlamaları, etrafta mühendislik yapılmasına engel değildir; mimariye girdilerdir. Güvenlik incelemesinden geçemeyen bir model, bir model değildir.
%20'nin farklı yaptığı şey
Söz verilen ölçekte üretime geçen pilotlar arasında üç model tekrarlanıyor. Şaşırtıcı değiller. Kasıtlı olarak sıradandırlar.
Net yatırım getirisi olan sıkıcı sorunları seçiyorlar. Ölçeklenen pilotlar ay ışığı değil. İyi tanımlanmış, yüksek hacimli, tekrarlayan bir görevi, döngü süresinde veya doğrulukta ölçülebilir bir iyileşme ile otomatikleştirenlerdir. Listede belge sınıflandırması, vaka önceliklendirmesi, talep tahmini ve sözleşme incelemesi hakimdir. Heyecan verici kullanım örnekleri (müşteriler için üretken içerik, tamamen özerk karar verme) hayatta kalanlar arasında neredeyse hiç görünmüyor.
Model için değil, işletim modeli için geliştiriyorlar. Yüzde 20'lik kuruluş, toplam program maliyetinin yaklaşık yüzde 60'ını veri temelleri, entegrasyon, değişiklik yönetimi ve yönetişime, yüzde 40'ını ise modelin kendisine harcıyor. Başarısız pilotlar bu oranı tersine çevirdi. Model işin küçük bir kısmıdır. Aksini iddia etmek en yaygın tek hatadır.
Ne yapmayı bırakacaklarını tanımlarlar. Ölçeklenen pilot uygulamalar arasında şaşırtıcı bir model: Yapım sahibi, piyasaya sürülmeden önce, rakip bir manuel süreci kullanımdan kaldıracağını açıkça taahhüt etmişti. "Mevcut iş akışının yanında yapay zekayı" çalıştırmadılar; onun yerini aldılar. Bu, modelin yeterince iyi olmasını ve organizasyonun aslında ona bağlı olmasını zorladı.
- Sıkıcı problemleri seçin. Belge sınıflandırması ve vaka önceliklendirme ölçeği. Üretken müşteri içeriği ve özerk karar verme nadiren işe yarar.
- Model dışındaki her şey için bütçe %60. Veri, entegrasyon, değişim, yönetişim. Model ucuz kısımdır.
- POC başlamadan önce üretim sahibinin adını belirtin. Eğer kimse onu çalıştırmayı taahhüt etmiyorsa, inşa etmeyin.
Nereden başlayacağınıza dair bir yetenek haritası
İkinci veya üçüncü pilot uygulamasındaki bir kuruluş için en yararlı teşhis sorusu "sıradaki kullanım senaryosu hangisidir?" değildir. ama "destekleyici yetenekler konusunda gerçek olgunluğumuz nedir?" Entegrasyon ekibi, veri temeli ve değişiklik yönetimi kapasitesi olmayan bir model, teknik açıdan mükemmel olsa bile üretim değeri üretmez.
Orta ölçekli kuruluşları iki eksende haritalıyoruz: Yapay zekayı dağıtma yetenekleri (mühendislik, veri, entegrasyon, yönetişim) ve kurumsal hazırlık durumları (açık sponsorluk, değişim kapasitesi, karar hakları). Kesişme size gerçekte ne tür bir pilotun işinize yarayacağını ve ne tür bir pilotun nakit yakacağını söyler.
Açık ara en yaygın konum sol alt kısımdır: duraklama bölgesi. Bu bir başarısızlık değil. Çoğu orta ölçekli kuruluş için dürüst bir başlangıç noktasıdır. Buradaki hata, tek kullanımlık bir senaryoya, bir mühendise ve altı aylık işletim modeli çalışmasına ihtiyacınız varken kurumsal bir yapay zeka platformu satın alarak sanki sağ üstteymişsiniz gibi davranmaktır.
90 günlük bir uygulama rehberi
Duraklama bölgesinde oturan ve dışarı çıkmaya çalışan bir organizasyon için, herhangi bir yeni model inşa edilmeden önce kısa, yapılandırılmış bir doksan gün öneriyoruz. Çalışma pek gösterişli değil ama bir sonraki pilotun başarılı mı yoksa başka bir sessiz ölüm mü olacağını belirliyor.
1-3. Haftalar: Teşhis. Önceki pilotlarınızın haritasını çıkarın: Her biri nerede öldü ve dört çalışma modeli boşluğundan hangisinde öldü? Veri temellerinizin haritasını çıkarın: Üretim verileri gerçekte nerede, hangi durumda bulunuyor ve kim tarafından yönetiliyor? Değişim kapasitenizin haritasını çıkarın: Kuruluşunuz halihazırda kaç tane eş zamanlı dönüşüm programı yürütüyor?
4-8. Haftalar: Sıkıcı bir problem seçin. Belge sınıflandırma veya önceliklendirme ailesinden tek, yüksek hacimli, iyi tanımlanmış bir kullanım örneği seçin. Üretim sahibinin adını verin. Model işe yararsa, belirli bir rakip manuel süreci kullanımdan kaldıracaklarını yazılı olarak taahhüt etmelerini sağlayın.
9-13. Haftalar: Önce işletim modelini oluşturun. Tedarik, güvenlik, yönetişim, entegrasyon, değişiklik yönetimi. Model bekleyebilir. Bu aşamanın sonunda şüpheci bir kurula sistemi tam olarak kimin çalıştıracağını, ne yapmayı bırakacağını ve hata türlerinin neler olduğunu açıklayabilmelisiniz.
Bir yapay zeka programında söylenebilecek en zor cümle "bunu yapmayı bırakacağız"dır. Programın çalışıp çalışmadığını da belirleyen cümledir.
Bunun liderler için anlamı nedir?
Yapay zeka pilotlarındaki başarısızlık oranına bakan bir lider için cazip olan, teknolojinin hazır olmadığı sonucuna varmaktır. Öyle. Pilotlar, teknolojiyle hiçbir ilgisi olmayan ve diğer herhangi bir sermaye projesini de yenilgiye uğratabilecek işletme modeli soruları (sahiplik, veri, değişim, satın alma) konusunda başarısız oluyor.
Bunu doğru yapan orta ölçekli kuruluşlar Silikon Vadisi başarı öykülerine benzemiyor. Sıkıcı bir problemi seçen, modeli yapmadan önce destekleyici makineleri inşa eden ve rekabet halindeki bir süreci kamuoyu önünde kullanımdan kaldırmaya kararlı, istikrarlı, disiplinli operatörlere benziyorlar. 10x modele sahip oldukları için değil, modelin gerçekten içinde çalıştırabileceği 1x işletim modeline sahip oldukları için ölçekleniyorlar.
Herkes için bir sonraki pilottan önce sorulması gereken soru "ne inşa etmeliyiz?" değildir. "Sonuncuyu ne durdurdu?" Cevap size bundan sonra ne inşa etmeniz gerektiğini ve önce neyi düzeltmeniz gerektiğini söyleyecektir.