Canlı ortamla temasa dayanan yapay zekâ sistemleri.
LLM uygulamaları, RAG sistemleri ve klasik ML — değerlendirme düzenekleri, maliyet disiplini ve izlemeyle kurulur; çünkü bir demo, ürün değildir.
- Senaryo triyajı
- Değerlendirilmiş prototip
- Canlı ortam mühendisliği
- İşletme & iyileştirme
Değerlendirilmemişse bitmemiştir.
Etkileyici bir demo ile güvenilir bir yapay zekâ ürünü arasındaki mesafenin adı mühendisliktir: değerlendirme setleri, koruma kuralları, yedek yollar, maliyet bütçeleri, sapma izlemesi. Bir demo, o odada çalışıp çalışmadığına göre ölçülür. Bir ürün ise on bininci istekte, kimsenin öngörmediği girdide ve sağlayıcının bozulduğu sabahın üçünde ne yaptığına göre ölçülür; cevabın hâlâ ya doğru olması ya da dürüst bir ret olması gerekir.
Tıkanan yapay zekâ projelerinin çoğu model kalitesinde tıkanmaz. Tıkanma nedeni, yeni promptun eskisinden daha iyi olup olmadığını kimsenin söyleyememesi, istek başına maliyetin lansmandan sonra fark edilmesi, erişim için kullanılan belge kümesinin hiç ölçülmemiş olması ve cevapların onunla birlikte sessizce kayması ya da modelin yanıldığı durum için tanımlı bir davranışın bulunmamasıdır. Yapay zekâ sistemlerini her şeyi kurduğumuz gibi kurarız — yalnızca yayına alınmak için değil, işletilmek için — yani gösterişsiz kısımlar en baştan kapsamdadır, bütçesi hiçbir zaman çıkmayan bir sağlamlaştırma fazına ertelenmez.
Her yapay zekâ davranışı bir test seti ve aşılması gereken bir skorla birlikte yayına çıkar — ve skoru düşüren bir değişiklik, kim önerirse önersin birleştirilmez.
Dört pratik, tek mühendislik standardı.
Bunları müşteriler için olduğu kadar kendi ürünlerimizde de yürütüyoruz — Loyalty & Retention içindeki skorlama ve öneri modelleri aynı pratik tarafından, aynı değerlendirme disipliniyle işletiliyor.
LLM uygulamaları
Copilot’lar, veri çıkarımı, özetleme ve konuşma sistemleri — prompt hatları, araç kullanımı ve yapılandırılmış çıktılar düzgün mühendislikle kurulur. Promptlar, konsola yapıştırılmış metinler değil, depoda sürümlenen ve testleri olan yapılardır. Başka bir sistemi besleyen çıktılar şemayla doğrulanır, onarılır ya da reddedilir; asla umut ederek ayrıştırılmaz. Araç kullanımı açık izinlerle sınırlanır; böylece okuyabilen bir ajan sessizce yazamaz. Parçaları nasıl kurduğumuzu LLM’ler & RAG sayfasında bulabilirsiniz.
Doğru kurulmuş RAG
Erişim kalitesi ölçülür, parçalama ayarlanır, atıflar doğrulanabilir olur — kendinden emin gürültü yerine kaynağa dayalı cevaplar. Erişim, üretim hiç ayarlanmadan önce kendi başına bir bileşen olarak değerlendirilir; çünkü yanlış pasajı getiren bir sistem daha iyi bir promptla düzeltilemez. Parçalama, embedding seçimi, hibrit anahtar kelime harmanlaması ve yeniden sıralama, etiketli bir küme üzerinde ölçülen geri çağırma oranına göre kararlaştırılır ve bir cevaptaki her iddia, kullanıcının açabileceği bir atıf taşır.
Klasik ML
Tahmin, skorlama ve optimizasyon — kendi sadakat platformumuzun içindeki kademe tahmini ve sıradaki en iyi teklif modelleri bu pratiğin işidir. Talep tahmini, müşteri kaybı ve eğilim skorlaması, rota ve atama optimizasyonu: temiz özniteliklerle çalışan bir gradient boosting modelinin maliyet, gecikme ve açıklanabilirlik açısından bir dil modelini geçtiği, asıl işin ise Veri Mühendisliği tarafından dürüst tutulan öznitelik hattı olduğu problemler.
LLMOps & değerlendirme
Değerlendirme paketleri, model değişikliklerinde regresyon kapıları, token maliyeti bütçeleri, gecikme SLO’ları ve sapma uyarıları. Her davranışın, aşılması gereken bir skoru olan dondurulmuş bir seti vardır; her prompt, model veya erişim değişikliği CI’da bu sete karşı çalışır. Maliyet, aylık faturadaki bir sürpriz değil, uyarısı kurulmuş, istek başına bir bütçedir. Sapma hem girdilerde hem sonuçlarda izlenir; böylece kalite kaybı bir kullanıcı bildirmeden önce fark edilir — MLOps’un işletme tarafı.
İş günlük olarak nasıl yürür?
Ölçek büyümeden önce, aşılması gereken bir skor.
Her çalışmanın ilk çıktısı bir değerlendirme setidir: kendi alanınızdan gerçek girdiler, sonucun sahibi olan kişilerle üzerinde anlaşılmış beklenen davranışlar ve o kullanım senaryosu için “iyi”nin ne anlama geldiğine uyan bir skorlama yöntemi — çıkarım için tam eşleşme, erişim için kaynağa bağlılık ve atıf doğruluğu, serbest metin için insan kalibrasyonlu rubrik skorlaması. Bu set bir kez var olduğunda promptlar, modeller ve erişim ayarları üzerine her tartışma bir görüş olmaktan çıkıp bir deneye dönüşür ve hiçbir değişiklik, rakamı doğru yöne oynatmadan canlı ortama ulaşmaz.
- Setler dondurulur ve sürümlenir; yeni hata vakaları eklenir, sessizce çıkarılmaz
- CI’da regresyon kapısı — skoru düşüren prompt, model veya indeks değişikliği build’den geçemez
- Bir örneklem üzerinde insan kalibrasyonu; böylece otomatik değerlendiriciye bir gerekçeyle güvenilir
Token ekonomisi lansmandan sonra değil, önce kararlaştırılır.
Bir yapay zekâ özelliğinin birim maliyeti vardır ve bu maliyet en baştan öğrenilebilir. İstek başına maliyeti gerçekçi girdi dağılımı üzerinde modeller, sonra mühendislikle aşağı çekeriz: sabit önek için prompt önbellekleme, çok sayıda umutlu pasaj yerine birkaç ilgili pasaj gönderen erişim, büyük model gerektirmeyen sınıflandırma adımlarında daha küçük modeller ve modelin yaptığı işi anlatmasını engelleyen yapılandırılmış çıktılar. Sonuç, uyarısı bağlanmış, istek başına bir bütçe — ve trafik artışına göre modellenmiş bir ekonomi.
- Varsayımları yazılı olarak, lansmandan önce yayımlanan maliyet modeli
- Önbellekleme, yönlendirme ve bağlam kırpma değerlendirme setine karşı ölçülür; böylece kaliteden sessizce ödün verilmez
- Bütçe uyarıları yalnızca aylık toplamda değil, istek ve kiracı başına maliyette de kurulur
Model güvenilir olmadığında sistemi güvenilir kılan parçalar.
Canlı ortamdaki her yapay zekâ sistemi; sağlayıcının bozulduğu, erişim indeksinin bayatladığı, çıktının doğrulamadan geçmediği ya da kullanıcının sistemin yanıtlamaması gereken bir şey sorduğu gün için tanımlı bir davranışa ihtiyaç duyar. Bu yolları açıkça tasarlarız — daha küçük bir yedek model, önbellekten gelen ya da deterministik bir yanıt, insana yükseltme kuyruğu, dürüst bir ret — ve onları da diğer hata yolları gibi test ederiz; çünkü işlevi zayıflamış bir özellik ile bozuk bir ürün arasındaki fark bunlardır.
- Sağlayıcı soyutlaması sayesinde model, bir kesintiden sonra değil bir değerlendirmeden sonra değiştirilir
- Her yapılandırılmış çıktıda doğrulama, onarım ve ret
- Risk gerektirdiğinde, bağlamı ekli olarak insan kuyruğuna yükseltme
Üç kişinin ikna olması gerekir.
Dürüstçe triyajdan geçirilen bir kullanım senaryosu, reddettiklerimiz dahil.
Değer çarpı fizibilite, ekibinizle birlikte skorlanır — ve “burada yapay zekâ kullanmayın” için ayrı bir sütun. Yapay zekâ işi diye önerilen pek çok problemde deterministik kurallar bir modeli geçer; bunu erken söylemek, ikinci sprintte keşfetmekten herkes için daha ucuzdur.
- Her aday; değer, veri hazırlığı, hata toleransı ve maliyet üzerinden skorlanır
- Geliştirmeden önce yazılı olarak anlaşılan kabul davranışı — sistemin neyi reddetmesi gerektiği dahil
- Ölçülebilir ve etki alanı dar bir kullanım senaryosunu öne alan sıralama
Portföyünüzün geri kalanı gibi davranan bir yapay zekâ servisi.
Sürümlenmiş promptlar, tipli arayüzler, şemayla doğrulanmış çıktılar, erişim ve üretim boyunca izleme ve her şeyle aynı CI hattında bir regresyon kapısı. Ekibinizin hâlihazırda işlettiği altyapıya, ona uygun runbook’larla devreye alınır.
- Sağlayıcıdan soyutlanmıştır; model değişikliği bir yapılandırma kararıdır
- Tek bir istek için erişim, üretim ve araç çağrıları boyunca izler
- Kendi bulut hesabınızda Kubernetes üzerinde ya da sunucusuz olarak devreye alınır
Hassas veri, sonradan akla gelen bir konu değil, bir tasarım girdisi.
Sınırınızdan ne çıkıyor, hangi sağlayıcıya gidiyor, hangi saklama süresiyle ve bir ilgili kişi talepte bulunduğunda ne oluyor. İşlem hattında maskeleme, politika gerektirdiğinde bölge içi ya da kendi sunucunuzda çalışan modeller ve sisteme ne sorulduğunun, sistemin ne yanıtladığının kaydı.
- Portföyden hiçbir şey çıkmadan önce PII tespiti ve maskeleme
- Sıfır saklamalı uç noktalar veya KVKK / GDPR gerektirdiğinde kendi sunucunuzda çalışan modeller
- Denetim ve olay incelemesi için, saklama süresi üzerinde anlaşılmış istek ve yanıt kaydı
Neyin standart, neyin müşteriye göre kapsamlandığı.
İş nasıl yürür.
Senaryo triyajı
Değer × fizibilite skorlaması — dürüst “burada yapay zekâ kullanmayın” sütunu dahil. Vadedilen veriye değil var olan veriye, yanlış cevaba gösterilen toleransa ve bugün bir insan hata yaptığında sürecin ne yaptığına bakarız. Adaylar sıralanmış olarak çıkar; kabul davranışı yazılıdır, ilk değerlendirme setinin taslağı çizilmiştir, böylece geliştirme bir demoya değil, iyinin tanımına karşı başlar.
Değerlendirilmiş prototip
Dondurulmuş bir değerlendirme setine karşı çalışan bir sistem — ölçek bir plan hâline gelmeden önce kalite bir rakamdır. Üretim ayarlanmadan önce erişim ölçülür, model ve sağlayıcı seçimleri sizin verinizle ve sizin maliyet bütçenizde kıyaslanır, bu fazda bulunan hata vakaları setin kalıcı üyeleri olur. Faz bir skorla, istek başına bir maliyetle ve yazılı bir öneriyle biter — bu öneri zaman zaman kullanım senaryosunun henüz hazır olmadığı yönünde olur.
Canlı ortam mühendisliği
Koruma kuralları, yedekler, maliyet kontrolleri, izleme — sistemi güvenilir kılan gösterişsiz iş. Girdi doğrulama ve PII işleme, onarım ve ret yollarıyla çıktı şema doğrulaması, hız sınırlama ve sağlayıcı soyutlaması, istek boyunca izleme, bütçe uyarıları ve gecikme SLO’ları. Regresyon kapısı CI’ya girer; böylece değerlendirme seti, iyi niyetli bir sonraki prompt düzenlemesine karşı sistemi savunur.
İşletme & iyileştirme
Sapma izlenir, her değişiklikte değerlendirmeler yeniden çalışır, kullanıcı geri bildirimi setlere geri döner. Girdi dağılımları ve sonuç kalitesi izlenir, belge kümeleri biri fark ettiğinde değil bir takvime göre tazelenir, sağlayıcı sürümleri sürpriz olarak gelmek yerine benimsenmeden önce değerlendirilir. Ekibiniz bunu, açıkça kendilerinin olana kadar bizimle birlikte yürütür; sapma, kesinti ve kalite olayları için runbook’larla.
Sizde kalanlar.
- İzleme ve maliyet panolarıyla devreye alınmış yapay zekâ sistemi
- Temel skorlar ve regresyon kapılarıyla değerlendirme paketleri
- Belgelenmiş koruma kuralı ve yedek mimarisi
- Kendi verinizdeki kıyaslarla model/sağlayıcı karar kaydı
- Sapma, kesinti ve kalite olayları için runbook’lar
Bunun doğru tercih olduğu durumlar.
Bir yapay zekâ yetkinliğinin gösterilmesi değil işletilmesi gerekiyorsa bunu seçin: gerçek müşterilerin para ödediği bir ürünün içindeki copilot, bir kayıt sistemini besleyen veri çıkarımı, personelinizin güvendiği bir belge kümesi üzerinde erişim ya da bir işletmenin müşteriye dair davranışını değiştiren skorlama. Herkesi etkilemiş ve o günden beri yerinde duran bir prototipi olan kurumlara, yapay zekâ maliyetleri kendilerini şaşırtan ekiplere ve bir cevabın atıf ile ret yoluna ihtiyaç duyduğu, düzenlemeye tabi ortamlara uygundur. Girdilerin önce kurulması gerektiğinde Veri Mühendisliği ile, kullanım senaryosunun kendisi hâlâ bir tartışma konusuyken Ürün Keşfi ile birlikte yürür.
Problem kurallarla ya da bir sorguyla iyi çözülüyorsa başka yere bakın — pek çok “yapay zekâ projesi” aslında bir rapor ve bir eşiktir, bunu da bütçe harcamadan önce size söyleriz. Veri henüz yoksa bu yine yanlış bir çalışmadır: kimsenin derlemediği bir belge kümesinden değerlendirme seti çıkmaz, dolayısıyla ilk iş bir model değil, bir veri platformudur. İstediğiniz şey bir yapay zekâ özelliği değil de daha hızlı yazılım teslimatıysa, aradığınız AI-First Mühendislik.
Sık sorulan sorular
Bununla birlikte yürüyen hizmetler.
Ne inşa ettiğinizi bize anlatın.
Bugün elinizde ne olduğunu ve neye ihtiyacınız olduğunu anlatın. Bir mühendis okur; nasıl yaklaşacağımızı ve size uyan modeli yazılı olarak iletir.