Lobe, owned by Microsoft, is a free, no-code tool to train machine learning models without technical skills. Only image classification is supported as of this writing, and an object detection model training is coming soon according to Lobe’s homepage. You can download it here by entering your basic info. It’s 608 mb.

Lobe is suitable to use it when you would like to keep your images private and train the model on your PC freely. You can also use it to create models for both Android (Tensorflow Lite) and iOS (Core ML).

Lobe welcomes you with a tour, documentation, and more, as you see below. Let’s create a new project and see how easy it is to use.

As of writing this article, you can import your image dataset only with folders so you can’t use CSV files. But Lobe does allow you label your images if they are not in labeled or categorized in folders yet.

I will use this face-mask classification dataset on Kaggle which has images categorized into two folders as with_mask and without_mask. Download this dataset and click Import and select Dataset in Lobe.

After importing your dataset, Lobe starts training immediately.

Lobe automatically splits 20% of your to dataset to test your model. Test images are a random subset of your examples are not used during training.

In the left panel you can see your dataset details. You can click on these folder names to check your images.

Lobe shows the training process live in the lower area in the left panel. There you can see how many images it predicts correctly or incorrectly.

You can leave the app while training, as it notifies you with a click sound when training finishes. For this dataset -which has 440 images- training finished under five minutes. When training finishes, you can check the results and see the correct/incorrect classifications that your model made.

Hovering over the image will show you the confidence score of the model.

To see the accuracy of your model on test images, you can select View > Test Images. It will show your model’s accuracy on test images it hasn’t seen before.

In the Play section, you can drag-drop new images or take photos with your webcam. Lobe will run the trained model with this new image and you can see how good your model does with the new images.

Here, you can try to trick your model and see patterns where it is weak. You can also help improve your model by giving feedback on its predictions by clicking the checkmark button to add the image to your dataset. Lobe automatically trains the model with these new images.

When you’re satisfied with your model you can export it by clicking File->Export. Lobe allows exporting to variety of formats like TensorFlow Lite and Core ML.

We’ll export our model as Core ML format for this tutorial. When you try to export, Lobe asks whether you want to optimize your model. Optimizing performs additional training and can take much longer, but it will keep training as long as model is improving.

It exports several files: readme with a sample Swift code to run the model, your model as mlmodel and signature file which contains information about your Lobe project.

With Xcode 12+, you can test image classification models easily. Open the mlmodel file in Xcode and drag some images to the left panel. Click on the images to see how precise your model predictions are.

If you need any starter projects to use this exported model, Lobe offers very handy projects on Github. Starter projects take care of many things like opening the camera, running the model using Vision, and showing results in the UI.

For the iOS sample project, they use SwiftUI which made this author very happy. Just replace the mlmodel in this iOS sample project and you are ready to go with your new image classification app!

Check out the starter projects here:

iOS:

lobe/iOS-bootstrap

Android:

lobe/android-bootstrap

Web:

lobe/web-bootstrap

Raspberry Pi:

microsoft/TrashClassifier

Conclusion

In this post, we’ve learned how to use Microsoft’s new machine learning tool, Lobe, to train image classification models on our PC. We found a face-mask classification dataset from Kaggle and trained/tested the model using this new no-code tool. Personally, I found it very easy and fun to use Lobe. I hope more machine learning models like object detection and segmentation will come to it soon.

Thanks for reading!

If you liked this story, you can follow me on Medium and Twitter. You can contact me (for freelancing or questions, etc.) via e-mail.

Editor’s Note: Heartbeat is a contributor-driven online publication and community dedicated to providing premier educational resources for data science, machine learning, and deep learning practitioners. We’re committed to supporting and inspiring developers and engineers from all walks of life.

Editorially independent, Heartbeat is sponsored and published by Comet, an MLOps platform that enables data scientists & ML teams to track, compare, explain, & optimize their experiments. We pay our contributors, and we don’t sell ads.

If you’d like to contribute, head on over to our call for contributors. You can also sign up to receive our weekly newsletters (Deep Learning Weekly and the Comet Newsletter), join us on Slack, and follow Comet on Twitter and LinkedIn for resources, events, and much more that will help you build better ML models, faster.

Train a Face-Mask Detection Model in Under 5 Minutes using Lobe.ai was originally published in Heartbeat on Medium, where people are continuing the conversation by highlighting and responding to this story.

So you’ve trained your Core ML model in Create ML or Turi Create. And now, you want to test it out on some real-world data. To make quick and dirty tests, you can leverage Swift Playgrounds and run Core ML models there. If you’re satisfied with the results, you can move over to Xcode project and run on-device or on a simulator.

In this tutorial, we’ll test a Core ML model in Swift Playgrounds.

Before beginning, I have a bit of bad news: You cannot directly use Core ML (.mlmodel) files in the Playground (there is an another option I will mention later in this post). Instead, you have to create its class and compiled mlmodelc files to use it.

Let see how to do that!

Drag and drop you Core ML model into an Xcode project and build your project:

After a successful build, right click on your .app file under the “Products” folder:

Right click your app and select “Show Package Contents”, which will open your bundle as a folder:

Find the mlmodelc folder. It will be named according to your Core ML file.

If you don’t want to compile and copy mlmodelc files there is another option too:

You can replace model loading method in generated Swift file. You need to copy your Core ML model into Resources folder. Find urlOfModelInthisBundle variable and change it like below. This lets Playground compile the model and return the path of the compiled model.

Create a Playground and make sure the “Navigator” is shown by clicking the button shown below:

Drag-drop this folder into the “Resources” folder in the Playground:

We also need to provide the Xcode generated Swift model class to the Playground. Open the Xcode project and select your mlmodel file and click the arrow next to it (below) to open this auto-generated class:

After opening this class, locate it in Finder by right clicking and then choose “Navigate->Show in Finder”:

Drag-drop this file into the “Sources” folder in the Playground. This will let us use our model through this auto-generated class:

If you try to create an instance of your model and run inference, you’ll get the error below:

error: ThermDetector.playground:5:44: error: ‘model’ is inaccessible due to ‘internal’ protection level

The class definitions in this auto-generated Swift file have internal protection levels for classes and variables. You have to make them public to use them.

Open your model file and add a public keyword to the classes, functions, and variables:

After fixing protection levels, run your model, and you’ll see prediction results in Playgrounds:

Conclusion

In this post, we learned how to run Core ML models in Playgrounds, which make it easy to experiment with pre-trained models. This is yet another example of Apple lowering the ML entrance barrier for iOS developers. We should see a lot announced at the upcoming WWDC (June 22–26, virtual event)!

You can check out some Core ML playground samples shared on Github:

• Handwritten digit recognition in Playgrounds
• This repo is a collection of Playgrounds that you can easily try when experimenting with Core ML.

Thanks for reading!

If you liked this story, you can follow me on Medium and Twitter. You can contact me via e-mail.

Editor’s Note: Heartbeat is a contributor-driven online publication and community dedicated to providing premier educational resources for data science, machine learning, and deep learning practitioners. We’re committed to supporting and inspiring developers and engineers from all walks of life.

Editorially independent, Heartbeat is sponsored and published by Comet, an MLOps platform that enables data scientists & ML teams to track, compare, explain, & optimize their experiments. We pay our contributors, and we don’t sell ads.

If you’d like to contribute, head on over to our call for contributors. You can also sign up to receive our weekly newsletters (Deep Learning Weekly and the Comet Newsletter), join us on Slack, and follow Comet on Twitter and LinkedIn for resources, events, and much more that will help you build better ML models, faster.

How to Run and Test Core ML Models in Swift Playgrounds was originally published in Heartbeat on Medium, where people are continuing the conversation by highlighting and responding to this story.

Bu yazıda App Store uygulama görüntülerini Figma ile nasıl kolayca oluşturabiliriz onu anlatacağım. Öncelikle şu figma template’ini indirin. Sağ olsun Josh Holloran uğraşmış, tasarlamış ve Github’ta paylaşmış. Repo’ya star vermeyi unutmayın :)

https://www.figma.com/ a girin ve oraya bu indirdiğiniz template’i sürükleyip bırakın. Açtıktan sonra ilk sayfadan talimatları okuyabilirsiniz ve ya direkt 2. sayfaya gelip uygulama ekran görüntüsünü yükleyin ve sağdaki çeşitli iPhone ekranları için boyutlandırın ve içlerine ekleyin. Görüntünüzü ‘drop your artwork here’ yazan bölüme eklemeye dikkat edin.

Alt tarafta yazılarınızı ve arkaplan renklerini ayarlayın.

3. Preview sayfasına gelin.

iPhone modelini değiştirmek isterseniz alttaki Choose an iPhone bölümünü seçip sağ taraftan seçim yapın ve ekran görüntüleriniz hazır.

CMD + Shift + E ile hepsini export edin.

İşlem bu kadar. John, App Store ikonları için de template hazırlamış, kullanmak isterseniz o da burada. Eline sağlık John!

Figma ile App Store Ekran Görüntüsü Nasıl Oluşturulur? was originally published in NSIstanbul on Medium, where people are continuing the conversation by highlighting and responding to this story.

Basit Deep Learning projeleri için bazen hızlıca resim dataseti oluşturmanız gerekebilir. Bu anlarda Google Images, fastai kütüphanesi ve biraz scriptle bu işi çözebilirsiniz.

Not: Resim çeşitliğini artırmak için ufak bir ipucu da farklı dillerde arama yapmak

Benim bir yan projem için kara kalem resimlerinden bir dataset oluşturmam gerekti mesela.

Aşağıdaki gibi aramalar yaptım.

Burada Google tarafından önerilen kelimeleri de kullanabilirsiniz.

Arama yaptıktan sonra sayfanın el altına kadar inin ve chrome developer tool’u açın konsola aşağıdaki kodu yapıştırın.

Bu size CSV olarak resimlerin url’leri oluşturacak ve dosyayı açacak.

Bu csv dosyasını kaydedin.

Oluşturduğum Google Colab dosyasını açın. Soldaki dosya paneline csv dosyasınızı sürükleyip bırakın.

Daha sonra run butonlarına basarak satırları çalıştırın.

Dosyalarınız images klasörüne indirilecektir.

Resimleriniz hazır!

Google Images yeterli olmazsa DuckDuckGo’yu da kullanabilirsiniz. Şurada kullanım örneği mevcut.

Not: Bu arada fastai image downloader bölümünde boş stringler için hata veriyordu onu da bu PR ile düzelttim.

Yürekten dökülen, düşünmeden yazılan yazıların nerelere ulaşacağını kestiremezsiniz. Bu da öyle bir yazı!

Uzun süredir aklımı kurcalayan bir durum var. Ülkemdeki artan fakirliği gördükçe benim elimden ne gelir, insanların refahını nasıl artırabilirim diye düşünüyorum. Aklıma gelenleri yazıya dökmek istedim.

Öncelikle bir kültür inşası gerekiyor, kolaycılığı, torpili bırakıp üretimi, paylaşımı, çalışmayı, yeni şeyler öğrenmeyi teşvik eden rekabeti savunan bir kültür.

Dijital ürün geliştirip tüm dünyaya satmak bu kadar kolaylaşmışken biz neden pazardan yeterli payımızı almıyoruz?

Neden her bölgemiz kendi arasında yarışıp yeni mobil uygulamalar yazmıyoruz? İstiyorum ki bağımsız geliştiriciler çıksın, ben şuradanım bu ay bunu yaptım, şu kişilerin desteğiyle ilk yüz ücretli uygulamalar listesine ulaştım desinler, hep beraber kutlayalım. Bunları ödüllendirelim, teşvik edelim. Devleti destek sağlaması için zorlayalım, kamuoyu oluşturalım. Sosyal girişimler başlatalım, topluluklar oluşturalım. Şucu bucu mentalitesinden vazgeçip birbirini destekleyen, birbirinin sorununu çözen, tüm dünyanın sorunlarını çözen topluluk mantığına geçelim. Daha çok döviz sokalım ülkeye, hep beraber refahımız arttırmaya çalışalım.

2019'da AppStore’da insanlar 120 milyar dolar harcadı. Mobil reklam harcamaları ise 190 milyar dolara ulaştı!

Amerika, Japonya, Çin mobil uygulama marketlerine ürünler üretelim oradaki insanların sorunlarını çözelim, oyunlar geliştirip eğlendirelim.

En yüksek payların olduğu Amerika, İngiltere gibi marketleri hedefleyelim mobil uygulama AppStore’a uygulama yazan geliştiriciler yarışıp ekosistem oluşturup gittikçe daha iyisini üreten daha paylaşımcı birbirini geliştiren bir ülke kültürü neden yaratmıyoruz? Herkes ne yapabiliyorsa elinden geleni yapsın hep beraber elimizi taşın altına sokalım.

Oyun geliştirme kültürü ve eğitimler düzenleyen birbirini destekleyen gruplar oluşturalım, yarıştıralım, gündem haline getirelim, televizyonlara sokalım, ilgiyi buraya çekelim. Bağımsız ürün geliştirip düzenli gelir kaynağı oluşturmayı herkese-çoluk çocuğa teşvik edelim. Ev hanımları için makine öğrenmesine derin öğrenmeye evden veri sınıflandırma, veri etiketleme yaptıracağımız sistemler tasarlayalım. Bir topluluk oluşturalım. Sonuna kadar rekabet edelim ve hep beraber gelişelim.

Bu ay Konya’dan bir geliştirici ABD Appstore’da ilk 50'ye ulaşsın. Growth tekniklerini paylaşsın anlatsın. Ondan ilham alan başkalarına bu işler sıçrasın daha iyileri gelişsin Yozgat’dan bir geliştirici Çin’de büyük ivme yakalayan bir uygulama çıkartsın. Paylaşsın anlatsın örnek olsun. Sarp Erdağ ve Çağatay Kaptanoğlu gibi uygulamalar geliştirerek milyon dolarlara yurtdışına satalım.

Her ilimizi bir özelliğiyle ön plana çıksın şu il growthta çok iyi şu il tasarımda efsaneler çıkardı diyelim. Şu ilden hep şu tarz web appler çıktı yürüdü gitti abi diyelim. Hackerone’da bug-bounty kovalayan gençleri teşvik edelim, bilgi paylaşımlarını kolaylaştıralım, ödüllendirelim, gündem haline getirelim. Samet Şahin, 16 yaşında açık bularak para kazananlara çok güzel bir örnek.

Farklı alanlarda sorunlar yaşayalım yaşadığımız sorunlara çözümler geliştirelim. Biraz daha özgür düşünelim, fark yaratalım şaşırtalım şok edelim korkmadan üretebilelim. En ufak bir fikirsel baskı olmasın karşı çıkalım çünkü farklılıklara saygı gösterilmeyen bir yerde hiç bir inovasyon gelişemez.

Arabamızla, evimizle hava atmayı bırakıp yeni bir çiğköfteci-lokmacı açıp batmayı bırakıp geliştiren üreten insanlara yatırım yapalım. 100 bin lirayı bu demode işlere yatıracağımıza uygulama geliştiren arkadaşa yatıralım ortak olalım. Mini yatırılımlar yapıp kitle desteği sağlayan dolandırılmayı minimize edecek web platformları oluşturalım.

Ev hanımları için Amazon’un Mechanical Turk’u gibi sistemler kuralım eğitelim evden de çalışabilecekleri işler sunalım. Mahkumlara, işsizlere, öğrencilere; veri etiketleme, sınıflandırma öğretelim yapay zeka çağının gereksinimi olan büyük veri ihtiyacını sağlayalım dünyaya satalım.

Gördüğüm potansiyel engeller şunlar:

• İngilizce
• Programlama
• Temel algoritma eğitimi
• Founder-indie hacker mindseti
• Gerekli donanım
• Pazarlama ve growth desteği
• Motivasyon
• Vergilendirme
• Topluluk

Yazılım öğrenilir, öğrenemeyen nocode araçları (Airtable, Webflow, Zapier, Buildfire, Appypie, GlideApps) kullanır. Gerekli mentaliteyi örnek öncü kişiler ziyaretler yaparak anlatırlar. Donanım için maddi destek bulunur gerekirse her şehre paylaşımlı hacker spaceler oluşturulur.

Topluluk olarak farkettiğim güzel topluluklar (benim ilgi alanımdakiler, yorum yazarsanız bilmediklerimi de eklerim) ortaya çıkmaya başladı. Örnek olarak şunları verebilirim: ProductHuntTR, Girişimci Muhabbeti, Kodluyoruz, Mobile Growth İstanbul, GDG Istanbul, NSIstanbul, Kanvas Tasarım Topluluğu, Inzva…

Engeller yaz yaz bitmez ama her bir engel de başlayarak aşılır yeter ki kültür oluşsun örnekler çıksın bunlar konuşulsun gündem olsun.

Aşılamayacak kadar büyük bir engel yok önümüzde. Birbirimizi aşağı çekmektense yukarı çekelim, hep beraber daha iyiye doğru yol alalım. Herkes fikirlerini ne yapabileceğini yazsın ve ufak ufak adım atmaya başlayalım. Neden yapılamayacağını da yazsın, konuşalım tartışalım. Herkes bir ucundan tutsun.

Çok naif mi düşünüyorum, çok şey mi istiyorum?

Bu ayın ProductHunt’ı Mardinden Çıktı was originally published in Bilişim Hareketi on Medium, where people are continuing the conversation by highlighting and responding to this story.

iOS’s Natural Language framework allows us to analyze language and to perform language-specific tasks like script identification, tokenization, lemmatization, part-of-speech tagging, and named entity recognition.

In this introduction tutorial, we will discover this framework’s capabilities by looking at 4 common and essential techniques:

🔹 Tokenization

🔹 Language Identification

🔹 Part-of-speech Tagging

🔹 Identifying People, Places, and Organizations in Text

1) Tokenization

Before we can actually perform natural language processing on a text, we need to apply some pre-processing to make the data more understandable for computers. Usually, we need to split the words to process the text and remove any punctuation marks.

Apple provides NLTokenizer to enumerate the words, so there’s no need to manually parse spaces between words. Also, some languages like Chinese and Japanese don’t use spaces to delimiter words—luckily, NLTokenizer handles these edge cases for you. For the all supported languages, NLTokenizer can find the semantic units in a given text.

The sample below shows how to use NLTokenizer to enumerate the words in a sentence. NLTokenizer takes a unit parameter, which is type NLTokenUnit. This specifies the type of text we’re providing as input. It has four types: word, sentence, paragraph, and document. We can run the sample codes on Create ML to check the results easily.

It enumerates the words as seen below:

2) Language Identification

We can detect the language of a given text by using the NLLanguageRecognizer class. It supports 57 languages.

We can use it as shown below:

dominantLanguage shows the predicted language that has the highest accuracy.

To see the other languages’ possibilities, we use the languageHypotheses function.

3) Part-of-speech Tagging

To understand language better, we need to identify the words and their functions in a given sentence. Part-of-speech tagging allows us to classify nouns, verbs, adjectives, and other parts of speech in a string. Apple provides a linguistic tagger that analyzes natural language text called NLTagger.

The code sample below shows how to detect the tags of the words by using NLTagger. Lexical class is a scheme that classifies tokens according to class: part of speech, type of punctuation, or whitespace. We use this scheme and print each word’s type:

As you can see below, it successfully determines the types of words:

When using NLTagger, depending on the type that you want to detect, you can specify one or more tag scheme (NLTagScheme) as a parameter. For example, the tokenType scheme classifies words, punctuation, and spaces; and the lexicalClass scheme classifies word types, punctuation types, and spaces.

While enumerating the tags, you can skip the specific types (eg. by setting the options parameter. In the code shown above, it skips the punctuation and spaces settings options to [.omitPunctuation, .omitWhitespace].

NLTagger can detect all of these lexical classes:

noun, verb, adjective, adverb, pronoun, determiner, particle, preposition, number, conjunction, interjection, classifier, idiom, otherWord, sentenceTerminator, openQuote, closeQuote, openParenthesis, closeParenthesis, wordJoiner, dash, otherPunctuation, paragraphBreak, otherWhitespace.

4) Identifying People, Places, and Organizations

NLTagger also makes it very easy to detect people’s names, places, and organization names in a given text.

Finding this type of data in text-based apps opens new ways to deliver information to users. For example, you can create an app that can automatically summarize the text by showing how many times these names (people, places and organizations) are referred to in that text (via blog, news article, etc.).

Let’s see how we can detect these names in a sample sentence:

Here we user NLTagger again, but this time we set another option called joinNames, which concatenates names and surnames. To filter personal names, places, and organizations, we create an NLTag array.

The tags of the words that NLTagger can find are shown below:

As you can see above, we can deduce specific knowledge from text using iOS’s Natural Language framework.

Recap

We learned 4 powerful techniques to process text in our apps:

🔹 Tokenization for supported languages.

🔹 Detecting the language of a given text.

🔹 Making lexical analyze by detecting nouns, adjectives, verbs etc.

🔹 Finding the mentioned people, places, and organizations in a given text.

It’s all on-device, so user data stays private, and it can work without an internet connection. We can analyze the text and highlight person names, places, and organizations.

If you want to learn how to train custom text classification models on Create ML you can check my previous blog post.

Thanks for reading!

If you liked this story, you can follow me on Medium and Twitter. If you have any question or app idea to discuss, don’t hesitate to contact me via e-mail.

Editor’s Note: Heartbeat is a contributor-driven online publication and community dedicated to providing premier educational resources for data science, machine learning, and deep learning practitioners. We’re committed to supporting and inspiring developers and engineers from all walks of life.

Editorially independent, Heartbeat is sponsored and published by Comet, an MLOps platform that enables data scientists & ML teams to track, compare, explain, & optimize their experiments. We pay our contributors, and we don’t sell ads.

If you’d like to contribute, head on over to our call for contributors. You can also sign up to receive our weekly newsletters (Deep Learning Weekly and the Comet Newsletter), join us on Slack, and follow Comet on Twitter and LinkedIn for resources, events, and much more that will help you build better ML models, faster.

4 Techniques You Must Know for Natural Language Processing on iOS was originally published in Heartbeat on Medium, where people are continuing the conversation by highlighting and responding to this story.

Apple uses natural language processing techniques in many ways on iOS. Thanks to NLP, iOS can auto-fix typos, and Siri can understand what we’re saying. At WWDC 2018, Apple brought these capabilities to developers via a tool called Create ML. This tool has enabled developers to easily create text classification models (among numerous other kinds of models).

In this tutorial, we’ll dive into these frameworks to train a machine learning model in Create ML and develop a news classifier app.

Natural Language

Text classification helps us to take advantage of NLP techniques to categorize texts. With text classification, we can detect spam messages, analyze the sentiment of the tweets (positive, negative, neutral), and even categorize GitHub issues.

In order to create a classification model with Create ML, the only thing we need the labeled text data. This opens many doors for developers. We can detect the author an article, find a company’s best- and worst-reviewed products, and even detect various entities (person names, locations, organizations, etc.) in a given text. This is only limited by your imagination and data gathering techniques. In other words, the sky is the limit.

In the software and machine learning world, it’s very important to learn and try the latest tools. If you don’t know how to use these productivity tools, you may waste a lot of time.

In this tutorial, we’ll take a look at the power of Create ML. Create ML became available in Xcode Playgrounds with MacOS 10.14.

Getting Started

Open Xcode and create a blank macOS playground.

Import the necessary frameworks (CreateML and Foundation).

Gather the Text Data

I will be using the categorized text dataset from BBC news.

This dataset consists of 2245 news articles, with each article belonging to one of 5 text categories: sport, business, politics, tech, or entertainment.

You can download the dataset in CSV format from this link. After downloading the file, pass the file path as a parameter to the URL object. Instead of writing this code, you can just drag-and-drop the file into the playground to create the file path.

Create ML can read data in two ways: using folders as labels when files are separated in folders, or by reading from a single file (CSV, JSON). Here, we create a URL object to point to the CSV file, as seen below.

To read the data from the file we create an MLDataTable. MLDataTable is a structure in Create ML that simplifies the loading and processing of text and tabular data. If you want to learn more about MLDataTable, check out this tutorial.

Next, we create a model using MLTextClassifier to classify natural language text. We guide the MLTextClassifier by specifying the text column and the label column (the news category).

This model learns to associate labels with features of the input text, which can be sentences, paragraphs, or even entire documents.

MLTextClassifier

Apple provides a model trainer called MLTextClassifier. It supports 57 languages. The model works in a supervised way, which means your training data needs to be labeled (in this case the news text and the category of the news).

The model starts training when you run Create ML by clicking the play button.

It’s enough to run this method to train a simple model, but if you want to customize your models, Apple provides some parameters for this. Let’s say we have text data that's written in another language. Here, we can specify the language model. If we want to change the algorithm, two algorithms are supported: maximum entropy and conditional random field.

In case these parameters are not enough for your customization needs, Apple suggests using a Python framework called Turi Create. In August 2016, Apple acquired Turi, a machine learning software startup, and open-sourced Turi Create.

Training the Machine Learning Model

After model training is complete, the result can be seen by clicking the show result button.

As a default, Create ML separates 5% of the data for the validation set. This set isn’t included in training data so that we an test the model on data it hasn’t seen before. Training stops automatically when the accuracy is high enough.

While the model is being trained, Create ML shows the current process in the panel below.

It takes only 0.77 seconds to train for two iterations.

Behind the Scenes of Training the MLTextClassifier

MLTextClassifier automatically pre-processes the text data. In this stage, punctuation is cleared and tokenization is performed.

Apple doesn’t provide the details of how features are engineered, but if it uses Turi Create behind the scenes, then it has two stages: feature engineering and statistical modeling. Turi Create’s text classifier is a LogisticClassifier model trained using a bag-of-words representation of the text dataset. In the first stage, it creates this representation, which shows the frequencies of the words.

In the next stage, a logistic regression (multinomial logistic regression) model is trained by using the features. This method calculates the possibilities of classes by creating a linear combination of these features. Basically, the logistic classifier calculates the contribution of each word to the specified classes.

How Good Is Our Model?

To see the details of the trained model, we can print it. This way, we can check its performance on both training and validation datasets. It shows our model has successfully classified all the validation data.

Let’s try the model with arbitrary inputs and examine its performance. The text classifier has a prediction method to make the classification. We can see the prediction result directly in the side panel.

If this model works for us, then we can save it and use it in an iOS app. To provide the model details, we create model metadata. This explanation is shown in Xcode when we open the model.

We save the model by giving the path to the write function.

Since we’ve exported our model, we’re now ready to use it in an iOS app. Create a SingleViewApp and drag-and-drop your Core ML model into your project.

Click on the model and check its details. The model is only 808kb.

When we drag-and-drop the model into the project, Xcode automatically creates a class for the model. If you want to see the created code, click on the arrow below.

The class is shown below. This class has the functions needed to load the model and make predictions.

Note: This class should not be edited.

To use the model, create an instance of the model class in ViewController.

We call the prediction function to run our model with the custom input. To show the result, I created a basic textField and gave its text as a parameter to this function.

I added a simple button to call this prediction function. You can find the whole project on GitHub.

And that’s it! Our news classifier app is ready.

Thanks for reading!

If you liked this story, you can follow me on Medium and Twitter. You can contact me via e-mail.

Editor’s Note: Heartbeat is a contributor-driven online publication and community dedicated to providing premier educational resources for data science, machine learning, and deep learning practitioners. We’re committed to supporting and inspiring developers and engineers from all walks of life.

Editorially independent, Heartbeat is sponsored and published by Comet, an MLOps platform that enables data scientists & ML teams to track, compare, explain, & optimize their experiments. We pay our contributors, and we don’t sell ads.

If you’d like to contribute, head on over to our call for contributors. You can also sign up to receive our weekly newsletters (Deep Learning Weekly and the Comet Newsletter), join us on Slack, and follow Comet on Twitter and LinkedIn for resources, events, and much more that will help you build better ML models, faster.

Resources

• turicreate.text_classifier.create - Turi Create API 5.6 documentation
• Text classifier · GitBook
• turicreate.logistic_classifier.LogisticClassifier - Turi Create API 5.2 documentation
• Creating a Text Classifier Model
• WikiZero - Multinomial logistic regression
• Text data · GitBook
• WikiZero - Conditional random field
• Machine Learning Tutorial: The Max Entropy Text Classifier

Text Classification on iOS Using Create ML was originally published in Heartbeat on Medium, where people are continuing the conversation by highlighting and responding to this story.

If you’ve ever developed an iOS Vision app that process frames of a video buffer, you know that you need to be careful with your resources. You shouldn't process each frame—i.e., where the user just moves the camera around.

In order to classify an image with high accuracy, you’ll need to capture a stable scene. This is crucial for apps that use Vision. In this tutorial, I’ll be diving into this problem and the solution Apple suggests.

Basically, there are two options in capturing an image:

1. Let the user capture the image with a button.
2. Capture the best scene (frame) programmatically from the continuous video buffer.

With the first option, you let the user capture the stable scene. Remember the infamous hot dog app from Silicon Valley—in this app, the user takes the picture with a button. Capturing the best scene is left in the users’ hands.

In the second option, your app should take care of capturing the best scene whenever the user is moving the camera around.

That’s where we start begging:

Me: So, God of Vision! Tell me when the user is holding the phone still.

God of Vision: Use registration, my child! I provide it via the Vision framework.

What Is Image Registration?

Image registration is the determination of a geometrical transformation that aligns points in one view of an object with corresponding points in another view of that object (or another object).

Registration works like this: we’re aligning two images with each other, and the algorithm tells you, “Okay, if you shift it by this many pixels, this is how they would actually match.”

As Frank Doepke stated at WWDC 18, this is a pretty cheap and fast algorithm, and it will tell me if I hold the camera still or if anything is moving in front of the camera. Vision apps could hypothetically make a classification request on every frame buffer, but classification is a computationally expensive operation — so attempting this could result in delays and poor performance with the UI.

So Apple suggests classifying the scene in a frame only if the registration algorithm determines that the scene and camera are still, indicating the user’s intent to classify an object.

How To Measure Relative Distance Between Images?

VNTranslationalImageRegistrationRequest allows developers to check whether the current image from a video buffer is worth spending Vision resources. iOS camera-accessing apps use the captureOutput:didOutputSampleBuffer:fromConnection: delegate method in order to process video frames.

In this delegate method, we’ll call the registration request, as shown in the code below. This request is an image analysis request that determines the affine transform needed to align the content of two images:

Here we use sequenceRequestHandler (VNSequenceRequestHandler) with VNTranslationalImageRegistrationRequest objects to compare consecutive frames, keeping a history of the last 15 frames.VNSequenceRequestHandler is an object that processes image analysis requests for each frame in a sequence (15 frames in this case).

This algorithm accepts a scene as stable if the Manhattan distance between frames is less than 20:

So what is the Manhattan distance? For example, if 𝑥=(𝑎,𝑏) and 𝑦=(𝑐,𝑑) the Manhattan distance between x and y is |𝑎−𝑐|+|𝑏−𝑑|.

After checking the Manhattan distance, we check the results of the image registration request. It takes the result of a request as alignmentObservation.alignmentTransform to determine if the scene is stable enough to perform classification. The RecordTransposition function adds data to the transpositionHistoryPoints stack to record the results of the last 15 frames.

The SceneStabilityAchieved function controls the results of the last 15 frames to detect stability. If we achieve scene stability for these frames, then we can analyze this frame and pass it to Core ML for the best classification results.

Conclusion

In this tutorial, we learned how to use image registration and measure the Manhattan distance between images in order to achieve scene stability. This will allow our Core ML Vision apps to work better and use fewer resources.

Find the full code of the view controller here.

Thanks for reading!

If you liked this story, you can follow me on Medium and Twitter. You can contact me via e-mail.

Resources

• Training a Create ML Model to Classify Flowers
• Vision with Core ML - WWDC 2018 - Videos - Apple Developer

And more on image registration from Fitzpatrick, Hill, and Maurer.

Editor’s Note: Heartbeat is a contributor-driven online publication and community dedicated to providing premier educational resources for data science, machine learning, and deep learning practitioners. We’re committed to supporting and inspiring developers and engineers from all walks of life.

Editorially independent, Heartbeat is sponsored and published by Comet, an MLOps platform that enables data scientists & ML teams to track, compare, explain, & optimize their experiments. We pay our contributors, and we don’t sell ads.

If you’d like to contribute, head on over to our call for contributors. You can also sign up to receive our weekly newsletters (Deep Learning Weekly and the Comet Newsletter), join us on Slack, and follow Comet on Twitter and LinkedIn for resources, events, and much more that will help you build better ML models, faster.

How to Capture the Best Frame in an iOS Image Processing App was originally published in Heartbeat on Medium, where people are continuing the conversation by highlighting and responding to this story.

Son günlerde sosyal medyada viral olarak yayılan Atatürk videosunu 19 Mayıs 2019 dolayısıyla ben renklendirdim. Videonun viral olarak yayılmasını, benden habersiz bir şekilde videoyu kopyalayarak kendi Youtube kanalına yükleyen ve kendi kanal adını videoya yapıştırıp ekşisözlük’te paylaşan kişiler sağladı. İlk başta kendisine ne kadar kızsam da sonradan o olmasa videonun bu kadar hızlı yayılmacağını düşündüğümden bu duyguları bir kenara bıraktım. Bu süreçte NTV’den Yağız Şenkal bey sağolsun bana ulaştı ve röportaj yaptık.

Özgür Şahin on Twitter

Atatürk'ü Anma, Gençlik ve Spor Bayramı'mız kutlu olsun. Derin öğrenme kullanarak siyah beyaz resimleri ve videoları renklendirebiliyoruz. Bugünün şerefine siyah beyaz bir videoyu bu şekilde renklendirdim. https://t.co/jGQrIFVyGp

Renklendirme Neden Yapıldı?

Kai Fuu Lee’nin yazdığı AI Superpowers kitabında yapay zekanın dünyayı nasıl etkileceğinden bahsediyor. Orada paylaştığı beni aydınlatan bir anekdot var.

2016’da Çin’de yapay zeka, yazarın ‘Sputnik anı’ olarak nitelendirdiği bir an yaşıyor. AlphaGo isimli yapay zeka programı efsanevi Go şampiyonu Lee Sedol’u üç oyunluk bir turnuvada yeniyor. Bu oyunlar Çin’de 280 milyonu TV başına kitliyor ve Lee’nin yenilmesi çoğu insanın kalbini kırıyor. Ama insanlar yenilginin sebep olduğu hayal kırıklığına kapılmak yerine, bunu yapay zekanın gücünü kullanmak için bir ilham haline dönüştürüyorlar. Adeta Amerikalıların aya ilk çıkanlar olmasını tetikleyen Rus uydusu Sputnik’in kalkışı gibi. John F. Kennedy’nin aya iniş yapma niyetini açıkladığı gibi, Çin hükümeti de gelecek on senede yapay zekada global bir lider olma amacını açıklayan bir toparlanma çağrısında bulundu. Çin birkaç sene öncesine kadar inovasyondan çok kopya teknolojiler üreten bir yer gibi göründüğü için bu çağrı çok önemli.

Türkiye’de de böyle bir inovasyon/teknoloji dönüşümüne dikkat çekilmesi için bizim de böyle bir anıya sahip olmamız gerektiğini düşünüyordum. Yapay zeka algoritmalarını neler yapabileceğini Türkiye’nin çoğunluğuna nasıl gösterebileceğim fikri bayağıdır aklımın bir köşesindeydi. Bu kütüphane ile Atatürk’ün videolarını renklendirme fikri aklıma geldiğinde hemen harekete geçtim.

Renklendirme Nasıl Yapıldı?

Bu işlemi herkes yapabilir, bu yazıda adım adım nasıl yapıldığını anlatacağım ve ne kadar kolay olduğunu göreceksiniz. Bu videoyu Jason Antic’in açık kaynak resim/video iyileştirme ve renklendirme kütüphanesi (framework) DeOldify’ı kullanarak yaptım. Sosyal medyada tüm takdiri ben topladım ama asıl takdir edilmesi gereken Jason Antic’dir. Kütüphanesini uzun zamandır iOS uygulamaya dönüştürmek için takip ediyordum. Daha önceden sadece resimleri renklendirebilirken yakın zamanda videoları da renklendirebilir hale geldi.

DeOldify bir derin öğrenme (deep learning) kütüphanesi. Yani veri örnekleri göstererek öğrenen ve daha sonra öğrendiği modeli kullanarak insan müdahalesine gerek kalmadan işlem yapabilen bir makine öğrenmesi modeli. Burada da renkli resimler ve siyah beyaza çevrilmiş halleri ile eğitilerek aradaki bağlantıyı öğrenmesi sağlanmış. Milyonlarca resimle eğitilerek bulutların beyaz, ağaçların yeşil olarak boyanması gerektiğini öğrenmiş ve daha önceden gördüğü örneklere göre resimi renklendiriyor. Atatürk videosunda Türk bayrağını bazen doğru renklendiremiyor çünkü eğitildiği resim datasetinde yeterince Türk bayrağı örneği yok bundan dolayı bunu öğrenmemiş durumda. Daha da iyileştirme yapmak isteyenler bize özgü resimleri de bu veri kümesine ekleyerek öğrenimini daha iyi hale getirebilirler.

Yapay zeka/derin öğrenme gibi konulara yabancıysanız Türkçe’ye çevirdiğim Makine Öğrenmesi Eğlencelidir yazısını okumanızı şiddetle tavsiye ederim. Okumayı tercih etmiyorsanız Ayyüce Kızrak’ın Yapay Zeka Ve İnsan El Ele Tedx konuşmasını izleyebilirsiniz. Bu yazıyı okuduğunuzda konuyla ilgili fikir sahibi olacak ve büyük resmi biraz daha iyi anlayacaksınız.

Kütüphaneyi Nasıl Kullanıyoruz?

Aslında yaptığım tek şey url girmek ve next next tuşlarına basmak:)

Şuradan DeOldify’ı kullanmak için hazırlanmış Colab ortamını açın ve Google hesabınıza giriş yapın. Colab online olarak kod çalıştırabildiğimiz ve yapay zeka modelleri eğitebildiğimiz ücretsiz bir platform. Google’ın sunduğu bu platformda güçlü bir ekran kartını (Tesla k80) ücretsiz olarak kullanabiliyor ve Python kodları çalıştırabiliyoruz.

Burada hücrenin üstündeki açıklamalarda o kod bloğunun ne iş yaptığı anlatılıyor. Soldaki play butonuna basarak o satırları çalıştırıyoruz. Burada çalıştırmadan önce üst menüden Runtime-Change runtime type bölümünden Python 3 ve Gpu seçeneklerinin seçildiğinden emin olun. Aşağıdaki ilk kod bloğunu çalıştırarak işe başlayın.

Şöyle bir uyarı çıkacaktır. Google Colab, Google verilerinize erişebilir bundan dolayı böyle bir onay çıkıyor. Run Anyway diyebilirsiniz.

Ayrıca Colab runtime’ı sıfırlamak için şu uyarı çıkacaktır bunu da onaylayalım.

Çalıştırma anında play butonu etrafında kesik kesik çizgiler döner. Çalışma bittiğinde buton aşağıdaki hali alır.

Aşağıdaki satırları da tek tek çalıştıralım. Sol tarafa iki köşeli parantez arasına mouse’u getirdiğinizde play butonu çıkar her kod bloğu için ona basarak ilerleyin.

Aşağıdaki kod bloguna kadar üsttekileri tek tek çalıştırın. source_url kısmına renklendirmek istediğiniz video adresini kopyalayın. burada render_factoru artırırsanız daha detaylı bir dönüştürme yapar ve daha uzun sürer. 21 hız/performans açısından bulunmuş optimum değerdir, o şimdilik kalsın. Sonra isterseniz artırıp denersiniz. Url’i girdikten sonra bu bloğu da çalıştırın.

Aşağıdaki bölümden videonun işlenme sürecini takip edebilirsiniz.

Burası 100% olup play butonu etrafındaki dönen çizgi durana kadar bekleyin.

İşlem bittikten sonra sol menüdeki Files tabına tıklayın. Aşağıdaki klasör hiyerarşisini takip edin ve dosyalarımız burada. Gelmediyse refresh butonuna basıp tekrar klasöre girin. Dönüştürdüğü videonun hem sesli hem sessiz versiyonunu oluşturuyor. Buradan sağ tıklayıp download diyerek indirebilirsiniz.

Artık siz de bir renklendiricisiniz tebrikler :)

Diğer renklendirdiğim videolara şu Youtube playlistden erişebilirsiniz.

Resimleri renklendirmek isterseniz buradan buyurun.

Atatürk Videosunu Nasıl Renklendirdim? was originally published in Bilişim Hareketi on Medium, where people are continuing the conversation by highlighting and responding to this story.

iOS Geliştiriciler için Makine Öğrenmesi #5: Görüntü İşleyen Bir Uygulamada En İyi Frame’i Nasıl Yakalarız?

iOS geliştiricilere makine öğrenmesi araçlarını tanıttığım yazı dizisinin önceki yazılarını okumadıysanız göz atmanızda fayda var.

CreateML ile Yazı Sınıflandırma

CreateML ile Görüntü Sınıflandırma

MLDataTable Nedir Nasıl Kullanılır?

Doğal Dil İşleme

Bu yazıda başarılı bir görüntü işleme için düzgün görüntüyü nasıl yakalayabileceğimizi inceleyeceğiz.

iOS platformunda görüntü işleyen ve video buffer’ı tüketen herhangi bir uygulama geliştirdiyseniz, burada kaynaklarınızı (CPU, GPU) kullanırken temkinli olmanız gerektiğini bilirsiniz. Mesela görüntü işleyen bir uygulamada kamera akışını takip edip görüntüdeki nesneleri tahminlemeye çalışıyorsanız burada kullanıcı kamerasını sağa sola çevirirken her frame’i işlerseniz yanlış sınıflandırmalar yapabilir ve gereksiz kaynak tüketebilirsiniz. Yüksek doğrulukla görüntü tahminlemek için görüntü sahnesinin stabil olduğu anı yakalamanız gerekir. Bu sorunu çözmek için Apple’ın önerdiği bir yöntem var bu yazıda bu yöntemi öğreneceğiz.

Frame’i yakalamak için basitçe iki seçeneğiniz var:

1. Kullanıcı resim çekme butonuna basar.
2. Sürekli video bufferından gelen framelerden en iyisini otomatik olarak yakalarsınız.

İlk seçenekte sahne sabitliğini kullanıcıya bırakırsınız. Hot dog uygulamasını hatırlayın o uygulamada kullanıcı fotograf çekip görüntü işlemek için bir butona basıyordu. Burada en iyi frame’i yakalama görevini kullanıcıya bırakıyoruz.

İkinci seçenekte ise kullanıcı kamerasını hedefe doğrulttuğunda en iyi görüntüyü yakalamak uygulamanın görevi.

Bu aşamada kullanıcının telefonu sabit tutup tutmadığını anlamamız ve sabit tuttuğunda görüntüyü yakalamamız gerekiyor. Neyse ki görüntü işleme tanrıları bu işi çözmüşler ve bize Vision frameworküyle registration algoritmasını sağlamışlar :)

Görüntü Çakıştırma (Image Registration)

Tam Türkçe karşılığını görüntü çakıştırma mı emin değilim. Makalelerde bu şekilde kullanılmış. Görüntü çakıştırma birbirine benzer görüntüleri hizalama problemi olarak tanımlanabilir. Bu görüntüler farklı zamanlarda, farklı açılardan veya farklı algılayıcılardan elde edilmiş olabilir.

Çakıştırma işleminde iki resmi üst üste bindiririz ve algoritma bize ‘Şu kadar pikseli kaydırırsan resimler tam olarak üst üste gelecek’ der. Frank Doepke’nin Vision with CoreML sunumunda, söylediği üzere ucuz ve hızlı bir algoritmadır ve bu algoritma bize kamerayı ne kadar sabit tuttuğumuzu ve kameranın önünde herhangi bir hareket olup olmadığını söyler.

Görüntü işleyen uygulamalarda kamera bufferından gelen her frame’i işlersek UI katmanında gecikmelere ve performans kaybına neden olabiliriz. Bu aşamada Apple, registration algoritmasını kullanarak sahnenin ve kameranın sabit olduğunu tespit etmemizi ve bu frame üzerinde sınıflandırma algoritmamızı çalıştırmamızı öneriyor.

Resimler Arasındaki Farkı Nasıl Ölçeriz?

Apple’ın Vision kütüphanesindeki VNTranslationalImageRegistrationRequest bu aşamada bize çözüm sağlıyor. Bu request ile video bufferdan gelen frame’in Vision kaynaklarını harcamaya deyip değmeyeceğini tespit edebiliyoruz. iOS platformunda kameraya erişen uygulamalar captureOutput:didOutputSampleBuffer:fromConnection delegate metodunu kullanarak framelere erişirler. Bu metot içinde aşağıdaki gibi registration requestini gibi çağırarak frame değişimini kontrol edeceğiz.Bu request ile görüntü analizi yaparak iki resmi hizalamak için gereken dönüşümü (affine transform) tespit edeceğiz.

Burada sequenceRequestHandler (VNSequenceRequestHandler) ve VNTranslationalImageRegistrationRequest nesnelerini kullanarak son 15 frame’i kaydediyor ve art arda gelen frameleri karşılaştırıyoruz. VNSequenceRequestHandler ile bir seri frame’in (bu case için 15 frame) her biri üzerinde görüntü analizi yaptırabiliyoruz. Bu algoritmada iki frame arasındaki Manhattan uzaklığı 20'den az ise sahnenin sabit olduğunu kabul ediyoruz.

Her şey tamam da Manhattan uzaklığı nedir? Mesela koordinat sisteminde 𝑥=(𝑎,𝑏) ve 𝑦=(𝑐,𝑑) şeklinde iki noktamız olsun.

Öklid uzaklığına göre iki nokta arasındaki uzaklık, bu iki noktayı birleştiren doğrunun uzaklığıdır.

Manhattan uzaklığında ise uzaklık, bu noktalardan geçen ve dik kesişen doğru parçalarının uzaklığı kadardır yani|𝑎−𝑐|+|𝑏−𝑑|.

Manhattan uzaklığını tespit ettikten sonra, image registration requestinin sonuçlarını kontrol edeceğiz. Burada request sonucu alignmentObservation.alignmentTransform olarak alınır ve sahnenin sabitliği kontrol edilir. RecordTransposition fonksiyonuyla son 15 frame sonucu transpositionHistoryPoints yığınına eklenir.

SceneStabilityAchieved fonksiyonu son 15 frame için bu sonuçları kontrol ederek sahne sabitliğini tespit eder. Yeterince stabil bir sahne yakalandıysa artık bu frame’i analiz etmek için Core ML’e iletebiliriz. Rastgele bir frame değil de bu şekilde sabit bir sahnenin olduğu frame’i ilettiğimiz için sınıflandırma algoritmamız daha başarılı çalışacaktır.

Sonuç

Bu yazıda görüntü çakıştırma yöntemini ve görüntüler arası Manhattan uzaklığını ölçerek sabit bir sahneyi nasıl yakalayabileceğimizi öğrendik. Bu yöntemle görüntü işleyen Core ML uygulamalarımız daha performanslı çalışacak ve daha az kaynak tüketecektir.

ViewController’ın tüm kodunu burada bulabilirsiniz.

Akıllı uygulama geliştirme yolunda bir adım daha attık bir sonraki yazıda görüşmek üzere.

Udemy’de hazırlayacağım iOS geliştiriciler için makine öğrenmesi kursundan beklentilerinizi şu formdan paylaşırsanız sevinirim.

Buraya kadar okuduğunuz için teşekkürler :) Benzer yazılardan haberdar olmak için beni Medium’da ve Twitter’da takip edebilir mail bültenime abone olabilirsiniz.

Esenlikle kalın, bol ML’li yıllar :)

Kaynaklar

• Training a Create ML Model to Classify Flowers
• Vision with Core ML - WWDC 2018 - Videos - Apple Developer

https://pdfs.semanticscholar.org/c723/ebf73d5a4deb3e9a901450307dea92a8839d.pdf

Görüntü İşleyen Bir Uygulamada En İyi Frame’i Nasıl Yakalarız? was originally published in NSIstanbul on Medium, where people are continuing the conversation by highlighting and responding to this story.