Добрый день.
Есть кто нибудь, кто может помочь разобраться и помочь подключить scala idea к кластеру hadoop
Я за**лся уже(
Сейчас процесс такой: пишу скрипт на scala, после загружаю на класстер и запускаю через spark submit
но мне хочется Для отладки скрипта, сразу это делать из scala idea. Есть такая возможность вообще?
@Varoninon
Готов взять уроки по подключению.
Привет, друзья! Сегодня я хочу поделится с вами одним из своих недавних проектов.
В свободное от работы (перекладывания json-ов) время я бывает пишу различные программки. Иногда придумываю что-то свое, иногда делаю клон других приложений. Не скажу, что пишу полезные программы, но зато это позволяет мне попрактиковать аспекты каких либо технологий. Главный критерий для моих проектов - идея должна быть простая и посильная для реализации одним человеком за относительно короткое время.
Кроме программирования я еще иногда занимаюсь фотографией. Фотографии свои я закидываю в Unsplash.
Так вот как то раз я заметил, что у Unsplash есть открытое API, которое предоставляет такие возможности как поиск фотографий, просмотр информации о фотографиях и, что меня заинтересовало, запрос статистики любого профиля. Во первых, мне всегда было интересно посмотреть число скачиваний/просмотров и список топовых фотографий других авторов. А еще после загрузки новых фотографий или включения фотографии в какой нибудь тематический раздел, всегда было интересно понаблюдать за статистикой скачиваний и просмотров своего профиля.
Именно для этих целей я написал телеграм-бота и назвал его Undicator (весь код открыт и доступен на гитхабе)
Демонстрация работы бота
Что делает Undicator? С его помощью, можно просматривать статистику загрузок и просмотров фотографий других авторов. Эта функция недоступна напрямую через Unsplash. Также Undicator позволяет подписываться на профили авторов и каждый день получать статистику скачиваний/просмотров. Еще есть функция просмотра самых топовых фотографий авторов - иногда бывает нужно вдохновиться чужими шедеврами (или просто позавидовать).
Возможно, кому-то ещё кроме меня будет интересен мой бот. Если у вас есть предложения или вопросы по проекту - жду вас в комментариях.
А я буду продолжать публиковать тут серию своих полезных (и не очень полезных) проектов.
Если в процессе изучения gRPC хотите попрактиковаться с Bidirectional Streaming (двунаправленная потоковая передача данных), c запросами в рамках одного соединения, инициированием событий со стороны сервера, то создание простого чата может быть отличным способом.
Текстовая версия на хабре - https://habr.com/ru/post/717846/
Задача называется Pipe and tap chaining operators
Про то как создать типы, которые могут принимать только определенные значения.
