Классы ламината: чем они различаются

• 31 класс — его применяют при домашней укладке. Это бытовое покрытие для помещений с низкой эксплуатационной нагрузкой. Его плюс — цена, она самая низкая. Ламинат 31 класса это самый недорогой способ уложить в доме покрытие, которое внешне будет смотреться, как натуральная древесина.
• 32 класс — этот ламинат для помещений со средней нагрузкой. Подходит для использования в небольших офисах, или дома — на кухне.
• 33 класс — этот ламинированный паркет выдержит интенсивную нагрузку. Его имеет смысл использоваться в больших офисах с большой концентрацией людей и движения.
• 34 класс — такой ламинат используют в местах массового посещения людей (например — торговых центрах). Этот паркет пригоден для уборки промышленными моющими машинами.

Классы износостойкости ламината и других напольных покрытий

Классы износостойкости ламината, пробкового пола, паркетной доски определяют, для какого помещения оптимально использовать напольное покрытие. Классификация выполняется на основе разнообразных тестов и строго регламентируется международными стандартами. Благодаря этому, несмотря на достаточно условные входные данные, класс напольного покрытия — наиболее точный параметр, на который можно ориентироваться при выборе пола для определенного помещения.

✔ Обратите внимание!

Класс применения (31, 32, 33, 34 и пр.) не определяет износостойкость рабочей поверхности, только толщину основы! При этом HDF плита имеет огромный запас прочности и даже самый низкий класс будет выдерживать огромные нагрузки. Износостойкость же определяет параметр АС, значения от 1 до 6. Например, АС6 — максимальная износостойкость. В большинстве случаев класс соответствует износостойкости, то есть 33 = АС5, 34 = АС6 и т. д. Однако это следует проверять при покупке, ведь не все продавцы одинаково добросовестны. 

Классы износостойкости напольных покрытий

Расшифровка цифровых значений

Классы применения обозначаются двухзначным числом. Первая цифра — тип помещения:

• 2 — для бытового применения.
• 3 — для коммерческого применения.
• 4 — для промышленного применения.

Вторая цифра обозначает предельно допустимый для конкретного материала уровень нагрузок и степень проходимости в помещении:

• 1 — низкая проходимость, малые нагрузки.
• 2 — средняя проходимость, умеренные нагрузки.
• 3 — высокая проходимость, большие нагрузки.
• 4 — без ограничений по проходимости, любые нагрузки.

Классификация весьма условная, но вполне достаточная для определения применяемости напольного покрытия.

В России класс 2Х с 2001 года аннулирован, поэтому ориентироваться стоит на классификацию 3Х — как для бытового, так и для коммерческого применения. Рекомендуем всегда выбирать напольное покрытие на класс выше расчетных нагрузок. Наиболее распространенный и долговечный — ламинат 34 класса износостойкости: для бытового применения сопровождается пожизненной гарантией при любых условиях эксплуатации.

Графическое обозначение

Таблица общепринятых соответствий характеристик

Приведенные в таблице данные справедливы, в первую очередь, для ламината. Также можно использовать значения для паркетной доски, пробкового пола и линолеума. Однако для винилового пола износостойкость рассчитывается иначе. Краткий обзор по классам износостойкости винилового ламината.

Тесты для определения класса ламината

Классификация на основании разнообразных тестов по EN 13329 для многослойных покрытий для пола:

• Основной — Табер-тест: к поверхности прикладывается абразивный круг, износостойкость определяет количество оборотов до полного истирания защитного слоя.
• Продолжительные механические нагрузки.
• Ударные нагрузки.
• Температурное воздействие (горящая сигарета, уголь).
• Расслаивание.
• Сохранение цвета и целостности структуры под УФ-лучами.
• Скольжение.
• Химустойчивость (к бытовым моющим средствам).
• Гигроскопичность (впитывание влаги, деформация).
• Формальдегидные выделения.

Приглашаем вас в салоны «ПоловЪ» в Москве и Одинцово: посмотреть образцы напольных покрытий, задать сопутствующие вопросы по эксплуатации и укладке менеджерам, заказать недорогую доставку и монтаж в удобное для вас время!

Компания «Паркет Класс 31»

• Представитель рынка деревянных напольных покрытий с 20-летним стажем успешной работы с неизменным кредо «Паркет и все для паркета»;

• Штат профессиональных паркетчиков и опыт паркетных работ на объектах любой сложности;

• Предложения широкого ассортимента продукции от ламината до напольных покрытий известных мировых производителей, а также эксклюзивных художественных полов выполненных на заказ.

• Гарантии на всю продукцию и паркетные работы.

• Широкий спектр деревянных напольных покрытий : штучный паркет, художественный паркет, модульный паркет, массивная доска, паркетная доска, ламинат;

• Профессиональные паркетные работы — услуги по укладке приобретенных материалов, их дальнейшему обслуживанию и уходу за готовым полом;

• Средства для сохранения и ухода за половым покрытием;

• Не только напольные покрытия, но и новые направления для комплексных решений в строительстве и интерьере: «Все для строительства и отделки из дерева», «Профессиональные средства защиты и крепежа», «Деревянные и дерево-алюминиевые евроокна», «Лестницы», «Межкомнатные двери», «Мебель», «Фанера».

• Коммерческие компании
• Государственные учреждения
• А также частные клиенты, которые:

— планируют делать ремонт в старой или новой квартире
— имеют самые разные финансовые возможности
— желают творчески поучаствовать в процессе создания своего интерьера
— ищут комплексное профессиональное решение вопроса по укладке пола.

Вместе с ним в наши дома входят тепло и нежность природы, уют и красота леса, трогательная беззащитность и в то же время мощь и прочность земли. Компания следит за новинками своих партнеров и тенденциями в мире интерьерной моды. В магазинах сети представлены все актуальные предложения по выгодной цене. «Паркет Класс 31» гордится налаженными связями со своими торговыми партнерами. Особые условия сотрудничества превращают цены в хорошее предложение на рынке. В компании «Паркет Класс 31» существует гибкая накопительная система скидок для постоянных клиентов. Выгодные условия для постоянных клиентов.

Ориентир наших сотрудников — помочь каждому клиенту. Внимательное отношение к каждому вопросу и индивидуальный подход являются основой нашего обслуживания. Компания участвует в специализированных семинарах и практических занятиях по продуктам и материалам для повышения профессионального уровня сотрудников. Специалисты «Паркет Класс 31» предлагают решения для полов «под ключ»: от выбора напольного покрытия до его укладки с применением необходимых продуктов и материалов для каждого этапа работы. Вы можете быть уверены в своем новом поле, который обязательно станет украшением всего дома.

Паркетная доска или ламинат, что лучше?

Что такое паркет и паркетная доска

Что такое паркет? Правильные знания дадут полную информацию о напольном покрытии. Читайте статью

Несмотря на многообразие ассортимента напольных покрытий, паркет в интерьере остается востребованным. Декоративный материал, кроме достойного внешнего вида, отличается экологичностью, так как изготавливается из натуральной древесины. Качество – в эпоху засилья стиролами – очень ценное. Статусность полам в загородном доме или квартире придают многочисленные виды покрытия, каждое из которых имеет свои преимущества.

Содержание:

Виды паркета

Основные категории включают в себя штучный, массивный и наборный паркет. К подвидам относят щитовой, художественный, пронто-паркет и паркетную доску. Каждый декоративный материал имеет свои особенности. Подробно:

Штучный паркет

Из чего делают паркет? Любой тип, класс и вид представляет собой ламели, изготовленные из твердых пород древесины с пазогребневыми замками для сцепки между собой. Толщина планок варьируется от 15 до 22 мм. Ширина и длина – 7,5 и 50 см – соответственно. Паркет этого вида отличается рисунком. Классификация следующая: натур, универсал, классик, антик, гест, селект, радиал, рустик. В зависимости от типа рисунка, распил может быть пестрым, иметь вкрапления сучков и заболони либо не допускать природных дефектов в принципе. Достоинства штучного паркета:

• Разнообразная укладка.
• Взаимозаменяемость в случае порчи ламели.

Долговечность и теплоемкость полов, укрытых штучным паркетом – вне сомнений.

Массивный паркет

От штучного его отличают габариты – широкая, от 8 см доска натуральной древесины имеет толщину от 15 мм, метры длины. Долговечность паркета превосходит описанный выше вид по этой же причине. Широкая палитра натуральных рисунков и оттенков придает помещениям достойный и дорогой стиль.Паркетная доска в интерьере – наиболее часто встречающийся вид напольного покрытия.

Мозаика – наборный паркет

Говорящее название паркета объясняет клиенту суть материала – особенностью становится тип крепления планок, так как рисунок не всегда предполагает правильную геометрию. От этого и классификация:

• Крепления на мягкие и твердые рейки.
• Фальцы.
• Косой паз.

Толщина ламелей стандартна – от 8 до 12 мм. Размеры – 40*40 мм, 60*60 мм. Достоинство в декоративной составляющей – с планками создается действительно авторский рисунок.

Щитовой паркет

Двухслойное покрытие состоящие из стабилизирующего щита ДВП или натуральной доски, и декоративного верхнего материала. Представлено в виде квадратов 80*80 мм. Особенность в изготовлении основания:

• Рамочное. Метод сборки клеевой или несквозной шип.
• Реечное со шпоном.
• Двухреечное – перпендикулярно склеивание удерживающих элементов.

Декоративный слой изготавливается из фанеры, шпона, планок паркета. Достоинство в красоте – некоторые варианты изготавливаются под заказ.

Художественный паркет

Нередко, материал носит название – дворцовый. На редкость красивый вариант, претендующий на эпитет «произведение искусства». Соответственна и цена – паркет изготавливается из различных пород дерева, по-разному реагирующих на окружающую среду. Будущие параметры определяются компьютерной техникой.

Пронто

Один из видов штучного паркета, изготавливаемого методом многослойности. Различные породы древесины подгоняются месяцами, затем обрабатываются сложными механизмами. В процесс обязательно входит термообработка и лакирование – методы, повышающие эксплуатационные характеристики паркета.

Паркетная доска

Трехслойный вариант, пользующийся наибольшей популярностью у покупателей – он ниже в стоимости, чем перечисленные выше. Тем не менее на качестве это не отражается. Ламель состоит из натуральной древесины – нижний слой всегда из хвойных пород. Параметры доски – до 21 мм по ширине, 23 мм толщины, 120 – длины. Декоративный слой может имитировать мозаику, состоять из нескольких плашек. Достоинства:

• Простота укладки.
• Устойчивость к влажным и агрессивным проявлениям.

Доска, покрытая лаком, со временем теряет свой лоск, однако, недостаток исправляется шлифовкой и новым покрытием. Устройство пола из паркетной доски – наиболее традиционно.

Назначение паркета

Применение дорогостоящего напольного покрытия – требовательно к конкретным помещениям. Натуральная древесина капризна, и допустить ее ранней порчи нельзя. Так, выделяют зоны – входные или жилые. Варианты устройства паркетного пола, следующие:
<liГостиная – главная комната дома. Для декорирования пола применим пронто-паркет, художественный, наборный. Сочетание разных пород дерева вкупе с авторским рисунком – произведет должное впечатление.

• Спальни, детские. Они не обладают большой проходимостью, однако, нуждаются в хорошем утеплении и звукоизоляции. Здесь как нельзя лучше подойдет паркетная доска или массив.
• Прихожие. Кроме большой проходимости, здесь наличествует агрессивная среда – перепады температур, влажность. Лучше не использовать разновидности паркета цельным полотном впритык к дверям, а использовать вставки. Участок у проема необходимо выложить плиткой, а между декоративными материалами устроить компенсационные вставки.

Отдельный разговор о кухнях и столовых – помещениях с повышенной влажностью. Аналогично с прихожими, там не устраивается широкого покрытия. Допустимы вставки в сочетании с виниловыми основаниями или плиткой. Ванные комнаты и санузлы с паркетным покрытием – исключены.

Как выбрать паркетную доску

Недостаточно остановить свой выбор только на красивом рисунке или приемлемой стоимости, когда речь идет о покупке паркетной доски. Древесина – а покрытие полностью состоит из натурального сырья – капризна. Она подвержена перепадам температур и влажности. Для того чтобы выбор не стал напрасным, следует познакомиться с материалом ближе – знания полезны всегда.

Виды паркетной доски

Что такое паркетная доска для пола? Покрытие представляет собой трехслойную конструкцию, где каждый компонент укладывается перпендикулярно друг другу. Основа для жесткости – хвойные породы дерева. Предотвращение от деформации – внутренний слой из ДВП или доски. Декоративная отделка – шпон из ценных пород. Два нижних слоя – традиционны, а верхний многообразен, оттого и

Виды паркетной доски:

1. Однополосная доска. Шпон ложиться по всей поверхности, представляя собой единое целое. Рисунок крупный, четкий.
2. Двухполосная доска. Шпон укладывается в два ряда и каждый из них может быть разделен на части.
3. Трехполосная и четырехполосная паркетная доска изготавливается по тому же принципу. Внешний вид достоин.

Кроме типа декоративного верхнего слоя, классификация и технические характеристики паркетной доски идут по методу распила: радиальный – по сердцевине дерева, тангенциальный – по годовым кольцам, рустик – совмещающий в себе оба варианта. По методу распила получают селекцию верхних слоев паркетной доски – необходимую декоративность.

Например:

• Радиал. Поверхность лишена природных дефектов и считается лучшей. Однако, лишена оригинальности – рисунок без замысла, чистый, хорошо подобранный. Используется для производства щитового паркета.
• Стандарт. Также недопустимы вкрапления сучков и заболони, но рисунок глубже, четче.
• Натур. Смешанный тип распила, следовательно, допускаются пестрые вставки природных дефектов. Отчего доска выигрывает по красоте.
• Рустик. Другое название «Кантри». Оттого и вид – яркие переходы, прожилки, волокна заболони, крупные сучки.
• Эконом. По названию определяется разный тип распила, допускаются дефекты. Тем не менее это мало влияет на природную красоту древесины – она не повторяется ни в одной ламели.

Каждому виду соответствует цена, но большой дешевизны ждать от паркетной доски – нельзя. Это натуральный продукт с многочисленными этапами обработки.

Критерии выбора

Виды паркета многочисленны – как выбрать? Важно подобрать будущее покрытие согласно интерьеру всего помещения и стиля комнаты. Но есть и другие параметры, на которые стоит обратить внимание до покупки:

1. Практичность. Паркетная доска не останется в первоначальном виде вечно. Со временем на поверхности будут появляться царапины, сколы лака. Темную фактуру замаскировать тяжело, но если выбран этот оттенок, то придется приготовиться к постоянному уходу и поддержанию красоты.

1. Масло или лак. Значение имеет оттенок паркетной доски – лак безупречно смотрится на светлом дереве, масло – на темном.
2. Термообработке – да. Паркетная доска, предварительно обработанная высокими температурами, меньше подвержена механической порче. К сожалению, некоторые сорта древесины закаленные подобной процедурой реагируют потерей цвета при попадании солнечных лучей, но это случится нескоро и имеет свою прелесть.
3. Тип замка. Пазогребневые соединения – в приоритете.
4. Тандем с теплыми полами. Решаясь на покрытие из паркетной доски важно знать, что породы, впитывающие влагу и нагреваемые изнутри, придут в плачевное состояние очень быстро.
5. Натуральность или тонировка. Получить единый по цвету пол удастся, если партия паркетной доски прошла обработку тоном. Но впоследствии восстановить внешний вид покрытия нелегко в отличие от натурального дерева, не имеющего точного совпадения в оттенках.

Полезная информация

И в заключение – паркетная доска должна быть сухой. Недобросовестные производители стремятся реализовать товар без должной обработки. Неподготовленным покупателям трудно отличить качество от некондиционных ламелей. Если что-либо вызывает настороженность – запах, внешний вид, тяжесть – от покупки следует отказаться. Недурно провести тест с каплей йода – на сыром дереве с изнанки – она посинеет.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

как выбрать и какой лучше?

Лидирующие позиции на рынке напольных покрытий, имитирующих натуральный пол, занимает ламинат. Его востребованность объясняется доступной ценой, длительным сроком эксплуатации и разнообразием декоров. 

Покупатели при выборе обращают внимание на его характеристики: бренд, страну производства, размеры, толщину, цвет и всегда смотрят на класс износостойкости ламината. При этом на рынке можно найти напольное покрытие одинакового класса, но с разницей в цене в несколько раз. Это говорит о том, что на этот параметр нужно обращать внимание, но при этом не забывать о других. К тому же каждый производитель использует различные технологии, с помощью которых покрытия достигают нужных значений для нормативов, что может сказаться на качестве, экологичности и конечной стоимости ламината.

Зачем делить ламинат на классы?

Учитывая популярность данного типа напольных покрытий, быстро увеличивалось количество фабрик по его производству. В связи с этим было принято решение о создании контролирующей организации, которая бы отслеживала качество продукции и не допускала к продаже низкокачественный товар.

Чтобы упростить выбор покупателю и защитить его от некачественного товара, введено деление покрытия по различным характеристикам,  а также четко определены нормы и стандарты определения класса износостойкости ламината.

Классическая ламель имеет четыре слоя:

• Стабилизирующий (нижний) – отвечает за стабилизацию плиты и влагозащитные свойства.
• Основа – ДВП высокой плотности, отвечает за долговечность доски. В нем вырезаются замки.
• Декоративная бумага с рисунком, повторяющим структуру древесины, камня и прочих натуральных материалов.
• Ламинированное покрытие, созданное на основе меламина. Обеспечивает устойчивость к износу, истиранию и механическим повреждениям.

Как определяется класс 

Класс, по сути, обозначает тип помещения, в котором напольное покрытие может быть уложено: бытовой или коммерческий, при этом производитель присваивает определенный гарантийный срок своей продукции в зависимости от вида использования.

Определение класса износостойкости происходит по результатам порядка 20-ти испытаний, которые рассчитаны на выявление качества покрытия. В требованиях четко определены минимальные и максимальные границы допусков по различным нагрузкам, что позволяет безошибочно отнести продукцию к тому или иному классу, а также упростить выбор для покупателя. На данный момент на рынке встречаются следующие значения – 31, 32, 33, 34, определяемые по европейской норме EN 13329.

Характеристика классов

Классификация ламината по классам износостойкости:

• 31 класс ламината – рассчитан на слабые нагрузки, предпочтительно укладывается в спальнях.
• 32 класс – подходит для домашней эксплуатации: спальные, детские комнаты, кухни, гостиные, также возможен монтаж в небольших офисных помещениях.
• 33 класс ламината – рассчитан на коммерческие помещения: офисы, магазины, кафе и т.д. 
• 34 класс – производится для объектов с максимальным уровнем нагрузки – рестораны, торговые центры, супермаркеты. 

Выбирая ламинат по классу износостойкости для квартиры, не следует переплачивать. Производители для бытового использования рекомендуют 32 класс, рассчитанный на эксплуатацию в течение 15-25 лет. Покупать материал с более высоким значением порой бессмысленно, так как в домашних условиях нет таких сильных нагрузок. Лучше обратить внимание на проверенных европейских производителей.

Тесты определения классов ламината

Специальные тесты позволяют определить ряд параметров:

1. Класс износостойкости. 

Выполняется при помощи Табер-теста: на поверхности доски вращается специальная круговая машинка с абразивом, а далее замеряется, через какое количество оборотов произойдет истирание защитного слоя.

Степень износа поверхности зависит от количества сверхпрочного минерала — коррунда – оксида Алюминия. Чем его больше, тем труднее оставить царапину.

2. Ударопрочность. 

Для теста применяют металлический шар, который бросают на доску. Чтобы достичь требуемого показателя, необходимо чтобы на поверхности не осталось каких-либо деформаций, при условии, что шар выпускается с определенной силой.

3. Влагостойкость. 

На протяжении 24 часов плашка ламината помещается в воду. По истечению тестового периода специалисты оценивают насколько расширилась доска. Важно отметить, что для продукции 32 и 33 класса процентные показатели одинаковые.

4.Способность выдерживать длительные нагрузки
5. Продавливаемость тяжелыми предметами, ножками от мебели.
6. Протертости от кресла на колесиках.
7. Устойчивость к образованию пятен.
8. Стойкость к изменению цвета под УФ лучами.
9. Отсутствие расслоения.
10. Проверка на горючесть (зажжённой сигаретой или углем).
11. Сопротивление скольжению.
12. Стойкость к химическим бытовым средствам.
13. Количество выделяемых веществ.

В результате таких подходов удается определить эксплуатационные характеристики, на основе которых и присваивается соответствующий класс. Важно отметить, что некоторые параметры одной модели могут соответствовать разным классам. К примеру, бывает ламинат 33-й, но с классом износостойкости AC6, не дотянул до 34-го по другим параметрам.

С учетом перечисленных характеристик и особенностей покупателю удастся подобрать ламинат под конкретные условия эксплуатации, при этом не переплачивать за неиспользуемые свойства.

Селекция древесины в производстве паркетной доски и других видов паркета

Селекция — одна из характеристик паркета, описывающая его внешний вид и влияющая на его цену. Обычно прослеживается закономерность: чем выше класс селекции, тем паркет дороже. Рассмотрим, какие бывают системы отбора и классы селекции в России и других странах мира.

Классы селекции

Селекция, или сортировка, нужна для того, чтобы отделить доски по внешнему виду, распределив их на классы. Проще всего понять, как работает селекция, на примере. Вот какие классы древесины для изготовления паркетной доски приняты в Великобритании:
        Prime Grade — самый высокий класс деревянных полов. Его также часто называют AB-high grade. Вырезанная из центра бревна, древесина этого класса однородна по своему внешнему виду и имеет очень мало свилеватостей и контрастных прожилок. Содержание сока в этой древесине очень низкое. Цветовая вариация плашек минимальна, но присутствует, поскольку древесина — натуральный продукт с непредсказуемой текстурой. Паркет из древесины премиум-класса имеет очень благородный и нейтральный вид.

        Select Grade — следующий класс деревянных полов. Его второе название — ABC. Древесина этого сорта может иметь выраженные свилеватости и прожилки, но меньше, чем в следующем классе. Дерево содержит немного сока и имеет некоторые вариации оттенка.

        Natural — ещё более низкий класс сортировки. Часто упоминается как прогон мельницы или класс ABCD. Эти доски имеют много цветовых вариаций, свилеватостей и сока. Может иметь отреставрированные сучки, подчеркивающие естественное многообразие рисунка натурального дерева.

        Rustic Grade — последний класс деревянных полов. Он включает в себя ещё более широкий диапазон цветовых вариаций, сока и различных свилеватостей и выраженных волокон. Такой тип доски применяется для эффекта винтажных полов, а также в интерьерах рустикального, кантри и шале.

Отличия во внешнем виде паркета разных сортов

Селекция и распил

Внешний вид доски или планки паркета зависит от распила древесины на производстве. Различают радиальный и тангенциальный распил. Радиальный — это когда бревно распиливают по радиусам. В результате получаются планки с однородной текстурой, рисунок годичных колец на них представляет собой параллельные линии. Такие доски более прочные и стабильные, но их себестоимость дороже, т. к. при радиальном распиле выход древесины гораздо меньше, чем при тангенциальном.

При тангенциальном распиле выход подходящей по качеству древесины гораздо выше, но при этом рисунок волокон имеет больше завитков и неровностей. В некоторых системах селекции планки радиального распила выделяются в отдельные классы «радиал» и «радиал селект», чтобы подчеркнуть их однородность и высокое качество.

Зависимость внешнего вида доски от способа распила бревна

Самая распространённая схема селекции паркета

В России нет регламентированной системы сортировки древесины — каждый производитель применяет свою. Согласно ГОСТ 862.1—85 «Изделия паркетные. Паркет штучный. Технические условия» 1985 года, штучный паркет может быть двух сортов — высшего и первого.

Высший сорт древесины — селект — подразумевает максимально чистую от неровностей, червоточин и пятен поверхность и небольшое отклонение в цвете у планок/досок в упаковках. Второй сорт — натур — допускает больше вариаций оттенков и наличие выразительных деталей вроде свилеватости и небольших сучков. Наконец, рустик — самый выразительный сорт древесины с большим количеством прожилок и неровностей, сучками и трещинами. Иногда именно такой паркет требуется для создания нужного настроения в интерьере.

Грубо не значит дёшево

Иногда древесина более низкого класса стоит дороже, чем более высокого.
Этот паркет стоит 10 592 рубля за квадратный метр

scala — Как с помощью Spark преобразовать данные паркета в классы case?

У меня есть множество классов case, которые я использовал в Spark для сохранения данных в виде паркета, например:

  case class Person (userId: String,
              технический: Вариант [Технографический] = Нет,
              geographic: Option [Geographic] = Нет)

case class Technographic (браузеры: Seq [Browser],
                     устройства: Seq [Устройство],
                     oss: Seq [Os])

case class Browser (семейство: String,
               основная: Option [String] = None,
               язык: Строка

...
  

Как я могу преобразовать данные на диске обратно в эти классы случаев?

Мне нужно иметь возможность выбрать несколько столбцов и разложить их так, чтобы для каждого списка (например, браузеров ) все подсписки имели одинаковую длину.

Например, С учетом этих исходных данных:

  Человек (userId = "1234",
  technographic = Некоторые (Technographic (браузеры = Seq (
    Браузер (family = Some ("IE"), major = Some (7), language = Some ("en")),
    Браузер (family = None, major = None, language = Some ("en-us")),
    Браузер (family = Some ("Firefox), major = None, language = None)
  )),
  geographic = Некоторые (Географические (...))
)
  

Мне нужно, например чтобы данные браузера были следующими (а также возможность выбора всех столбцов):

  family = IE, major = 7, language = en
family = None, major = None, language = en-us
family = Firefox, major = None, language = None
  

, которое я мог бы получить, если бы искра могла взорвать каждого элемента списка. В настоящее время он будет делать что-то вроде (и в любом случае explode не будет работать с несколькими столбцами):

  browsers.family = ["IE", "Firefox"]
браузеры.major = [7]
browsers.language = ["en", "en-us"]
  

Итак, как я могу восстановить запись пользователя (весь набор классов case, которые создали строку данных) из всех этих вложенных дополнительных данных с помощью Spark 1.5.2?

Один из возможных подходов:

  val df = sqlContext.read.parquet (inputPath)
df.registerTempTable ("человек")
val fields = df.select ("desc person")
df.select ("выбрать * от человека"). map {x =>
  ... // каким-то образом заархивировать `поля` значениями, чтобы я мог
      // доступ к значениям по имени столбца вместо индекса
      // (который хрупкий), но как?
}
  

apache spark — считывает паркет как список объектов класса case в Scala

Как прокомментировал Луис Мигель, большая часть API набора данных помечена как экспериментальная, но уже несколько лет стабильна и используется в производственной среде.

Проблема с Dataset.as [U]

Вы совершенно правы, что простое использование .as [MyCaseClass] имеет несколько тонких отличий от явного создания экземпляра класса case: наиболее важным из них является то, что Dataset.as [U] не гарантирует, что ваш набор данных содержит только столбцы определенный типом U, он может хранить дополнительные данные, которые могут нарушить вычисления позже.

Вот пример:

  импорт орг.apache.spark.sql._
импортировать org.apache.spark.sql.functions._

case class MyData (значение: Int)

val df: DataFrame = spark.createDataset (Seq (1,1,2,3)). withColumn ("скрытый", rand)

val ds: набор данных [MyData] = df.as [MyData]

ds.distinct.count
res3: Long = 4
  

Набор данных ds сохраняет значение скрытого столбца , даже если оно не определено в типе MyData, и это может привести к неожиданным результатам: кто-то, смотрящий на набор данных ds как на набор MyData выше, наверняка ожидает отдельного подсчета быть 3, а не 4.

Как безопасно преобразовать в набор данных [MyData]?

Если вы явно хотите сохранить только столбцы класса дела в наборе данных, есть очень простое решение (но с неоптимальной производительностью): извлечь его как RDD и повторно преобразовать в набор данных [U].

  val ds = df.as [MyData] .rdd.toDS ()

ds.distinct.count
res5: Long = 3
  

По сути, он делает именно то, что делает ваш flatMap , с той же стоимостью: Spark необходимо десериализовать данные из своего внутреннего формата строки, чтобы создать экземпляр класса дела и повторно сериализовать его во внутреннюю строку.Он генерирует ненужный мусор, увеличивает нагрузку на память и может нарушить оптимизацию кодогенерации WholeStage.

На мой взгляд, лучший способ — просто выбрать необходимые столбцы из исходного DataFrame при приведении набора данных к указанному классу case. Это предотвратит большинство нежелательных побочных эффектов как [U] , но без затрат на десериализацию / сериализацию.

Элегантный способ сделать это — использовать способность Scala расширять поведение существующих классов и экземпляров с помощью неявных классов:

  импорт scala.отражать.runtime.universe.TypeTag
импортировать org.apache.spark.sql._

object SparkExtensions {
  неявный класс ExtendedDataFrame (df: DataFrame) {
    def до [T <: Product: TypeTag]: Dataset [T] = {
      import df.sparkSession.implicits._
      импортировать org.apache.spark.sql.functions.col
      df.select (Encoders.product [T] .schema.map (f => col (f.name)): _ *). as [T]
    }
  }
}
  

С помощью указанного выше объекта я теперь могу изменить свой исходный код:

  импорт SparkExtensions._

val ds: набор данных [MyData] = df.в [MyData]

ds.distinct.count
res11: Long = 3

ds.printSchema
корень
 | - значение: целое число (обнуляемое = ложное)
  

паркет4с

Простой ввод-вывод для паркета. Позволяет легко читать и записывать файлы Parquet в Scala.

Используйте только класс случая Scala для определения схемы ваших данных. Нет необходимости использовать Avro, Protobuf, Thrift или другие системы сериализации данных. Вы можете использовать общие записи, если не хотите также использовать класс case.

Совместим с файлами, созданными с помощью Apache Spark.Однако, в отличие от Spark, вам не нужно запускать кластер для выполнения операций ввода-вывода.

На основе официальной библиотеки Parquet, клиента Hadoop и Shapeless.

Интеграции для Akka Streams и FS2.

выпущен для Scala 2.11.x, 2.12.x и 2.13.x. Интеграция с FS2 доступна для версий 2.12.x и 2.13.x.

Учебник

1. Быстрый старт
2. AWS S3
3. Akka Streams
4. ФС2
5. Фильтрация перед считыванием или выталкивание фильтра
6. Схема проекции
7. Статистика
8. Поддерживаемые типы хранилищ
9. Поддерживаемые типы
10. Общие записи
11. Настройка и расширяемость
12. Другие примеры
13. Содействие

Быстрый старт

SBT

 libraryDependencies ++ = Seq (
  "com.github.mjakubowski84 "%%" parquet4s-core "%" 1.9.3 ",
  "org.apache.hadoop"% "hadoop-client"% yourHadoopVersion
) 

Мельница

 def ivyDeps = Agg (
  ivy "com.github.mjakubowski84 :: parquet4s-core: 1.9.3",
  плющ "org.apache.hadoop: hadoop-client: $ yourHadoopVersion"
) 

 import com.github.mjakubowski84.parquet4s. {ParquetReader, ParquetWriter}

case class User (userId: String, name: String, created: java.sql.Timestamp)

val пользователи: Iterable [User] = Seq (
  Пользователь («1», «паркет», новый java.sql.Timestamp (1L))
)
val path = "путь / к / локальному / паркету"

// письмо
ParquetWriter.writeAndClose (путь, пользователи)

// чтение
val parquetIterable = ParquetReader.read [Пользователь] (путь)
пытаться {
  parquetIterable.foreach (println)
} наконец parquetIterable.close () 

AWS S3

Для подключения к AWS S3 необходимо определить еще одну зависимость:

 "org.apache.hadoop"% "hadoop-aws"% yourHadoopVersion 

Далее наиболее распространенным способом является определение следующих переменных среды:

 экспорт AWS_ACCESS_KEY_ID = my.aws.key
экспорт AWS_SECRET_ACCESS_KEY = my.secret.key 

Следуйте документации Hadoop AWS для получения дополнительных сведений и устранения неполадок.

Программная передача конфигураций Hadoop

для S3, GCS или Hadoop также можно задать программно для ParquetReader и ParquetWriter , передав объект Configuration классам ParqetReader.Options и ParquetWriter.Options .

Акка ручей

Parquet4S имеет модуль интеграции, который позволяет читать и записывать файлы Parquet с помощью Akka Streams. Только импорт:

 "com.github.mjakubowski84" %% "parquet4s-akka"% "1.9.3"
"org.apache.hadoop"% "hadoop-client"% yourHadoopVersion 

Parquet4S имеет один Source для чтения отдельного файла или каталога, Sink s для записи одного файла и сложный Flow для выполнения сложных операций записи.

 import com.github.mjakubowski84.parquet4s. {ParquetStreams, ParquetWriter}
импортировать org.apache.parquet.hadoop.ParquetFileWriter
import org.apache.parquet.hadoop.metadata.CompressionCodecName
импортировать akka.actor.ActorSystem
импортировать akka.stream. {ActorMaterializer, Materializer}
импортировать akka.stream.scaladsl.Source
импортировать org.apache.hadoop.conf.Configuration
импортировать scala.concurrent.duration._

case class User (userId: String, name: String, created: java.sql.Timestamp)

неявная система val: ActorSystem = ActorSystem ()
неявный материализатор val: Materializer = ActorMaterializer ()

val пользователи: Iterable [User] = ???

val conf: Configuration = ??? // Программная установка конфигурации Hadoop

// Пожалуйста, проверьте все доступные параметры конфигурации!
val writeOptions = ParquetWriter.Параметры(
  writeMode = ParquetFileWriter.Mode.OVERWRITE,
  CompressionCodecName = CompressionCodecName.SNAPPY,
  hadoopConf = conf // необязательный hadoopConf
)

// Записывает один файл.
Источник (пользователи) .runWith (ParquetStreams.toParquetSingleFile (
  path = "file: ///data/users/user-303.parquet",
  options = writeOptions
))

// Специально для записи неопределенных потоков.
// Записывает файл, когда чанк достигает предельного размера или истекает определенный период времени.
// Можно также разбивать файлы!
// Проверяем все параметры и примеры использования в исходниках проекта.Источник (пользователи) .via (
  Паркет
    .viaParquet [Пользователь] ("файл: /// данные / пользователи")
    .withMaxCount (writeOptions.rowGroupSize)
    .withMaxDuration (30 секунд)
    .withWriteOptions (параметры записи)
    .строить()
) .runForeach (user => println (s "Только что написал пользователя $ {user.userId} ..."))
  
// Читает файл или файлы по пути. Также ознакомьтесь с остальными параметрами.
ParquetStreams.fromParquet [Пользователь]
  .withOptions (ParquetReader.Options (hadoopConf = conf))
  .read ("файл: /// данные / пользователи")
  .runForeach (println) 

FS2

FS2 позволяет читать и писать Parquet с помощью функциональных потоков.Функциональность точно такая же, как и у модуля Akka. Для использования импортируйте:

 "com.github.mjakubowski84" %% "parquet4s-fs2"% "1.9.3"
"org.apache.hadoop"% "hadoop-client"% yourHadoopVersion 

Пожалуйста, проверьте примеры, чтобы узнать больше.

Фильтрация перед считыванием или раскрытие фильтра

Одна из лучших особенностей Parquet — эффективный способ фильтрации. Файлы Parquet содержат дополнительные метаданные, которые можно использовать для удаления фрагментов данных без их сканирования.Parquet4S позволяет определять предикаты фильтров во всех модулях, чтобы вытеснить фильтрацию из коллекций Scala и потока Akka или FS2 до точки, прежде чем содержимое файла будет даже прочитано.

Вы определяете свои фильтры, используя простую алгебру, как показано ниже.

В основной библиотеке:

 ParquetReader.read [Пользователь] (path = "file: // my / path", filter = Col ("email") === "[email protected]") 

В Akka фильтр применяется как к содержимому файлов, так и к разделам:

 Паркетные потоки.fromParquet [Статистика]
  .withFilter (Col ("stats.score")> 0.9 && Col ("stats.score") <= 1.0)
  .read ("файл: // мой / путь") 

Вы можете построить предикаты фильтра, используя операторы === , ! == , > , > = , <, <= , в и udp в столбцах, содержащих примитивные значения. . Вы можете комбинировать и изменять предикаты, используя && , || и ! операторов. в ищет значения в списке ключей, аналогично оператору SQL в . Для пользовательской фильтрации по столбцу типа T реализуйте признак UDP [T] и используйте оператор udp .

Имейте в виду, что операции с java.sql.Timestamp и java.time.LocalDateTime не поддерживаются, поскольку Parquet по-прежнему не позволяет выполнять фильтрацию с помощью Int96 из коробки.

Проверьте ScalaDoc и код, чтобы узнать больше!

Схема проекции

Проекция схемы - еще один способ оптимизации чтения.По умолчанию Parquet4S считывает все содержимое каждой записи Parquet, даже если вы предоставляете класс case, который отображает только часть столбцов. Такое поведение ожидается, потому что вы можете использовать общие записи для обработки ваших данных. Однако вы можете явно указать Parquet4S использовать предоставленный класс case (или неявный ParquetSchemaResolver ) в качестве переопределения для исходной схемы файла. Фактически, все столбцы, не соответствующие вашей схеме, будут пропущены и не прочитаны. Эта функция доступна в каждом модуле Parquet4S.

 // ядро
ParquetReader.withProjection [Пользователь] .read (path = "file: // my / path")

// акка
ParquetStreams.fromParquet [Пользователь] .withProjection.read ("файл: // мой / путь")

// fs2
import com.github.mjakubowski84.parquet4s.parquet._
fromParquet [ввод-вывод, пользователь] .projection.read (блокировщик, "файл: // мой / путь") 

Статистика

Parquet4S использует метаданные Parquet для эффективного считывания количества записей, а также максимального и минимального значения столбца файлов Parquet. Он обеспечивает правильное значение как для отфильтрованных, так и для нефильтрованных файлов.Функциональность доступна в основном модуле либо прямым вызовом Stats, либо через API ParquetReader и ParquetIterable .

Поддерживаемые типы хранилищ

Поскольку Parquet4S основан на клиенте Hadoop, он может читать и записывать данные из различных файловых систем:

• Локальные файлы
• HDFS
• Amazon S3
• Хранилище Google
• Лазурный
• OpenStack

Обратитесь к документации клиента Hadoop или к поставщику хранилища, чтобы узнать, как подключиться к хранилищу.

Поддерживаемые типы

Примитивные типы

Сложные типы

Сложные типы могут быть вложены произвольно.

• Опция
• Список
• Seq
• Вектор
• Набор
• Массив - массив байтов рассматривается как примитивный двоичный файл
• Карта - Ключ должен быть примитивного типа , только неизменяемая версия .
• Начиная с версии 1.2.0 . Любая коллекция Scala, имеющая фабрику коллекций Scala 2.13 (в 2.11 и 2.12 она является производной от CanBuildFrom). Относится как к изменяемым, так и к неизменяемым коллекциям.Коллекция должна быть ограничена только одним типом элемента - из-за этого Map поддерживается только в неизменяемой версии (на данный момент).
• Класс любого корпуса

Общие отчеты

Возможно, вы захотите не использовать строгую схему и обрабатывать данные общим способом. Начиная с версии 1.2.0 Parquet4S имеет богатый API, который позволяет легко создавать, преобразовывать, записывать и читать записи Parquet. Каждая реализация ParquetRecord представляет собой Scala Iterable и изменяемую коллекцию.Вы можете выполнять операции с RowParquetRecord и ListParquetRecord как с изменяемым Seq , а также с MapParquetRecord как с изменяемым Map . Более того, записи получили функции сложения, такие как get и add (и более), которые принимают неявный ValueCodec и позволяют читать и изменять записи с использованием обычных типов Scala. По умолчанию используется ParquetRecordEndcoder , ParquetRecordDecoder и ParquetSchemaResolver для RowParquetRecord , поэтому обычное чтение Parquet работает прямо из коробки! Для написания вам все равно необходимо предоставить схему в виде MessageType Parquet.

Функциональность доступна во всех модулях. См. Примеры.

Настройка и расширяемость

Parquet4S построен с использованием системы классов типов Scala. Это позволяет вам расширять Parquet4S, определяя собственные реализации его классов типов.

Например, вы можете определить свои кодеки собственного типа, чтобы их можно было читать или записывать в Parquet . Предположим, у вас есть свой тип:

 case class CustomType (i: Int) 

Вы хотите сохранить его как необязательный Int .Для этого вам нужно определить свой собственный кодек:

 import com.github.mjakubowski84.parquet4s. {OptionalValueCodec, IntValue, Value}

неявный val customTypeCodec: OptionalValueCodec [CustomType] =
  новый OptionalValueCodec [CustomType] {
    переопределить защищенный def decodeNonNull (значение: Value, конфигурация: ValueCodecConfiguration): CustomType = value match {
      case IntValue (i) => CustomType (i)
    }
    переопределить защищенный def encodeNonNull (данные: CustomType, конфигурация: ValueCodecConfiguration): Value =
      IntValue (данные.я)
} 

Кроме того, если вы хотите написать свой собственный тип, вы должны определить для него схему:

 import org.apache.parquet.schema. {LogicalTypeAnnotation, PrimitiveType}
import com.github.mjakubowski84.parquet4s.ParquetSchemaResolver.TypedSchemaDef
import com.github.mjakubowski84.parquet4s.SchemaDef

неявное значение customTypeSchema: TypedSchemaDef [CustomType] =
    SchemaDef.primitive (
      primitiveType = PrimitiveType.PrimitiveTypeName.INT32,
      required = false,
      originalType = Option (LogicalTypeAnnotation.intType (32, истина))
    ) .typed [CustomType] 

Для фильтрации по полю произвольного типа T необходимо реализовать класс типа FilterCodec [T] . Проверьте существующие реализации для справки.

Еще примеры

Пожалуйста, проверьте примеры, где вы можете найти простой код, охватывающий основы для модулей core , akka и fs2 .

Кроме того, примеры содержат два простых приложения, включающих Akka Streams или FS2 и Kafka.Он показывает, как вы можете записывать многораздельные файлы Parquet с данными, поступающими из неопределенного потока.

Вклад

Хотите внести свой вклад? Пожалуйста, прочтите инструкции по взносам.

ADF выдает ошибку: обнаружена непредвиденная ошибка при заполнении буфера чтения записи ClassCastException

Сегодня мы хотим написать об очень интересном случае, над которым наша команда Пратхибха Вемулапалли, Чарл Ру и я работали на этой неделе.

Создан паркетный файл с более чем 100 столбцами для импорта в AzureDW с помощью фабрики данных Azure. Файл имел разные типы данных. Итак, прежде чем я углублюсь в ошибку и процесс устранения неполадок. Позвольте мне шаг за шагом рассказать об окружающей среде.

Ставьте по-простому. Эта среда имеет паркетный файл в качестве источника, SQL DW в качестве назначения, работающего в ADF.

Как показано на рисунках 1,2 и 3:

Рисунок 1. Определение хранилища BLOB-объектов

Рисунок 2: Определить файл Parquet

Рисунок 3: Определение исходного файла

Назначением является SQL DW, как показано на рисунке 4:

Рисунок 4: Определение места назначения данных

После того, как таблица была определена в соединителе SQLDW.Трубопровод должен быть создан с источником (паркет), приемником (SQLDW), как показано на рисунке 5:

Рисунок 5: трубопровод

Опубликуйте все изменения, переименуйте конвейер на подходящее имя.

Более подробную информацию о фабрике данных можно найти здесь: https: //docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-portal

Наша среда готова к отладке.Как только я запустил конвейер (опция отладки), он попадет в условие, о котором я упоминал ранее:

Рисунок 6: Ошибка преобразования ADF

Таблица была определена с такими типами данных, как Int, DateTime, nVarchar, Float и Real. Более 100 строк и ошибка ::

«Произошла ошибка при загрузке данных в хранилище данных SQL., Source = Microsoft.DataTransfer.ClientLibrary», Type = System.Data.SqlClient.SqlException, Message = HdfsBridge :: recordReaderFillBuffer - Произошла непредвиденная ошибка при заполнении буфера чтения записи: ClassCastException: class java.lang.Integer не может быть преобразован в класс parquet.io.api.Binary (java.lang.Integer находится в модуле java. база загрузчика bootstrap; parquet.io.api.Binary находится в безымянном модуле загрузчика app), Source = .Net SqlClient Data Provider, SqlErrorNumber = 106000, Class = 16, ErrorCode = -2146232060, State = 1, Errors = [{Class = 16, Number = 106000, State = 1, Message = HdfsBridge :: recordReaderFillBuffer - Произошла непредвиденная ошибка при заполнении буфера чтения записей "

Обсуждая в вашей команде, была обнаружена эта ошибка: ClassCastException: class java.lang.Integer нельзя привести к классу parquet.io.api.Binary

Но какой из 100 столбцов?

Как только ваша основная таблица принимает нулевые значения, вы можете протестировать, исключив столбцы из определенного типа данных. Например, попробуйте исключить все столбцы типа int из преобразования, посмотрите, работает ли оно, и так далее, пока не найдете виноватого, как показано на рисунке 7:

Рисунок 7: Удалить столбец для импорта

Обратите внимание, что в ADF, щелкнув преобразование, вы можете проверить схему, а также предварительно просмотреть исходные данные.Если вы изменили тип данных, вы можете очистить его, чтобы обновить и снова импортировать схему, как показано на рисунке 8:

Рисунок 8: Метаданные ADF

В нашем случае подходящее решение, найденное заказчиком, было воссоздано паркетным файлом с использованием INT96 вместо INT32, что вызвало ошибку, указанную в столбцах даты.

Обновление : Другой клиент изменил способ создания файла паркета, чтобы он использовал метку времени вместо даты, например:

.withColumn ("columns_date", col ("columns_date"). cast ("timestamp"))

Как только вы обнаружите эту ошибку, вам нужно будет просмотреть типы данных в таблице и поработать над ней.

Отличная совместная работа над CSS

Лилиам С Леме

Файловый соединитель с использованием NativeHDFS не работает с java.lang.NoSuchMethodError: org / apache / parquet / io / api / Binary.fromCharSequence (Ljava / lang / CharSequence;)

Проблема

Не удается записать файл формата паркета с помощью NativeHDFS с java.lang.NoSuchMethodError: org / apache / parquet / io / api / Binary.fromCharSequence (Ljava / lang / CharSequence;)

Симптом

Ошибка в журнале заданий, например

File_Connector_0,0: java.lang.NoSuchMethodError: org / apache / parquet / io / api / Binary.fromCharSequence (Ljava / lang / CharSequence;) Lorg / apache / parquet / io / api / Binary; (загружается из файла: /opt/cloudera/parquet/hive-exec-2.1.1.jar пользователем sun.misc.Launcher$AppClassLoader@ddeca4c4) вызывается из класса org.apache.parquet.avro.AvroWriteSupport (загружается из файла: /opt/cloudera/parquet/parquet-avro-1.9.0.jar пользователем sun.misc.Launcher$AppClassLoader@ddeca4c4).
по адресу org.apache.parquet.avro.AvroWriteSupport.fromAvroString (AvroWriteSupport.java: 367)
по адресу org.apache.parquet.avro.AvroWriteSupport.writeValueWithoutConversion (AvroWriteSupport.writeValueWithoutConversion) или AvroWriteSupport 90 (AvroWriteSupport). AvroWriteSupport.writeValue (AvroWriteSupport.java: 274)
в org.apache.parquet.avro.AvroWriteSupport.writeRecordFields (AvroWriteSupport.java: 187)
в org.apache.parquet.avro.AvroWriteSupport.write (AvroWriteSupport.java: 161)
в org.apache.parquet.hadoop.InternalParquetRecordWriter.write (InternalParquetRecordWriter.java: 1217 parquet.hadoop.ParquetWriter.write (ParquetWriter.java: 288)
на com.ibm.iis.jis.utilities.parquetds19.ParquetBuilder.write (ParquetBuilder.java: 460)
на com.ibm.iis.jis.utilities. dochandler.impl.OutputBuilder.write (OutputBuilder.java: 94)
на com.ibm.iis.cc.filesystem.FileSystem.writeFile (FileSystem.java: 948)
в com.ibm.iis.cc.filesystem.FileSystem.process (FileSystem.java: 827)
в com.ibm.is.cc.javastage.connector.CC_JavaAdapter. запустить (CC_JavaAdapter.java: 444)

Причина

Порядок jar-файлов в CLASSPATH может привести к использованию другой версии класса, класс не содержит всех классов, ожидаемых вызывающим классом.

Решение проблемы

Измените порядок банок в CLASSPAH, в этом случае банку hive-exec нужно было разместить после всех банок для паркета в списке

[{"Business Unit": {"code": "BU053", "label": "Cloud & Data Platform"}, "Product": {"code": "SSZJPZ", "label": "IBM InfoSphere Information Server "}," Компонент ":" DataStage "," Платформа ": [{" код ":" PF016 "," ярлык ":" Linux "}]," Версия ":" 11.7; 11.7.1 "," Редакция ":" "," Направление деятельности ": {" code ":" LOB10 "," label ":" Данные и AI "}}]

Amazon S3 Sink для платформы Confluent

Коннектор приемника Amazon S3 экспортирует данные из тем Apache Kafka® в Объекты S3 в форматах Avro, JSON или Bytes. В зависимости от вашего среды, коннектор S3 может экспортировать данные, гарантируя ровно один раз семантика доставки потребителям создаваемых им объектов S3.

Коннектор приемника Amazon S3 периодически опрашивает данные от Kafka и, в свою очередь, загружает его в S3. Разделитель используется для разделения данных каждого Kafka. разделить на куски. Каждый фрагмент данных представлен как объект S3. В имя ключа кодирует тему, раздел Kafka и начальное смещение этого блок данных. Если в конфигурации не указан разделитель, по умолчанию разделитель, который сохраняет разделение Kafka. Размер каждых данных чанк определяется количеством записей, записанных в S3, и схемой совместимость.

Характеристики

Коннектор приемника Amazon S3 для платформы Confluent включает следующие функции:

Ровно при доставке

Записи, экспортируемые с помощью детерминированного разделителя, поставляются с семантика ровно один раз независимо от возможной согласованности S3.

Несколько задач

Коннектор приемника Amazon S3 поддерживает выполнение одной или нескольких задач. Вы можете указать количество задач в параметре конфигурации tasks.max .Это может привести к огромному увеличению производительности, когда необходимо проанализировать несколько файлов.

Подключаемый формат данных со схемой или без нее

Из коробки коннектор поддерживает запись данных в S3 в Avro и JSON формат. Помимо записей со схемой, коннектор поддерживает экспорт простого JSON. записи без схемы в текстовых файлах, по одной записи в строке. В целом коннектор может принимать любой формат, обеспечивающий реализацию Формат интерфейс.

Съемный разделитель

Коннектор поставляется из коробки с разделителями, которые поддерживают дефолтные разбиение на разделы на основе Kafka, разбиение полей и на основе времени разметка в дни или часы.Вы можете реализовать свои собственные разделители с помощью расширение класса Partitioner . Кроме того, вы можете настроить на основе времени секционирование путем расширения класса TimeBasedPartitioner .

Поддержка объектных хранилищ, отличных от AWS

AWS S3 - это стандартная служба объектного хранилища. Вы можете использовать Разъем Kafka Connect S3 для подключения хранилища объектов на сторонних сервисах AWS облачные платформы. Дополнительные сведения см. В разделе Использование поставщиков хранилища, не принадлежащих AWS.

• Развитие схемы: Развитие схемы работает только в том случае, если записи создаются с использованием стратегии именования по умолчанию, которая составляет TopicNameStrategy .Ошибка может возникнуть, если используются другие стратегии именования. Это потому, что записи несовместимы друг с другом. schema.compatibility должен иметь значение NONE , если используются другие стратегии именования. Это может привести к появлению небольших объектных файлов, поскольку соединитель приемника создает новый файл каждый раз, когда идентификатор схемы изменяется между записями. См. Раздел Стратегия именования субъектов для получения дополнительной информации о стратегиях именования.

Осторожно

Нельзя смешивать схемы и записи без схемы в хранилище, используя кафка-подключение-хранилище-общий.Попытка это вызывает исключение во время выполнения. Если вы используете самоуправляемую версию этот соединитель, эта проблема станет очевидной, когда вы просмотрите журнал файлы (доступно только для самоуправляемого коннектора).

Запись ключей и заголовков

Коннектор может записывать ключи и заголовки записей Kafka в виде файлов вместе с ценности. Запись ключей записи и / или заголовков не является обязательной и может быть включена независимо. Чтобы разрешить запись ключей, установите store.kafka.keys = true и включить заголовки установить хранилище.kafka.headers = истина . При написании ключей или заголовки включены, коннектор записывает их как дополнительные файлы. Файлы имеют то же имя, что и файл, в котором хранятся значения записей, но оканчиваются дополнительное расширение для соответствующей части записи, например .keys.avro и .headers.avro . Файлы будут иметь сопоставление 1-1 с файлы значений для записанных записей.

DLQ: при записи ключей или заголовков включена в коннекторе и В записи Kafka нет ключа или заголовков, запись будет записана в DLQ. и пропускается из выходных файлов.

Примечание

Эволюция схемы работает только для значений записи, когда эта функция включено. Если заголовки и ключи записей имеют схемы, и записи отправляются со схемой, отличной от исходной, то коннектор будет на данный момент остановился с ошибкой.

Установите соединитель раковины Amazon S3

Вы можете установить этот коннектор с помощью установки клиента Confluent Hub. инструкции или вручную скачивание ZIP-файла.

Предварительные требования

Примечание

Вы должны установить коннектор на каждую машину, на которой будет работать Connect.

• Установка клиента Confluent Hub.

  Примечание

  Устанавливается по умолчанию вместе с Confluent Enterprise.

• Установлена ​​последняя версия разъема ( последняя ).

  Чтобы установить последнюю версию соединителя , перейдите на свою платформу Confluent. каталог установки и выполните следующую команду:

   confluent-hub установить confluentinc / kafka-connect-s3: последний
   

  Вы можете установить определенную версию, заменив последней версии версией номер, как показано в следующем примере:

   confluent-hub установить confluentinc / kafka-connect-s3: 10.0,0
   

Установить разъем вручную

Загрузите и распакуйте ZIP-файл для своего разъем, а затем следуйте инструкциям по установке разъема вручную. инструкции.

Потоковая демонстрация ETL

Для оценки коннектора источника Kinesis Kafka Connect, коннектора приемника AWS S3, Соединитель приемника BLOB-объектов Azure и соединитель приемника GCP GCS в сквозном соединении потокового развертывания, см. демонстрацию Cloud ETL. Эта демонстрация также позволяет оценить возможности обработки данных в реальном времени. из ksqlDB.

Сопоставление записей с объектами S3

Коннектор Amazon S3 Sink потребляет записи из указанных тем, организует их в разные разделы, записывает пакеты записей в каждый раздел в файл, а затем выгружает эти файлы в корзину S3. Он использует S3 пути к объектам, которые включают тему и раздел Kafka, вычисляемый раздел, и имя файла. Разъем S3 предлагает несколько способов настройки этого поведение, в том числе:

Имена объектов S3

Модель данных S3 представляет собой плоскую структуру: каждая корзина хранит объекты, а имя каждого объекта S3 служит уникальным ключом.Однако логическая иерархия может быть выводится, когда в именах объектов S3 используются разделители каталогов, например /. В Коннектор S3 позволяет настраивать имена объектов S3, в которые он загружает ковш S3.

В общем, имена объекта S3, загруженного коннектором S3, следуют этому формат:

 <префикс> / <тема> /  / <тема> +  + . 
 

где:

• <префикс> указывается в темах коннектора .конфигурация dir свойство, которое по умолчанию имеет буквальное значение , темы и помогает создавать однозначно называть объекты S3, которые не конфликтуют с существующими объектами S3 в том же ведро.
• <тема> соответствует названию темы Kafka, из которой записи в этом объекте S3 были прочитаны.
• создается разделителем коннектора S3 (см. Разбиение записей на объекты S3).
• - номер раздела Kafka, из которого записи в этот объект S3 был прочитан.
• - смещение Kafka первой записи, записанной в этот S3 объект.
• - это расширение, определяющее формат, в котором записываются сериализован в этом объекте S3.

При желании символы / и + можно изменить с помощью Свойства конфигурации directory.delim и file.delim .

Разделение записей на объекты S3

Разделитель коннектора S3 определяет, как записи читаются из темы Kafka. разделены на объекты S3.Разделитель определяет часть имен объектов S3 (см. Имена объектов S3).

Разделитель указывается в конфигурации коннектора с partitioner.class свойство конфигурации. Разъем S3 поставляется с следующие разделители:

• Разделитель по умолчанию (| ak |) : The io.confluent.connect.storage.partitioner.DefaultPartitioner сохраняет те же разделы тем, что и в Kafka, и записи из каждой темы раздел в конечном итоге попадает в объекты S3 с именами, включающими Kafka топик и кафка перегородки. всегда / partition = , в результате чего имена объектов S3 форма <префикс> / <тема> / partition = / + + . .
• Field Partitioner : The io.confluent.connect.storage.partitioner.FieldPartitioner определяет раздел из поля в каждой записи, идентифицированной коннектором раздел.Свойство конфигурации field.name , которое не имеет значения по умолчанию. Этот разделителю требуется значений типа записи STRUCT . всегда / = , в результате получается объект S3 имена формы <префикс> / <тема> / = / + + . .
• Разделитель на основе времени : io.confluent.connect.storage.partitioner.TimeBasedPartitioner определяет разделение по году, месяцу, дню, часу, минутам и / или секундам. Для этого разделителя требуются следующие свойства конфигурации соединителя:
  • Свойство конфигурации path.format указывает шаблон, используемый для часть имени объекта S3. Например, когда path.format = 'year' = YYYY / 'month' = MM / 'day' = dd / 'hour' = HH , имена объектов S3 будет иметь форму <префикс> / <тема> / год = ГГГГ / месяц = ​​ММ / день = дд / час = ЧЧ / <тема> + + .<формат> .
  • Свойство конфигурации partition.duration.ms определяет максимальное степень детализации объектов S3 в одном закодированном каталоге раздела. Например, установка partition.duration.ms = 600000 (10 минут) приведет к приведет к тому, что каждый объект S3 в этом каталоге будет иметь не более 10 минут записи.
  • Свойство конфигурации locale определяет языковой стандарт JDK, используемый для форматирование даты и времени. Например, используйте en-US для английского языка (США), en-GB для британского английского, fr-FR для французского (во Франции).Они могут отличаться по версии Java; см. доступные языковые стандарты.
  • Свойство конфигурации часового пояса указывает текущий часовой пояс в какие даты и время будут обрабатываться. Используйте стандартные короткие имена для часовые пояса, такие как UTC или (без перехода на летнее время) PST , EST , и ECT или более длинные стандартные названия, такие как America / Los_Angeles , Америка / Нью-Йорк и Европа / Париж . Они могут различаться в зависимости от версии Java; увидеть доступные часовые пояса в каждой локали, например, в «en_US» локаль.
  • Свойство конфигурации timestamp.extractor определяет, как получить метка времени из каждой записи. Значения могут включать Wallclock (по умолчанию). для использования системного времени при обработке записи, Запись для использования метка времени записи Kafka, обозначающая, когда она была создана или сохранена брокер, RecordField для извлечения метки времени из одного из полей в значение записи, заданное конфигурацией timestamp.field имущество.
• Daily Partitioner : The io.confluent.connect.storage.partitioner.DailyPartitioner эквивалентен TimeBasedPartitioner с путем .format = 'year' = YYYY / 'month' = MM / 'day' = dd и partition.duration.ms = 86400000 (один день, для одного объекта S3 в каждом ежедневный справочник). Этот разделитель всегда приводит к именам объектов S3 форма <префикс> / <тема> / год = ГГГГ / месяц = ​​ММ / день = дд / <тема> + + .<формат> . Этому разделителю требуются следующие свойства конфигурации коннектора:
  • Свойство конфигурации locale Свойство конфигурации указывает языковой стандарт JDK, используемый для форматирование даты и времени. Например, используйте en-US для английского языка (США), en-GB для британского английского, fr-FR для французского (во Франции). Они могут отличаться по версии Java; см. доступные языковые стандарты.
  • Свойство конфигурации часового пояса указывает текущий часовой пояс в какие даты и время будут обрабатываться.Используйте стандартные короткие имена для часовые пояса, такие как UTC или (без перехода на летнее время) PST , EST , и ECT или более длинные стандартные названия, такие как America / Los_Angeles , Америка / Нью-Йорк и Европа / Париж . Они могут различаться в зависимости от версии Java; увидеть доступные часовые пояса в каждой локали, например, в «en_US» локаль.
  • Свойство конфигурации timestamp.extractor определяет, как получить метка времени из каждой записи.Значения могут включать Wallclock (по умолчанию). для использования системного времени при обработке записи, Запись для использования метка времени записи Kafka, обозначающая, когда она была создана или сохранена брокер, RecordField для извлечения метки времени из одного из полей в значение записи, заданное конфигурацией timestamp.field имущество.
• Почасовой разделитель : io.confluent.connect.storage.partitioner.HourlyPartitioner эквивалентен TimeBasedPartitioner с путем .format = 'year' = YYYY / 'month' = MM / 'day' = dd / 'hour' = HH и partition.duration.ms = 3600000 (один час, для одного объекта S3 в каждый час каталог). Этот разделитель всегда приводит к именам объектов S3 в форме <префикс> / <тема> / год = ГГГГ / месяц = ​​ММ / день = дд / час = ЧЧ / <тема> + + . . Этому разделителю требуются следующие свойства конфигурации соединителя:
  • Свойство конфигурации locale определяет языковой стандарт JDK, используемый для форматирования даты и времени.Например, используйте en-US для английского языка в США, en-GB для английского языка в Великобритании, fr-FR для французского языка (во Франции). Они могут различаться в зависимости от версии Java; см. доступные языковые стандарты.
  • Свойство конфигурации часовой пояс указывает текущий часовой пояс, в котором будут обрабатываться дата и время. Используйте стандартные короткие имена для часовых поясов, такие как UTC или (без перехода на летнее время) PST , EST и ECT , или более длинные стандартные названия, такие как America / Los_Angeles , America / New_York и Europe / Paris .Они могут различаться в зависимости от версии Java; увидеть доступные часовые пояса в каждой локали, например, в локали «en_US».
  • Свойство конфигурации timestamp.extractor определяет, как получить метку времени из каждой записи. Значения могут включать Wallclock (по умолчанию), чтобы использовать системное время при обработке записи, Запись для использования метки времени записи Kafka, обозначающей, когда она была произведена или сохранена брокером, RecordField для извлечения метки времени из одного из полей в значении записи как указано меткой времени .поле свойство конфигурации.

Как указано ниже, выбор timestamp.extractor влияет на то, будет ли S3 разъем может поддерживать ровно один раз при доставке.

Вы также можете использовать собственный разделитель, реализовав io.confluent.connect.storage.partitioner.Partitioner интерфейс, упаковка вашу реализацию в файл JAR, а затем:

1. Поместите файл JAR в каталог share / java / kafka-connect-s3 вашей установки Confluent Platform на каждом рабочем узле .
2. Перезапустите все рабочие узлы Connect.
3. Настройте соединители S3 для использования вашего полного имени класса модуля разделения.

Форматы объектов S3

Коннектор S3 может сериализовать несколько записей в каждый объект S3, используя количество форматов. Свойство конфигурации коннектора формат . класс идентифицирует имя класса Java, реализующего io.confluent.connect.storage.format.Format interface. Разъем S3 идет в комплекте с несколькими реализациями:

• Avro : используйте формат .класс = io.confluent.connect.s3.format.avro.AvroFormat чтобы записать объект S3 как файл контейнера Avro, который будет включать Avro схема в файле-контейнере, за которой следует одна или несколько записей. Разъем avro.codec Свойство конфигурации указывает код сжатия Avro, и значения могут быть null (по умолчанию) без сжатия Avro, deflate для использования алгоритм дефляции, как указано в RFC 1951, snappy для использования Google Библиотека мгновенного сжатия и bzip2 для сжатия BZip2.Вы также можете установить Enhanced.avro.schema.support = true на включить сохранение символа перечисления и осведомленность об имени пакета.

• Паркет : Использование format.class = io.confluent.connect.s3.format.parquet.ParquetFormat для записи объект S3 как файл-контейнер Parquet, который будет включать схему Parquet в файле-контейнере. Свойство конфигурации соединителя parquet.codec указывает код сжатия Parquet, и значения могут быть нет (по умолчанию) без сжатия Parquet, gzip для сжатия GZip, snappy для использования Библиотека сжатия Google Snappy, lz4 для использования алгоритма сжатия LZ4, brotli для использования алгоритма Brotli, как указано в RFC 7932, zstd для использования алгоритма сжатия Facebook Zstandard и lzo для использования Библиотека сжатия LZO.Ты можешь также установите extended.avro.schema.support = true , чтобы включить символ перечисления сохранение и осведомленность о названии пакета.

  Важно

  Вы должны использовать AvroConverter, ProtobufConverter или JsonSchemaConverter с ParquetFormat для этого разъема. Попытка использовать JsonConverter (с или без схем) приводит к исключению NullPointerException и StackOverflowException.

• JSON : используйте формат .класс = io.confluent.connect.s3.format.json.JsonFormat записать объект S3 как единый массив JSON, содержащий объект JSON для каждого записывать. Свойство конфигурации соединителя s3.compression.type может быть установите значение none (по умолчанию) без сжатия или gzip для GZip сжатие.

• Необработанные байты : Использование format.class = io.confluent.connect.s3.format.bytearray.ByteArrayFormat в записать необработанные сериализованные значения записи, разделенные разделителем строк JDK к объекту S3.Для этого также необходимо использовать value.converter = org.apache.kafka.connect.converters.ByteArrayConverter с разъем. Используйте другой разделитель, указав соединение format.bytearray.separator Свойство конфигурации .

Осторожно

Существует риск использования разъема S3 и ByteArrayFormat и ByteArrayConverter для данных, содержащих символы-разделители внутри (по умолчанию новые строки). Риск состоит в том, что эти записи могут быть прочитаны обратно (источник) неверно. Например: У вас есть данные, которые начинаются в Avro. формат. Вы используете ByteArrayFormat и ByteArrayConverter для поглощения данные (содержащие символы-разделители) в хранилище S3 с использованием приемника S3 разъем. Когда вы позже отправляете данные в тему Kafka, используя источник S3 разъем, исходные данные Avro могут быть повреждены и потенциально безвозвратно.

Вы также можете использовать настраиваемое средство форматирования, реализовав io.confluent.connect.storage.format.Format интерфейс. Для этого упакуйте вашу реализацию в файл JAR, а затем выполните следующие шаги:

1. Поместите файл JAR в каталог share / java / kafka-connect-s3 вашего Установка Confluent Platform на каждом рабочем узле .
2. Перезапустите все рабочие узлы Connect.
3. Настройте разъемы S3 с форматом . Класс установлен на полностью квалифицированный имя класса реализации вашего формата.

Загрузка объекта S3

Поскольку коннектор S3 обрабатывает каждую запись, он использует разделитель для определения в какой закодированный раздел следует записать эту запись. Это продолжается в течение каждый раздел, пока соединитель не определит, что в разделе достаточно записей и должны быть загружены в корзину S3, используя имя объекта S3 для этот раздел. Этот метод определения того, когда следует сбрасывать файл раздела и загрузка его в S3 называется стратегией ротации , и есть несколько способов контролировать это поведение:

• Максимальное количество записей : смыва соединителя.размер конфигурация свойство определяет максимальное количество записей, которые должны быть записаны в одиночный объект S3. Для этого параметра нет значения по умолчанию.

• Максимальный интервал времени записи : соединителя rotate.interval.ms указывает максимальный промежуток времени в миллисекундах, в течение которого файл может оставаться открытым и готов к дополнительным записям. Отметка времени для каждого файла начинается с метка времени записи первой записи, записанной в файл, как определено отметка времени секционера.экстрактор . Пока следующая запись отметка времени соответствует интервалу времени, указанному в файле rotate.interval.ms , запись будет записана в файл. Если отметка времени записи не подходит в течение промежутка времени файла, коннектор сбросит файл, загруженный его в S3, зафиксируйте смещения записей в этом файле, а затем , затем создайте новый файл с промежутком времени, который начинается с первой записи и записывает первая запись в файл.

• Запланированное вращение : соединителя вращается.schedule.interval.ms указывает максимальный промежуток времени в миллисекундах, в течение которого файл может оставаться открытым и готов к дополнительным записям. В отличие от rotate.interval.ms , с запланированная ротация метка времени для каждого файла начинается с системного времени что первая запись записывается в файл. Пока запись обрабатывается в течение промежутка времени, указанного в rotate.schedule.interval.ms , запись будет записано в файл. Как только запись будет обработана после промежуток времени для текущего файла, файл очищается, загружается на S3, и смещение записей в файле зафиксировано.Новый файл создается с интервал времени, который начинается с текущего системного времени, и запись записывается в файл. Фиксация будет выполнена в запланированное время, независимо от время предыдущей фиксации или количество сообщений. Эта конфигурация полезна когда вам нужно зафиксировать свои данные на основе текущего времени сервера, например, в начало каждого часа. Значение по умолчанию -1 означает, что эта функция выключен.

  Важно

  Обязательно установите свойство конфигурации часовой пояс перед настройкой повернуть.schedule.interval.ms , иначе коннектор выкинет исключение.

Эти стратегии можно комбинировать по мере необходимости, и ротация происходит всякий раз, когда любая из стратегии сигнализируют о ротации.

Первая стратегия вызовет ротацию, как только будет набрано достаточно записей. записывается в файл, и может быть вычислено после записи каждой записи в файл. Другими словами, файл можно закрыть и загрузить на S3, как только как полно.

При использовании повернуть.interval.ms , коннектор только закрывает и выгружает файл на S3, когда следующий файл не принадлежит на основании метки времени этой записи. В другими словами, если у коннектора больше нет записей для обработки, коннектор может держите файл открытым до тех пор, пока соединитель не сможет обработать другую запись (это может быть много времени).

Запланированная ротация использует rotate.schedule.interval.ms для закрытия файла и загружать в S3 на регулярной основе, используя текущее время, а не запись время.Даже если у коннектора больше нет записей для обработки, Connect будет по-прежнему вызывать соединитель не реже, чем каждые offset.flush.interval.ms , как определено в файле конфигурации Connect worker. И каждый раз, когда это происходит, коннектор использует текущее время, чтобы определить, открыт ли в данный момент файл следует закрыть и загрузить на S3.

Примечание

Не все стратегии вращения совместимы с возможностью разъема S3 доставить объекты S3 ровно один раз с возможной согласованностью.Увидеть Подробности см. В разделе «Ровно один раз» ниже.

Объект S3, загруженный коннектором, может быть довольно большим, и коннектор поддерживает использование механизма многокомпонентной загрузки. Конфигурация s3.part.size по умолчанию свойство равно 26214400 байт (25 МБ) и определяет максимальный размер каждой части объекта S3, используемой для загрузки одного объекта S3.

Кроме того, параметр schema.compatibility (см. «Развитие схемы») также будет влиять на закрытие одного файла и его загрузку в объект S3.Если запись не может быть записана в один файл из-за того, что в ее схеме изменен относительно записей, уже находящихся в файле, соединитель будет вращаться закрыв файл, загрузив его в S3, зафиксировав смещения для записей в файл, создав новый файл и записав новую запись.

Ровно единовременная доставка сверх возможной согласованности

Коннектор S3 может предоставить семантику ровно один раз потребителям объекты, которые он экспортирует в S3, при условии, что соединитель поставляется с детерминированным разделителем.

В настоящее время из доступных секционеров используются секционеры по умолчанию и полевые секционеры. всегда детерминированы. TimeBasedPartitioner может быть детерминированным с некоторые конфигурации, обсуждаемые ниже. Это означает, что когда любой из этих разделители, разделение файлов всегда происходит с одинаковыми смещениями для заданный набор записей Кафки. Эти разделители учитывают flush.size и schema.compatibility , чтобы решить, когда свернуть и сохранить новый файл в S3.Коннектор всегда доставляет файлы в S3, содержащие одинаковые записи даже при наличии сбоев. Если задача коннектора не удалась раньше загрузка завершается, файл не становится видимым для S3. Если, с другой стороны, стороны, сбой происходит после завершения загрузки, но до соответствующее смещение передается в Kafka коннектором, затем выполняется повторная загрузка состоится. Однако такая повторная загрузка прозрачна для пользователя S3. ведро, которое в любой момент будет иметь доступ к тем же записям, которые были сделаны в конечном итоге доступно при успешной загрузке в S3.

Чтобы гарантировать семантику ровно один раз с TimeBasedPartitioner , коннектор должен быть настроен для использования детерминированной реализации TimestampExtractor и детерминированная стратегия ротации. Детерминированный экстракторы временных меток - это записи Kafka ( timestamp.extractor = Record ) или поля записи ( timestamp.extractor = RecordField ). Детерминированное вращение конфигурация стратегии - rotate.interval.ms (настройка повернуть.schedule.interval.ms недетерминирован и сделает недействительным ровно разовые гарантии).

Эволюция схемы

Важно

Эволюция схемы работает только в том случае, если записи генерируются со значением по умолчанию. стратегия именования TopicNameStrategy . Ошибка может возникнуть, если другие используются стратегии именования. Это потому, что записи несовместимы с друг с другом. schema.compatibility должен быть установлен на NONE , если другое используются стратегии именования.Это может привести к появлению небольших объектных файлов, потому что соединитель приемника создает новый файл каждый раз, когда идентификатор схемы изменяется между записи. См. Раздел Стратегия имени субъекта для получения дополнительной информации. о стратегиях именования.

Коннектор S3 поддерживает эволюцию схемы и реагирует на изменения схемы данных. согласно конфигурации schema.compatibility . В этом разделе мы объяснит, как коннектор реагирует на эволюцию схемы при разных значениях из schema.compatibility . schema.compatibility может быть установлен на НЕТ , НАЗАД , ВПЕРЕД и ПОЛНЫЙ , что означает НЕТ совместимости, НАЗАД совместимость, прямая совместимость и полная совместимость соответственно.

• НЕТ Совместимость : По умолчанию для schema.compatibility установлено значение НЕТ . В этом случае коннектор гарантирует, что каждый файл, записанный на S3, имеет правильная схема. Когда коннектор наблюдает за изменением схемы данных, он фиксирует текущий набор файлов для затронутых разделов темы и записывает данные с новой схемой в новых файлах.

• ОБРАТНАЯ Совместимость : Если схема развивается в обратно совместимую Таким образом, мы всегда можем использовать последнюю схему для единообразного запроса всех данных. Для Например, удаление полей является обратно совместимым изменением схемы, поскольку когда мы встречаем записи, написанные с использованием старой схемы, которые содержат эти поля, которые мы можно просто игнорировать их. Добавление поля со значением по умолчанию также является обратным совместимый.

  Если BACKWARD указано в схеме .совместимость , разъем отслеживает последнюю схему, использованную при записи данных в S3, и если данные запись с версией схемы, превышающей текущую последнюю схему, коннектор фиксирует текущий набор файлов и записывает данные с новым схему в новые файлы. Для записей данных, поступающих в более позднее время со схемой более ранняя версия, коннектор проецирует запись данных на последнюю schema перед записью в тот же набор файлов в S3.

• ПЕРЕДОВАЯ Совместимость : Если схема развивается с прямой совместимостью, мы всегда можем использовать самую старую схему для единообразного запроса всех данных.Удаление поле, которое имело значение по умолчанию, является прямым совместимым, поскольку старая схема будет использовать значение по умолчанию, когда поле отсутствует.

  Если FORWARD указано в schema.compatibility , коннектор проецирует данные в самую старую схему перед записью в тот же набор файлов в S3.

• ПОЛНАЯ совместимость : Полная совместимость означает, что старые данные могут быть прочитаны с новой схемой, и новые данные также могут быть прочитаны с помощью старой схемы.

  Если FULL указано в schema.compatibility , коннектор выполняет то же действие, что и НАЗАД .

Эволюция схемы в коннекторе S3 работает так же, как и в HDFS разъем.

Автоматические попытки

Разъем S3 может испытывать проблемы с записью в корзину S3 из-за сетевые разделы, прерывания или даже ограничения AWS. Во многих В некоторых случаях коннектор будет повторять запрос несколько раз, прежде чем завершится сбоем.К предотвратить дальнейшую перегрузку сети или службы S3, коннектор использует экспоненциальный метод отсрочки, чтобы дать сети и / или время обслуживания восстанавливаться. Этот метод добавляет случайность, называемую джиттером, к вычисленному откату. раз, чтобы предотвратить громовое стадо, когда большое количество запросов от многих задачи отправляются одновременно и перегружают службу. Распространение случайности исключить повторные попытки выполнения многих задач и сократить общее время, необходимое для выполнить все невыполненные запросы по сравнению с простой экспоненциальной отсрочкой.В цель - максимально разложить запросы на S3.

Максимальное количество попыток повторения определяется параметром s3.part.retries S3 свойство конфигурации коннектора, которое по умолчанию составляет три попытки. Задержка количество повторных попыток зависит от соединителя s3.retry.backoff.ms свойство конфигурации, которое по умолчанию составляет 200 миллисекунд. Фактическая задержка составляет рандомизировано, но максимальная задержка может быть рассчитана как функция числа попыток повторения с $ {s3.(retry-1) , где retry - это количество попыток, предпринятых на текущий момент в текущей итерации. В чтобы сохранить максимальную задержку в разумные сроки, она ограничена 24 часы. Например, в следующей таблице показано возможное время ожидания. перед отправкой каждой из трех попыток повтора.

Увеличение максимального количества повторных попыток добавляет дополнительную отсрочку:

В какой-то момент максимальное время задержки достигнет насыщения и будет ограничено 24 часа. В приведенном ниже примере все попытки, начиная с 20, будут иметь максимальное время отсрочки за 24 часа:

Не рекомендуется устанавливать слишком высокое значение s3.part.retries , поскольку предпринимаются дополнительные попытки после достижения 24-часового лимита нецелесообразно. Вы можете настроить как s3.part.retries и s3.retry.backoff.ms Конфигурация разъема свойства для достижения желаемых характеристик повтора и отсрочки.

Учетные данные AWS

В следующих разделах представлена ​​информация о том, как настроить S3. коннектор для предоставления учетных данных при подключении к AWS.

Цепочка поставщиков учетных данных

По умолчанию соединитель S3 ищет учетные данные S3 в следующих местах и ​​в следующем порядке:

1. Переменные среды AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY , доступные для рабочих процессов Connect, в которых будет развернут коннектор. Эти переменные распознаются AWS CLI и всеми SDK AWS (кроме AWS SDK для .NET). Вы используете экспорт, чтобы установить эти переменные.

    экспорт AWS_ACCESS_KEY_ID = 
   экспорт AWS_SECRET_ACCESS_KEY = 
    

   Вместо них можно использовать AWS_ACCESS_KEY и AWS_SECRET_KEY , но они не распознаются интерфейсом командной строки AWS.

2. Системные свойства Java aws.accessKeyId и aws.secretKey в рабочих процессах Connect, в которых будет развернут коннектор. Однако эти переменные распознаются только AWS SDK для Java и не рекомендуются.

3. Файл ~ / .aws / credentials , расположенный в домашнем каталоге пользователя операционной системы, запускающего рабочие процессы Connect. Эти учетные данные распознаются большинством пакетов SDK AWS и интерфейсом командной строки AWS. Используйте следующую команду интерфейса командной строки AWS для создания файла учетных данных:

   Вы также можете вручную создать файл учетных данных с помощью текстового редактора. Файл должен содержать строки в формате, показанном в примере ниже. Дополнительные сведения см. В разделе Формат файла учетных данных AWS.

    [по умолчанию]
   aws_access_key_id = 
   aws_secret_access_key = <ваш_secret_access_key>
    

   Примечание

   При создании файла учетных данных убедитесь, что пользователь, создающий файл учетных данных, является тем же пользователем, который запускает рабочие процессы Connect, и что файл учетных данных находится в домашнем каталоге этого пользователя. В противном случае соединитель S3 не сможет найти учетные данные.

4. Запрос отправлен на http: // 169.254.170.2 $ {AWS_CONTAINER_CREDENTIALS_RELATIVE_URI} , чтобы вернуть учетные данные AWS. Это применимо только в том случае, если рабочие процессы Connect работают в контейнерах AWS.

5. Запрос метаданных, возвращающий учетные данные из экземпляра EC2. Это применимо только в том случае, если рабочие процессы Connect работают в экземплярах EC2.

Выберите один из приведенных выше вариантов, чтобы определить учетные данные AWS, которые используют соединители S3, убедитесь, что реализация учетных данных настроена правильно, а затем перезапустите все рабочие процессы Connect.

Примечание

Confluent рекомендует использовать либо Переменные среды , либо файл учетных данных , потому что они являются наиболее простыми и их можно проверить с помощью инструмента AWS CLI перед запуском коннектора.

Все соединители S3 работают в одном рабочем кластере Connect и используют одни и те же учетные данные. Этого достаточно для многих случаев использования. Если вам нужен больший контроль, обратитесь к следующему разделу, чтобы узнать больше об управлении и настройке того, как коннектор S3 получает учетные данные AWS.

Осторожно

Если вы настроили одну из реализаций ключа AWS или секретного ключа AWS (как подробно описано выше), учетные данные не могут быть предоставлены с помощью следующих поставщиков учетных данных или с помощью учетных данных доверенной учетной записи выполнение. Попытка предоставить учетные данные с использованием нескольких реализации вызовут ошибку аутентификации.

Поставщики учетных данных

Поставщик учетных данных - это класс Java, реализующий com.amazon.auth.AWSCredentialsProvider в библиотеке AWS Java и возвращает учетные данные AWS из среды. По умолчанию свойство конфигурации коннектора S3 s3.credentials.provider.class использует класс com.amazon.auth.DefaultAWSCredentialsProviderChain. Реализация этого класса и интерфейса объединяет пять других классов поставщика учетных данных.

Реализация com.amazonaws.auth.DefaultAWSCredentialsProviderChain ищет учетные данные в следующем порядке:

1. Переменные среды с использованием com.Реализация класса amazonaws.auth.EnvironmentVariableCredentialsProvider. В этой реализации используются переменные среды AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY . Переменные среды AWS_ACCESS_KEY и AWS_SECRET_KEY также поддерживаются этой реализацией; однако эти две переменные распознаются только AWS SDK для Java и не рекомендуются.

2. Свойства системы Java с использованием com.Реализация класса amazonaws.auth.SystemPropertiesCredentialsProvider. В этой реализации используются системные свойства Java aws.accessKeyId и aws.secretKey .

3. Файл учетных данных с использованием реализации класса com.amazonaws.auth.profile.ProfileCredentialsProvider. В этой реализации используется файл учетных данных, расположенный по пути ~ / .aws / credentials . Этот провайдер учетных данных может использоваться большинством SDK AWS и интерфейсом командной строки AWS. Используйте следующую команду интерфейса командной строки AWS для создания файла учетных данных:

   Вы также можете вручную создать файл учетных данных с помощью текстового редактора.Файл должен содержать строки в формате, показанном в примере ниже. Дополнительные сведения см. В разделе Формат файла учетных данных AWS.

    [по умолчанию]
   aws_access_key_id = 
   aws_secret_access_key = <ваш_secret_access_key>
    

   Примечание

   При создании файла учетных данных убедитесь, что пользователь, создающий файл учетных данных, является тем же пользователем, который запускает рабочие процессы Connect, и что файл учетных данных находится в домашнем каталоге этого пользователя. В противном случае соединитель S3 не сможет найти учетные данные.

4. Учетные данные контейнера Amazon Elastic Container Service (ECS) с использованием реализации класса com.amazonaws.auth.ContainerCredentialsProvider. Эта реализация использует запрос, отправленный на http: //169.254.170.2$ {AWS_CONTAINER_CREDENTIALS_RELATIVE_URI} , чтобы вернуть учетные данные AWS для коннектора S3. Чтобы этот провайдер работал, необходимо установить переменную среды AWS_CONTAINER_CREDENTIALS_RELATIVE_URI . См. Роли IAM для задач для получения дополнительной информации о настройке этого запроса.

5. Учетные данные профиля экземпляра EC2 с использованием реализации класса com.amazonaws.auth.InstanceProfileCredentialsProvider. У метаданных экземпляра EC2 запрашиваются учетные данные. Дополнительную информацию о запросах метаданных экземпляра см. В службе метаданных Amazon EC2. См. Раздел Работа с учетными данными AWS для получения дополнительной информации и обновлений от AWS.

Использование учетных данных доверенной учетной записи

Этот соединитель может взять на себя роль и использовать учетные данные от отдельного доверенного учетная запись.Это функция по умолчанию, предоставляемая в последних версиях этого коннектор, включающий обновленную версию AWS SDK.

После создания доверительных отношений пользователь IAM или приложение из доверенной учетной записи может использовать AWS Security Token Service (AWS STS) AssumeRole Работа API. Эта операция предоставляет временные учетные данные безопасности, которые позволяют доступ к ресурсам AWS для коннектора. Подробнее см. Создание роли для делегирования полномочий пользователю IAM.

Пример:

 Профиль в ~ / .aws / credentials:

[По умолчанию]
role_arn = arn: aws: iam :: 037803949979: роль / kinesis_cross_account_role
source_profile = постановка
role_session_name = OPTIONAL_SESSION_NAME

[постановка]
aws_access_key_id = <СТАНДАРТНЫЙ КЛЮЧ>
aws_secret_access_key = <СТАНДАРТНЫЙ СЕКРЕТ>
 

Чтобы разрешить соединителю выполнять роль с нужными разрешениями, установите Название ресурса Amazon (ARN) для этой роли. Кроме того, вы должны выбрать между source_profile или credential_source как способ получить учетные данные, которые имеют разрешение на принятие роли в среде, где разъем работает.

Примечание

При настройке учетных данных доверенной учетной записи имейте в виду, что подход загрузки профилей из оба ~ / .aws / credentials и ~ / .aws / config не работают при настройке этого коннектора. Предполагаемые настройки роли и учетные данные должны быть помещены в файл ~ / .aws / credentials .

Кроме того, соединитель приемника S3 реализует AwsAssumeRoleCredentialsProvider , что означает вы можете использовать следующие конфигурации для настройки работы с предполагаемой ролью.

 s3.credentials.provider.class = AwsAssumeRoleCredentialsProvider
s3.credentials.provider.sts.role.arn = arn: aws: iam :: 012345678901: роль / моя-ограниченная-роль
s3.credentials.provider.sts.role.session.name = имя-сеанса
s3.credentials.provider.sts.role.external.id = внешний-идентификатор
 

Использование других реализаций

Вы можете использовать другого поставщика учетных данных. Для этого задайте для свойства s3.credentials.provider.class имя любого класса, реализующего com.amazon.auth.AWSCredentialsProvider интерфейс.

Чтобы использовать другого поставщика учетных данных, выполните следующие действия:

1. Найдите или создайте класс поставщика учетных данных Java, реализующий интерфейс com.amazon.auth.AWSCredentialsProvider.

2. Поместите файл класса в файл JAR.

3. Поместите файл JAR в каталог share / java / kafka-connect-s3 на всех рабочих Connect worker .

4. Перезапустите рабочие процессы Connect.

5. Измените файл свойств соединителя S3, чтобы использовать свои пользовательские учетные данные. Добавьте запись класса провайдера s3.credentials.provider.class = в файл свойств коннектора S3.

   Важно

   Вы должны использовать полное имя класса в записи .

Быстрый старт

В этом кратком руководстве мы используем коннектор S3 для экспорта данных, созданных Avro. производитель приставок к S3.

Прежде чем начать, создайте целевую корзину AWS S3 и предоставьте запись доступ к пользователю или роли IAM, выполняя эти процедуры. См. Настройки Права доступа к сегментам и объектам для дополнительной информации.

Затем запустите службы с помощью одной команды с помощью Confluent CLI. конфлюентные локальные команды:

Подсказка

Если еще нет в вашем PATH, добавьте каталог Confluent bin , запустив: экспорт PATH = / bin: $ PATH

Подсказка

Синтаксис команд для команд разработки Confluent CLI изменен в 5.3.0. Эти команды были перемещены в конфлюэнтного локального . Например, синтаксис для сливающегося начала теперь выглядит следующим образом: старт сливающихся местных служб . Для получения дополнительной информации см. Confluent local.

 старт сливающихся локальных служб
 

Каждая служба запускается по порядку с выводом сообщения со своим статусом:

 Запуск Zookeeper
Zookeeper [ВВЕРХ]
Запуск Кафки
Кафка [ВВЕРХ]
Запуск реестра схемы
Реестр схемы [ВВЕРХ]
Запуск Kafka REST
Kafka REST - [ВВЕРХ]
Запуск Connect
Подключиться [ВВЕРХ]
Запуск KSQL Server
Сервер KSQL [ВВЕРХ]
Центр управления запуском
Центр управления [ВВЕРХ]
 

Примечание

Убедитесь, что у разъема S3 есть доступ для записи в сегмент S3, показанный на с3.bucket.name и может успешно развернуть учетные данные. Видеть AWS Credentials для получения подробной информации о настройке провайдеры учетных данных.

Чтобы импортировать несколько записей с простой схемой в Kafka, запустите консоль Avro. производитель:

 ./bin/kafka-avro-console-producer --broker-list localhost: 9092 --topic s3_topic \
--property value.schema = '{"тип": "запись", "имя": "моя запись", "поля": [{"имя": "f1", "тип": "строка"}]}'
 

Затем в консоли производителя введите:

 {"f1": "значение1"}
{"f1": "значение2"}
{"f1": "значение3"}
{"f1": "значение4"}
{"f1": "значение5"}
{"f1": "значение6"}
{"f1": "значение7"}
{"f1": "значение8"}
{"f1": "значение9"}
 

Девять введенных записей опубликованы в теме Kafka s3_topic в Avro формат.

Перед запуском коннектора убедитесь, что конфигурации в etc / kafka-connect-s3 / quickstart-s3.properties правильно настроены на ваш конфигурации S3, например s3.bucket.name указывает на вашу корзину, s3.region направляет в ваш регион S3, а flush.size = 3 для этого примера. Затем запустите коннектор S3, загрузив его конфигурацию со следующими команда:

 конфлюэнтные локальные сервисы соединяют нагрузку с3-стоком

{
  "name": "s3-слив",
  "config": {
    "разъем.класс ":" io.confluent.connect.s3.S3SinkConnector ",
    "tasks.max": "1",
    "темы": "s3_topic",
    "s3.region": "us-west-2",
    "s3.bucket.name": "confluent-kafka-connect-s3-testing",
    "s3.part.size": "5242880",
    "flush.size": "3",
    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.avro.AvroFormat",
    "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner ",
    "schema.compatibility": "НЕТ",
    "имя": "s3-раковина"
  },
  "задачи": []
}
 

Чтобы убедиться, что коннектор запустился успешно, просмотрите журнал работника Connect. при запуске:

 журнал подключений сливающихся локальных служб
 

Ближе к концу журнала вы должны увидеть, что коннектор запускается, регистрирует несколько сообщения, а затем выгружает данные из Kafka в S3. После того, как коннектор вставлен некоторые записи проверяют, что данные доступны в S3, например, с помощью AWS CLI:

 aws s3api list-objects --bucket "имя-ведра"
 

Вы должны увидеть три объекта с ключами:

 темы / s3_topic / partition = 0 / s3_topic + 0 + 0000000000.Авро
темы / s3_topic / partition = 0 / s3_topic + 0 + 0000000003.avro
темы / s3_topic / partition = 0 / s3_topic + 0 + 0000000006.avro
 

Примечание

Разъем S3 не использует клавишу сообщений. Если вам нужно хранить ключ в объекты S3 и информация в ключе еще не существует в значении, использовать настраиваемое преобразование с соединитель для добавления ключа сообщения к значению.

Каждый файл кодируется как <тема> + + . .

Чтобы проверить содержимое, скопируйте каждый файл из S3 в локальную файловую систему с помощью выполнив следующую команду:

 aws s3 cp s3: // <ваша-корзина> /topics/s3_topic/partition=0/s3_topic+0+0000000000.avro
 

Для печати записей используйте avro-tools-1.8.2.jar (доступно в архивах Apache):

 java -jar avro-tools-1.8.2.jar tojson s3_topic + 0 + 0000000000.avro
 

Для предыдущего файла вы должны увидеть следующий вывод (с остальной записей, содержащихся в двух других файлах):

 {"f1": "значение1"}
{"f1": "значение2"}
{"f1": "значение3"}
 

Наконец, остановите работника Connect, а также всю остальную часть Confluent. услуг по запущенной:

Ваш результат должен выглядеть так:

 Центр управления остановкой
Центр управления - [ВНИЗ]
Остановка сервера KSQL
Сервер KSQL - [DOWN]
Прекращение подключения
Подключиться [ВНИЗ]
Остановка Kafka REST
Kafka REST - это [ВНИЗ]
Остановка реестра схемы
Реестр схемы [ВНИЗ]
Остановка Кафки
Кафка [ВНИЗ]
Остановка Zookeeper
Zookeeper - [ВНИЗ]
 

Или остановите все службы и дополнительно удалите все данные, сгенерированные во время это быстрое начало, запустив:

Ваш результат должен выглядеть так:

 Центр управления остановкой
Центр управления - [ВНИЗ]
Остановка сервера KSQL
Сервер KSQL - [DOWN]
Прекращение подключения
Подключиться [ВНИЗ]
Остановка Kafka REST
Kafka REST - это [ВНИЗ]
Остановка реестра схемы
Реестр схемы [ВНИЗ]
Остановка Кафки
Кафка [ВНИЗ]
Остановка Zookeeper
Zookeeper - [ВНИЗ]
Удаление: / var / папки / ty / rqbqmjv54rg_v10ykmrgd1_80000gp / T / confluent.PkQpsKfE
 

Пример настроек файла свойств

Информацию о настройке разъема см. В следующих примерах. конфигурация.

Базовый пример

Примеры настроек содержатся в etc / kafka-connect-s3 / quickstart-s3.properties следующим образом:

 name = s3-раковина
connector.class = io.confluent.connect.s3.S3SinkConnector
tasks.max = 1
themes = s3_topic
flush.size = 3
 

Первые несколько настроек являются общими для большинства разъемов. тем определяет темы, из которых мы хотим экспортировать данные, в данном случае s3_topic . Недвижимость flush.size указывает количество записей на раздел, необходимое коннектору. написать до завершения многокомпонентной загрузки в S3.

 s3.bucket.name = confluent-kafka-connect-s3-тестирование
s3.part.size = 5242880
 

Следующие настройки относятся к AWS S3. Обязательной настройкой является имя ваша корзина S3 для размещения экспортированных записей Kafka. Другие полезные настройки: с3.регион , который следует установить, если вы используете регион, отличный от региона по умолчанию, и s3.part.size для управления размером каждой части в многокомпонентных загрузках. который будет использоваться для загрузки одного фрагмента записей Kafka.

 storage.class = io.confluent.connect.s3.storage.S3Storage
format.class = io.confluent.connect.s3.format.avro.AvroFormat
schema.generator.class = io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator
partitioner.class = io.confluent.connect.storage.partitioner.DefaultPartitioner
 

Эти настройки класса необходимы для указания интерфейса хранилища (здесь S3), формат выходного файла, в настоящее время io.confluent.connect.s3.format.avro.AvroFormat или io.confluent.connect.s3.format.json.JsonFormat и класс разделителя вместе со своим классом генератора схемы. При использовании формата без схемы определения, достаточно установить класс генератора схемы по умолчанию значение.

 schema.compatibility = НЕТ
 

Наконец, в этом примере отключена эволюция схемы путем установки Схема .совместимость с по НЕТ , как описано выше.

Подробное описание всех доступных вариантов конфигурации S3. коннектор перейдите в свойства конфигурации коннектора приемника Amazon S3.

Записать необработанные значения сообщения в S3

Можно использовать коннектор S3 для выписывания неизмененного оригинала значения сообщений в файлы с разделением на новую строку в S3. Мы достигаем этого, рассказывая Подключитесь, чтобы не десериализовать какие-либо сообщения, и настроив S3 коннектор для хранения значений сообщений в двоичном формате в S3.

Первая часть нашего разъема S3 похожа на другие примеры:

 имя = s3-raw-раковина
connector.class = io.confluent.connect.s3.S3SinkConnector
tasks.max = 1
themes = s3_topic
flush.size = 3
 

Параметр тем определяет темы, из которых мы хотим экспортировать данные, в этом чехол s3_topic . Свойство flush.size указывает количество записей. на раздел, который коннектор должен записать перед завершением составной загрузки в S3.

Далее нам нужно настроить параметры AWS S3:

 с3.bucket.name = confluent-kafka-connect-s3-тестирование
s3.region = us-west-2
s3.part.size = 5242880
s3.compression.type = gzip
 

s3.bucket.name является обязательным и дает имя вашей корзине S3, в которой экспортируется Кафка записи надо писать. Другой полезный параметр - s3.region , который вы следует установить, если вы используете регион, отличный от региона по умолчанию. А так как S3 коннектор использует загрузку нескольких частей, вы можете используйте s3.part.size для управления размером каждой из этих непрерывных частей используется для загрузки записей Kafka в один объект S3.Размер детали влияет пропускная способность и задержка, поскольку объект S3 виден / доступен только после всех части загружены. s3.compression.type указывает, что нам нужен S3 коннектор для сжатия наших объектов S3 с использованием сжатия GZIP, добавляя .gz расширение к любым файлам (см. ниже).

Пока что этот пример конфигурации является относительно типичным для большинства разъемов S3. Теперь давайте определим, что мы должны читать необработанные значения сообщения и записывать их в двоичный формат:

.Converter = org.apache.kafka.connect.converters.ByteArrayConverter
format.class = io.confluent.connect.s3.format.bytearray.ByteArrayFormat
storage.class = io.confluent.connect.s3.storage.S3Storage
schema.compatibility = НЕТ
 

Параметр value.converter отменяет для нашего коннектора значение по умолчанию, которое в конфигурации Connect worker, и мы используем ByteArrayConverter для дать команду Connect пропустить десериализацию значений сообщения и вместо этого указать соединить значения сообщения в их необработанной двоичной форме.Мы используем format.class Настройка класса , чтобы указать коннектору S3 записывать эти двоичные файлы. значения сообщений как есть в объекты S3. По умолчанию значения сообщения записываются в тот же объект S3 будет разделен последовательностью символов новой строки, но вы это можно контролировать с помощью параметра format.bytearray.separator , и вы можете хотите учитывать это, если ваши сообщения могут содержать символы новой строки. Также по умолчанию файлы, записанные в S3, будут иметь расширение .bin (до сжатия если включен), или вы можете использовать формат .bytearray.extension параметр для изменения расширение имени файла до сжатия.

Затем нам нужно решить, как мы хотим разделить потребляемые сообщения в S3. объекты. У нас есть несколько вариантов, в том числе разделитель по умолчанию, который сохраняет те же разделы, что и в Кафке:

 partitioner.class = io.confluent.connect.storage.partitioner.DefaultPartitioner
 

Или вместо этого мы могли бы разделить по метке времени сообщений Kafka:

 partitioner.class = io.confluent.connect.storage.partitioner.TimeBasedPartitioner
timestamp.extractor = Запись
 

или отметка времени, которую соединитель S3 обрабатывает каждое сообщение:

 partitioner.class = io.confluent.connect.storage.partitioner.TimeBasedPartitioner
timestamp.extractor = Настенные часы
 

Пользовательские разделители тоже всегда доступны. Просто имейте в виду, что поскольку значение записи - непрозрачное двоичное значение, мы не можем извлекать временные метки из полей используя опцию RecordField .

Конфигурация разъема S3, описанная выше, приводит к разделению строкой новой строки. сжатые объекты в S3 с .bin.gz .

Использование поставщиков хранилища, отличных от AWS

Многие облачные провайдеры реализуют API, совместимый с AWS S3. Вы можете использовать Разъем Kafka Connect S3 для подключения к хранилищу объектов на своей платформе. При настройке коннектора S3 для хранилища объектов у других облачных провайдеров включите следующий вариант конфигурации (если применимо для облака провайдер):

магазин.url

URL-адрес подключения к хранилищу объектов.

• Тип: строка
• По умолчанию: null
• Важность: высокая

Важно

Любой API, совместимый с AWS S3, который вы используете, должен поддерживать загрузку нескольких частей для Разъем Kafka Connect S3. См. Обзор составной загрузки для больше информации.

Произошла непредвиденная ошибка при заполнении буфера чтения записей ClassCastException - TheWindowsUpdate.com

Этот пост был переиздан через RSS; первоначально он появился на странице: Новые статьи блога в техническом сообществе Microsoft.

Сегодня мы хотим написать об очень интересном случае, над которым наша команда Пратхибха Вемулапалли, Чарл Ру и я работали на этой неделе.

Создан паркетный файл с более чем 100 столбцами для импорта в AzureDW с помощью фабрики данных Azure. Файл имел разные типы данных. Итак, прежде чем я углублюсь в ошибку и процесс устранения неполадок. Позвольте мне шаг за шагом рассказать об окружающей среде.

Ставьте по-простому. Эта среда имеет паркетный файл в качестве источника, SQL DW в качестве назначения, работающего в ADF.

Как показано на рисунках 1,2 и 3:

Рисунок 1. Определение хранилища BLOB-объектов

Рисунок 2: Определить файл Parquet

Рисунок 3: Определение исходного файла

Назначением является SQL DW, как показано на рисунке 4:

Рисунок 4: Определение места назначения данных

После того, как таблица была определена в соединителе SQLDW.Трубопровод должен быть создан с источником (паркет), приемником (SQLDW), как показано на рисунке 5:

Рисунок 5: трубопровод

Опубликуйте все изменения, переименуйте конвейер на подходящее имя.

Более подробную информацию о фабрике данных можно найти здесь: https: //docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-portal

Наша среда готова к отладке.Как только я запустил конвейер (опция отладки), он попадет в условие, о котором я упоминал ранее:

Рисунок 6: Ошибка преобразования ADF

Таблица была определена с такими типами данных, как Int, DateTime, nVarchar, Float и Real. Более 100 строк и ошибка ::

«Произошла ошибка при загрузке данных в хранилище данных SQL., Source = Microsoft.DataTransfer.ClientLibrary», Type = System.Data.SqlClient.SqlException, Message = HdfsBridge :: recordReaderFillBuffer - Произошла непредвиденная ошибка при заполнении буфера чтения записи: ClassCastException: class java.lang.Integer не может быть преобразован в класс parquet.io.api.Binary (java.lang.Integer находится в модуле java. база загрузчика bootstrap; parquet.io.api.Binary находится в безымянном модуле загрузчика app), Source = .Net SqlClient Data Provider, SqlErrorNumber = 106000, Class = 16, ErrorCode = -2146232060, State = 1, Errors = [{Class = 16, Number = 106000, State = 1, Message = HdfsBridge :: recordReaderFillBuffer - Произошла непредвиденная ошибка при заполнении буфера чтения записей "

Обсуждая в вашей команде, была обнаружена эта ошибка: ClassCastException: class java.lang.Integer нельзя привести к классу parquet.io.api.Binary

Но какой из 100 столбцов?

Как только ваша основная таблица принимает нулевые значения, вы можете протестировать, исключив столбцы из определенного типа данных. Например, попробуйте исключить все столбцы типа int из преобразования, посмотрите, работает ли оно, и так далее, пока не найдете виноватого, как показано на рисунке 7:

Рисунок 7: Удалить столбец для импорта

Обратите внимание, что в ADF, щелкнув преобразование, вы можете проверить схему, а также предварительно просмотреть исходные данные.