В Соединенных Штатах Закон об открытых правительственных данных от 14 января 2019 года определяет машиночитаемые данные как «данные в формате, который может легко обрабатываться компьютером без вмешательства человека, при этом не теряется семантическое значение». Закон предписывает федеральным агентствам США публиковать общедоступные данные таким образом, чтобы «любые общедоступные данные агентства были машиночитаемыми».
Расширяемый язык разметки (XML) предназначен для чтения как человеком, так и машиной, а преобразование расширяемого языка таблиц стилей (XSLT) используется для улучшения представления данных для удобства чтения человеком. Например, XSLT можно использовать для автоматической визуализации XML в формате переносимого документа (PDF). Машиночитаемые данные могут быть автоматически преобразованы для удобства чтения человеком, но, вообще говоря, обратное неверно.
В целях реализации Закона о модернизации Закона о деятельности и результатах правительства (GPRA) Управление управления и бюджета (OMB) определяет «машиночитаемый формат» следующим образом: «Формат на стандартном компьютерном языке (не английский текст), который может быть автоматически читаются веб-браузером или компьютерной системой (например, xml). Традиционные документы текстовых редакторов и файлы в формате переносимых документов (PDF) легко читаются людьми, но обычно их трудно интерпретировать машинами. Другие форматы, такие как расширяемый язык разметки ( XML), (JSON) или электронные таблицы со столбцами заголовков, которые можно экспортировать как значения, разделенные запятыми (CSV), являются машиночитаемыми форматами. Поскольку HTML является структурным языком разметки, незаметно маркируя части документа, компьютеры могут собирать компоненты документа. для составления оглавлений, схем, библиографий для поиска по литературе и т. д. Можно сделать традиционные текстовые документы и другие форматы машиночитаемыми, но документы должны включать улучшенные структурные элементы «.
Смотрите также
использованная литература
Commons:Машиночитаемые данные
На Викискладе многие метаданные (включая лицензию и автора) не доступны в машиночитаемой форме. Существует API-модуль, iiprop=extmetadata, который может быть использован для получения некоторых значений (пример), но так как информация введена в свободной текстовой форме на самой странице описания файла, это не идеальный вариант. Проводимый проект Structured data on Commons предназначен перенести метаданные как полностью структурированные и в конечном счете заменит машиночитаемые данные, описанные на этой странице.
Тем временем, чтобы облегчить переход к более структурированным данным в будущем, Викисклад использует набор стандартных шаблонов, которые были сделаны машиночитаемыми определённым образом, через HTML-элементы. Некоторые скрипты уже используют это. Стоит отметить, что эти данные доступны для любой вики, использующей Викисклад, где они могут быть прочитаны из HTML страницы «File:», как и другие локальные данные.
Contents
Машиночитаемые данные
Машиночитаемые данные, задаваемые информационными шаблонами-карточками
Есть несколько стандартных шаблонов-инфобоксов, помечающих различные элементы шаблона различными тегами, что позволяет парсинг информации. Используются несколько различных стилей тегов:
Другой возможный формат метаданных Commons
Машиночитаемые данные, задаваемые шаблонами лицензий
Появилось в октябре 2010 года с использованием классов
licensetpl Элемент, идентификацирующий лицензию. Служит «обёрткой» для всего кода лицензии, должен быть ЕДИНСТВЕННОЙ лицензией, а не мульти-лицензией. licensetpl_short Короткое название лицензии: «Public domain», «CC-BY-SA-3.0», «CC-by-2.0-FR» и т. п. licensetpl_long Длинное название лицензии: «Public domain», «Creative Commons Attribution-Share Alike 3.0». licensetpl_attr_req Требуется ли атрибуция: «true» (истина) или «false» (ложь). licensetpl_attr Требуемая атрибуция: текст в свободной форме. licensetpl_link_req Требуется ли для этой лицензии ссылка на лицензию: «true» или «false». licensetpl_link Ссылка на документ лицензии: «www.creativecommons.org/licenses/by-sa/XXX/YYY» licensetpl_nonfree «true», если это несвободная лицензия (не используется на Викискладе, только для вики-проектов с ПДИ)
Шаблоны, задающие эту информацию
Машиночитаемые данные, задаваемые шаблонами форматирования
Шаблоны форматирования стилей, созданные для единого оформления различных семейств шаблонов, не связанных с лицензией, содержат машиночитаемые данные, позволяющие идентифицировать эти данные.
| Шаблон | Назначение | название класса |
|---|---|---|
| < | используется в сообщениях с предупреждениями | restrictiontemplate |
| < | используется шаблонами, касающимися freedom of panorama | foptemplate |
| < | иcпользуется шаблонами об организациях-партнёрах | partnershiptemplate |
| < | используется общими шаблонами источников | sourcetemplate |
| < | используется шаблонами «Создано с помощью» | createdwithtemplate |
Машиночитаемые данные, задаваемые шаблонами, не касающимися охраны авторских прав
Шаблоны, описывающие правовые ограничения, не связанные с авторскими правами, содержат эти классы, чтобы идентифицировать специфичные шаблоны ограничений.
| Шаблон(ы) | Цель | название класса |
|---|---|---|
| < | Изображения с торговой маркой | restriction-trademarked |
| < | Дизайн, на который действуют авторские права. | restriction-design |
| < | Коммунистические символы | restriction-communist |
| < | Репродукции итальянских произведений | restriction-ita-mibac |
| < | Заповедники Австралии | restriction-aus-reserve |
| < | Права личности | restriction-personality |
| <<2257>> | Сообщение, связанное с Актом по защите детей и борьбе с непристойностью (США) | restriction-2257 |
| < | Костюмы | restriction-costume |
| < | Фан-арт | restriction-fan-art |
| < | Валюта | restriction-currency |
| < | Cимволы, использование которых регулируется Международным гуманитарным правом. | restriction-ihl |
| < | Нацистские и фашистские символы | restriction-nazi |
| < | Официальные знаки отличия | restriction-insignia |
Машиночитаемые данные, задаваемые особыми шаблонами
Задаются и другие машиночитаемые данные. Некоторые из них приведены ниже:
Машиночитаемые данные, задаваемые шаблонами местоположения
<
Использование
MediaWiki API
Сейчас MediaWiki API обслуживает ограниченное количество метаданных. Рассмотрим следующий запрос:
(Открыть в API-песочнице) который возвращает некоторые полезные параметры, такие как Credit, Artist, LicenseUrl и Copyrighted и используется, например, виджетом Media Viewer.
Скрипты, использующие машиночитаемые данные
Внешние инструменты
Смотрите также
Определение новых машиночитаемых данных
Проблемы
Есть несколько вещей, которые пока НЕ учитываются или плохо учитываются. К ним относятся:
Поддержка машиночитаемых форм регламентированной отчетности в «1С:Предприятии»
Технология машиночитаемых форм налоговой отчетности является сочетанием двух технологий автоматизированной обработки «бумажных» форм отчетности:
Новая технология органично сочетает достоинства двух перечисленных выше технологий.
Коротко суть данной технологии заключается в следующем.
Получив файл, содержащий данные налоговой декларации, унифицированный модуль печати «разбирает» значения показателей декларации и помещает их в шаблон, содержащий изображение соответствующей налоговой декларации (или другой формы отчетности).
Результатом работы модуля печати является изображение готовая формы декларации, которая оформлена в виде машиночитаемого бланка, на который, в свою очередь, в виде двухмерного штрихкода стандарта PDF417 нанесены также данные декларации, которые были переданы модулю печати в электронном виде. Пример формы приведен на рисунке.
Полученная в результате работы модуля печати заполненная машиночитаемая форма декларации может быть распечатана на любом принтере.
Декларация, сформированная подобным образом, представляется в налоговый орган.
В процессе машинного чтения декларации предполагается, что будет одновременно сканироваться и расшифровываться двухмерный штрихкод, содержащий данные декларации, и распознаваться печатная форма. Результаты чтения и распознавания будут автоматически сравниваться. Совпадение результатов двух способов машинного чтения будет считаться признаком отсутствия ошибок.
Далее данные декларации в электронном виде уже будут обрабатываться по существующей технологии и принятым в налоговых органах регламентам.
Подготовка налоговых деклараций в виде машиночитаемых бланков в программах фирмы «1С»
Подготовка налоговых деклараций в виде машиночитаемых бланков возможна только при использовании специально разработанного программного обеспечения, в частности, экономических программ фирмы «1С».
Поддержка технологии машиночитаемых бланков включена в программные продукты фирмы «1С»:
Порядок подготовки налоговых деклараций в виде машиночитаемых форм в «1С:Предприятии 8» описан здесь.
Порядок подготовки налоговых деклараций в виде машиночитаемых форм в «1С:Предприятии 7.7» описан здесь.
Порядок формирования машиночитаемых форм налоговых деклараций также приведен в статьях на диске «Информационно технологическое сопровождение»:
Технология машиночитаемых форм отчетности
Технология машиночитаемых форм налоговой отчетности является сочетанием двух технологий автоматизированной обработки «бумажных» форм отчетности:
Новая технология органично сочетает достоинства двух перечисленных выше технологий.
Коротко суть данной технологии заключается в следующем.
Получив файл, содержащий данные налоговой декларации, унифицированный модуль печати «разбирает» значения показателей декларации и помещает их в шаблон, содержащий изображение соответствующей налоговой декларации (или другой формы отчетности).
Результатом работы модуля печати является изображение готовая формы декларации, которая оформлена в виде машиночитаемого бланка, на который, в свою очередь, в виде двухмерного штрихкода стандарта PDF417 нанесены также данные декларации, которые были переданы модулю печати в электронном виде. Пример формы приведен на рисунке.
Полученная в результате работы модуля печати заполненная машиночитаемая форма декларации может быть распечатана на любом принтере.
Декларация, сформированная подобным образом, представляется в налоговый орган.
В процессе машинного чтения декларации предполагается, что будет одновременно сканироваться и расшифровываться двухмерный штрихкод, содержащий данные декларации, и распознаваться печатная форма. Результаты чтения и распознавания будут автоматически сравниваться. Совпадение результатов двух способов машинного чтения будет считаться признаком отсутствия ошибок.
Далее данные декларации в электронном виде уже будут обрабатываться по существующей технологии и принятым в налоговых органах регламентам.
Необходимо специализированное программное обеспечение
Для формирования налоговой и бухгалтерской отчетности в виде машиночитамых бланков, необходимо наличие на компьютере налогоплательщика специального программного обеспечения.
Модуль печати является специализированным программным средством, которое выполняет формирование и показ машиночитаемых бланков по запросам прикладных программ, специально подготовленных для работы с этим модулем.
Архивный файл modyl.rar содержит сам инсталляционный файл модуля печати и файл с описанием системных требований к модулю печати.
Модуль печати, содержащийся в архиве modyl.rar, предназначен для работы с операционными системами:
и требует наличия установленных компонент:
Если на вашем компьютере установлена операционная система Windows 2000 или Windows 98, вам могут понадобиться дополнительные программные компоненты:
Этот компонент, а также Microsoft Data Access Components и Windows Script Host 5.6, включены в состав архива, расположенного на сайте ФГУП «ГНИВЦ ФНС России» по адресу http://www.gnivc.ru/lib/dop.rar.
Шаблоны машиночитаемых форм налоговых деклараций представляют собой графические файлы в формате TIFF, содержащие изображения налоговых деклараций и разметку, используемую в процессе включения в шаблон данных соответствующего отчета.
Актуальные шаблоны форм налоговых деклараций опубликованы на сайте ФГУП «ГНИВЦ ФНС России» по адресу:
Имя файла шаблона имеет вид
Таким образом, каждый шаблон настроен на формирование конкретной налоговой декларации, и при этом поддерживает только один формат выгрузки данных этой декларации. При появлении новой версии формата, разработчиком будет выпускаться новый шаблон.
Из всех шаблонов с одинаковым КНД и версией формата выгрузки, самым «свежим» будет тот, у которого выше номер версии.
О публикации новых шаблонов, новых версий существующих шаблонов и новых версий модуля печати публикуются новости в разделе новостей на сайте ФГУП «ГНИВЦ ФНС России» по адресу http://www.gnivc.ru/Default.aspx.
Тем, кто представляет отчетность по каналам связи
Для тех налогоплательщиков, которые представляет отчетность по телекоммуникационным каналам связи, и особенно для тех, кто только собирается это сделать, мы хотим особенно подчеркнуть, что описанная в данной статье технология предназначена в первую очередь для тех, кто до сих пор представляет отчетность на бумаге. При представлении отчетности по каналам связи представлять ее бумажную копию не обязательно.
Однако некоторые налогоплательщики предпочитают все-таки иметь в своем архиве бумажные копии отчетности, представленной в электронном виде, и с отметкой налогового органа о принятии декларации.
Для таких налогоплательщиков мы рекомендуем распечатывать налоговые декларации в «обычном», а не машиночитаемом виде. Чтобы сделать это в программах системы «1С:Предприятия 8», необходимо в нижней командной панели отчета нажать кнопку «Печать» и из открывшегося меню выбрать пункт «Печатать сразу» или «Показать бланк».
В формах отчетности для «1С:Предприятия 7.7» необходимо открыть титульный лист, в диалоге управления отчетом нажать кнопку «Печать» и из открывшегося меню выбрать пункт «Печатать сразу все листы или «Показать бланки всех листов».
Машиночитаемый формат библиографической записи: структура, назначение, технология ввода в электронный каталог (ЭК)
Основу ЭК составляют MARC-записи или машиночитаемые библиографические записи.
В настоящее время MARC является стандартом формата обмена библиотечными данными, и его разработка сделала возможным само существование электронного каталога.
Для того чтобы создать ЭК не достаточно ввести в компьютер информацию, которая содержится на каталожной карточке.
MARC-формат решает задачу интерпретации данных для компьютеров. Формат позволяет компьютеру:
1)Во-первых, структурировать и в дальнейшем правильно интерпретировать библиографическую информацию;
2)Во-вторых, обеспечивает более компактное хранение информации;
3)В-третьих, позволяет библиотека осуществлять обмен информацией. Машиночитаемый библиографический формат, представляет собой совокупность взаимосвязанных элементов данных, который служит для создания и обмена библиографическими записями в машиночитаемой форме.
Машиночитаемая библиографическая запись содержит традиционное библиографическое описание, предметные рубрики, индексы классификационных систем, а также содержит и другие данные обеспечивающие автоматическую обработку записи, более точный поиск.
Первоначальный вариант MARC-формата был разработан библиотекой Конгресса США в середине 60-х годов. Целью было исследование возможностей получения библиографических данных в машиночитаемой форме. Первый формат носил название MARC-I (65-66 года). Аналогичная работа также проводилась в Великобритании. Эти параллельные исследования легли в основу создания в 1968 году проекта MARC II, в которой были заложены возможности использования формата MARC в качестве коммуникационного формата (обменный формат).
Коммуникационный формат обеспечивает:
1) Возможность его применения для всех видов библиотечных документов;
2) Решение разнообразных задач в дополнении к библиографированию;
3) Удобство применения в различных автоматизированных системах.
Различия в содержании данных в этих форматах вызвали необходимость редактирования записей до обмена ими. Для преодоления не совместимости форматов был разработан международный формат UNIMARC, который позволил принимать библиографические записи, составленные в любом формате MARC (1977г. под игидой ИФЛА разработан и опубликован).
В 1987 году вышла новое описание формата.
В 90-х годах европейский союз признает формат UNIMARC в качестве официального обменного формата стран членов СЭЗ. UNIMARC и форматы созданные на его основе MARC 21 (объединенные USMARC и CANMARC).
На основе формата UNIMARC в отдельных странах изданы национальные версии. Российский вариант разработан и опубликован в 1998 году RUSMARC.
Создание MARC-записи включает следующие этапы:
1) Анализ документа;
2)Отбор и организация библиографических данных в соответствии с правилами каталогизации и локальной практикой библиографирующего учреждения;
3)Выбор элементов MARC-записей (полей и подполей) для каждого фрагмента библиографических данных:
4Ввод библиографических данных в систему.
В автоматизированных системах MARC-запись обеспечивает возможность вывода информации на экран в любом удобном для пользователя виде:
— краткий формат (автор, заглавие, дата издания..);
— в формате каталожной карточки;
— в полном формате (шифр, издательство и так далее);
Структура MARC-записи. Библиографическая запись в формате MARC характеризуется тремя элементами:
1. Структура записи
2. Определитель содержания (назначение структуры элементов)
3. Содержание записи (т.е. библиографические сведения) Библиографическая запись в российском машиночитаемом формате состоит из трехкомпонентов:
Маркер записи обязательная область располагается в начале каждой машиночитаемой записи. Содержит общие данные, используется для обработки записей. Маркер не содержит библиографические сведения о документе. Маркер содержит код записи равный 24 символам. Он определяет длину записи, статус записи, тип записи, библиографический уровень, иерархический уровень, дополнительно определение записи (степень полноты и
Справочник, следует за маркером, определяет наличие и последовательность полей в записи. Содержит код записи равный 12 символам для каждого поля и включает три характеристики поля: метку поля (3-х цифровой символ для каждого поля); длину каждого поля (4 символа); позиции начального символа, относящегося к первому поля данных.
Поля данных распределены по 10 блокам:
В каждый блок входит разное количество полей.
Взаимосвязь форматов представления различных типов данных (система форматов). Формирование библиографических записей включает три основных составляющих:
1. Создание библиографического описания
2. Формирование контролируемых точек доступа (с использованием авторитетных файлов)
3. Приведение сведений об экземплярности и места положения.
Для данных каждой из этих составляющих создается свой формат. Поэтому форматы, которые мы знаем как MARC 21, UNIMARC, RUSMARC представляют собой системы взаимосвязанных форматов, каждый из которых выполняет свою функцию в рамках общей задачи обеспечивать создания и обмена библиографической информацией. Система форматов MARC 21 включает:
1. Форматы представления библиографических данных
2. Форматы представления авторитетных данных
3. Форматы представления классификационных данных
4. Формат для описания не библиографических ресурсов
5. Формат представления холдинговых данных Система форматов UNIMARC включает:
1. Форматы представления библиографических данных
2. Форматы представления авторитетных данных
3. Формат представления холдинговых данных
4. Форматы представления классификационных данных
RUSMARC также является системой форматов для библиографических данных, для авторитетных данных, для классификационных данных, для машиночитаемой каталогизации.
Российский коммуникационный формат представления библиографических записей опубликованные в 1998 году обеспечивает возможность обмена готовыми библиографическими записями между библиотеками России.
Российский коммуникационный формат представления авторитетных записей опубликован в 1998году обеспечивает обмен авторитетными или нормативными, а также ссылочными и справочными записями между библиографическими учреждениями России.
Российский формат машиночитаемой каталогизации, опубликован в 2000 году. Наличие рекомендаций по наполнению машиночитаемых записей в библиографических базах данных для обеспечивания их соответствия правилам составления библиографического описания, методикам индексирования, коммуникационным форматам по структуре и наполнению согласован с российским коммуникационным форматом представления библиографических записей и российским коммуникационным форматом представления авторитетных записей.
Российский коммуникационный формат представления классификационных записей, как и другие форматы системы RUSMARC, формат классификационных данных разработан на базе UNIMARC. В 2005 году завершена работа, определены три основных вида записей:
— Запись основных таблиц
— Запись вспомогательных таблиц
— Запись терминала индексирования, выражается понятием. Аналог справочной карточки с алфавитно-предметном указателем.