Парсинг на Perl


Оглавление (нажмите, чтобы открыть):

Парсинг на Perl

use CGI qw(:all);
use CGI::Carp qw(fatalsToBrowser);
use DBI;
use Net::hostent;
use Socket;
use Mysql;

open(MYFILE, «test.txt») || die «$!»;
@contents= ; # если работать массивом.
for($i=0;$i $vopr=$contents[$i];
($var_otv1,$var_otv2,$var_otv3,$prav_otv)=($contents[$i+1],$contents[$i+2],$contents[$i+3],$contents[$i+4],$contents[$i]+5);
print $ID_vopr;
print \n;
print $vopr;
print \n;
print $var_otv1;
print \n;
print $var_otv2;
print \n;
print $var_otv3;
print \n;
print $var_otv4;
print \n;
print $prav_otv;
print \n;
>

#while( ) <
#print $_;
#>
close(MYFILE);

Добавлено:
и еще одна батва — переменную $ID_vopr формирует неправильно, в нее долэжно попадать число с номером вопроса, а в $vopr только сам вопрос .

Добавлено:
Brodyaga
бавтва была в принте. не

Цитата:

print \n;

а надо

Цитата:

print «\n»;

Добавлено:
Brodyaga
Проблему наешел, устранил, работает на 85%, остается мне отрезать от переменной $vopr первые четыре символа и переводить их в цифру, там может стоять нопер вопроса от1 до 130 дето. или просто отрезать их и самому заносить это значение $ > Всего записей: 823 | Зарегистр. 17-12-2003 | Отправлено: 12:29 07-11-2006

pusiyjan

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору все закончено находкой функций
1. Удаление начальных и конечных пробелов в строке $var:

for ($var) <
s/^\s+//;
s/\s+$//;
>
2. Example: Changing a String’s Value

$firstVar = substr(«0123BBB789», 4, 3);
print(«firstVar = $firstVar\n»);

This program prints:

НО, теперь батва с сохранением в базу мускула, скорее всего потому что мне надо в каждой переменной текстовой удалить символ перевод на новую строку.
?

Добавлено:
😥
мне подсказали использовать вункцию ereg_replace(«\n»,»»,string); у меня на нее перл матюкается, она я так поныл c php =(((

Всего записей: 823 | Зарегистр. 17-12-2003 | Отправлено: 15:18 07-11-2006
Brodyaga

Silver Member

Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору $string=

———-
Damn Metal
Всего записей: 2713 | Зарегистр. 07-01-2006 | Отправлено: 17:53 07-11-2006
pusiyjan

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Brodyaga

Цитата:

$string=

s/\n//;

Да ты прав что так правильнее, щас попробую потестить, но я уже решил эту часть лбысной функцией и обрезал строку на 2 пункта через $vopros = substr($vopros,0,length($vopros)-2);
Вот что у меня получилось в итоге.

Код:

.
$dbh = «DBI:mysql:$db_Name:$db_Host:$db_port»;
$dbh = DBI->connect($dbh, $db_User, «»);

print «\n»;
open(MYFILE, «test.txt») || die «$!»;
@contents= ; # если работать массивом.
for($i=0;$i output.txt») || die «Ошибка при открытии output.txt: $!»;
print NEWH $sql;
print NEWH «\n»;
close(NEWH);

$sth = $dbh->prepare($sql);
$sth->execute();

Написание простого парсера на Perl: с выводом лексера, куда идти дальше?

Я пытаюсь написать простой язык манипулирования данными на Perl (только для чтения, он предназначен для преобразования запросов на основе SQL в фильтры и свойства для использования с vSphere Perl API: https://pubs.vmware.com/vsphere-60 /topic/com.vmware.perlsdk.pg.doc/viperl_advancedtopics.5.1.html_ )

В настоящее время у меня есть что-то похожее на вывод лексера, если я правильно понимаю — список таких токенов (Data :: Dumper печатает массив хэшей):

Теперь я хотел бы создать синтаксическое дерево. Документация, которую я видел до сих пор, в основном касается использования модулей и генерации грамматик из BNF, но в настоящее время я не могу обернуться вокруг этого.

Я хотел бы возиться с относительно простым процедурным кодом, возможно, рекурсивным, чтобы самому сделать некрасивую реализацию.

В настоящее время я думаю о том, чтобы создать строку из $token-><'part'>s например:

и затем запустив против него большое и уродливое регулярное выражение, (ab) используя способность Perl встраивать код в регулярные выражения: https://perldoc.perl.org/perlretut.html#A-bit-of-magic:-executing- Perl-код-в-регулярном выражении :

Все, что я нашел до сих пор, требует глубоких знаний CS и / или лингвистики, и я даже не понимаю этого.

Что я должен сделать с выводом лексера, чтобы начать понимать и переделывать правильный анализ? Что-то вроде «создать набор временных хэшей, представляющих меньшую часть оператора» или «удалять подстроки, пока строка не станет пустой, а затем проверить, что вы получите».

Я знаю о Книге Дракона и SICP, но я бы хотел что-то более легкое в это время.

Веб-разработка

Если вы собираетесь заняться разбором HTML или XML, то класс Perl, который мы разработаем в этой статье, может помочь вам в этом деле.

Не буду здесь грузить про то, зачем нужно грабить и парсить. Остановимся на том, что у нас есть текст, который очень похож на XML. И нам нужно его быстро и грамотно распарсить.

Постановка задачи

Написать класс, предназначенный для выполнения типовых задач, встающих при разборе xml-подбных текстов.

Почему я говорю xml-подобных? Ну, если вы хоть раз пробовали парсить текст html-странички с помощью методов DOM, то вы, наверняка упирались в то, что далеко не каждая html-страничка — это правильный DOM-документ. Банальный пример — незакрытые теги

Поэтому, нужно дать возможность передавать нужный кусок текста в качестве скаляра, в котором будут искаться нужные куски, с оглядкой на то, что это все-таки должно быть похоже на xml. Посему, нарекаю этот класс LlXMLParser (Look like XML Parser).

Будущий класс должен уметь:

  • собирать все теги, с заданным именем
  • собирать содержимое всех тегов, с заданным именем
  • собирать значения атрибута, с заданным именем
  • собирать все атрибуты тега, с заданным именем

Синопсис

Классы в «Perl

В Perl, классы — это всего лишь пакеты. А объекты — это ссылки. Поля объекта хранятся в обычном хэше. Подробнее об ООП в Perl можно почитать в мануалах.

Реализация

Конструктор

Простой конструктор. Возвращает ссылку, «благословленную» в пакет.

Режим дебага

Чтобы проще было отлаживать работу класса, да и использовать его позже, напишем метод, который будет включать и выключать режим дебага.

Режим дебага будет заключаться в том, чтобы возвращать не просто значения, а оптимизированные для вывода на экран и отладки. Для этого нам потребуется метод, преобразующий обычный кусок xml в xml, приготовленный для вывода на экран.

Функция принимает ссылку на скаляр и модифицирует его.

Сбор тегов

Этот метод принимает текст для парсинга и имя тега. Затем, он ищет в тексте заданный тег. Предполагается, что это — тег-контейнер. Если это одиночный тег, то его атрибуты будем получать по-другому.

Получение всех атрибутов тега

Если нас интересует, какие атрибуты есть у тега, можем использовать метод tag_atribs.

Получим ссылку на все атрибуты тегов, с заданным именем.

Сбор содержимого тега

Допустим, хотим получить содержимое всех абзацев. Причем, без самих кодов абзацев. Можно воспользоваться методом tag_contents.

Сбор значений конкретного атрибута

Допустим, хотим собрать все ссылки на картинки со страницы. Нам понадобятся значения атрибута src. Вот метод, который позволит быстро сделать то, что мы задумали.

Собственно, получим ссылку на массив значений нашего атрибута.

Ну и на закусочку, можно оснастить наш класс простым методом, который будет считать, сколько раз в тексте появляется заданная строка или регулярное выражение.

Заключение

Конечно, этот класс примитивен. Например, он не умеет работать с вложенными тегами. Скажем, конструкцию из вложенных друг в друга таблиц он интерпретирует неверно. Зато он является простым и удобным инструментом, который решает типовые задачи захвата при разборе XML-подобных текстов.

По сути, это даже не класс, а библиотека. Ведь нам вряд ли потребуется более одного объекта данного класса из-за того, что мы не зашиваем текст в объект, а каждый раз передаем кусочек, при вызове методов. ООП здесь нужно лишь для того, чтобы избежать конфликтов имен. Кроме того, это улучшает переносимость библиотеки.

Возможно в последствии, добавлю методы для обрезки и вырезки чего-либо. Так же было бы неплохо видеть тут методы для поиска и замены.

Бывают еще, задачи очистки кода. Например, типовая задача — удаление всех атрибутов (кроме важных типа src) во всех тегах.

Думал так же, о рекурсивном поиске вложенных тегов, но решил, что это не имеет смысла, ибо исходный текст всего лишь похож на xml.

А если вы хотите парсить XML или сайты профессионально — можете обратиться ко мне и я вам в этом помогу. Возможно даже бесплатно;)

htmlparsing.com — How to parse HTML the right way, without regular expressions

The CPAN module HTML::Parser is the basis for all HTML parsing in Perl. There are other CPAN modules that do parsing, but the vast majority of them are just wrappers around HTML::Parser.

Marpa::HTML does «high-level» parsing of HTML. It allows handlers to be specified for elements, terminals and other components in the hierarchical structure of an HTML document. It’s a is a completely liberal HTML parser: it never rejects a document, no matter how poorly that document fits the HTML standards.

The parsing method Marpa::HTML uses is totally new, as described in «How to Parse HTML», Parts one, two and three. Its Marpa::XS parse engine is in optimized C.

WWW::Mechanize

WWW::Mechanize is a handy module because it handles two common tasks associated with parsing HTML: fetching a remote document and extracting basic information from a document.

Calling the get() subroutine handles all the lower level work of using LWP to fetch a page and then HTML::Parser to build up a useful object. This $mech object has numerous subroutines for accessing all of the data or in a piecemeal fashion.

WWW::Mechanize also provides find_all_links() and find_all_images() for searching through all the links and images that match a certain criteria, such as:

WWW::Mechanize::TreeBuilder

WWW::Mechanize::TreeBuilder is a combination of WWW::Mechanize and WWW::TreeBuilder which brings the functionality of HTML::Element with it. Now it is possible to search by tag name or by attribute.

find() searches by tag name whereas look_down() starts at $mech and looks thru its element descendants (in pre-order), looking for elements matching the criteria you specify. In the above example we are using the internal attribute value _tag to search for

tags only. look_down() can use HTML attribute names, values or be passed a coderef.

xmlgrep

The XML::Twig module includes the xmlgrep utility, which can often be good enough. It doesn’t parse, but finds local matches.

How to Parse Text Files With Perl

Computer Science

Parsing text files is one of the reasons Perl makes a great data mining and scripting tool.

As you’ll see below, Perl can be used to basically reformat a group of text. If you look down at the first chunk of text and then the last part at the bottom of the page, you can see that the code in the middle is what transforms the first set into the second.

How to Parse Text Files

As an example, let’s build a little program that opens up a tab separated data file, and parses the columns into something we can use.

Say, as an example, that your boss hands you a file with a list of names, emails, and phone numbers, and wants you to read the file and do something with the information, like put it into a database or just print it out in a nicely formatted report.

The file’s columns are separated with the TAB character and would look something like this:

Here’s the full listing we’ll be working with:

Note: This pulls some code from the tutorial on how to read and write files in Perl.

What it does first is open a file called data.txt (that should reside in the same directory as the Perl script). Then, it reads the file into the catchall variable $_ line by line. In this case, the $_ is implied and not actually used in the code.

After reading in a line, any whitespace is chomped off the end of it. Then, the split function is used to break the line on the tab character. In this case, the tab is represented by the code \t. To the left of the split’s sign, you’ll see that I’m assigning a group of three different variables. These represent one for each column of the line.

Finally, each variable that has been split from the file’s line is printed separately so that you can see how to access each column’s data individually.

The output of the script should look something like this:

Perl 5 version 30.0 documentation

Pod::Parser — base class for creating POD filters and translators

SYNOPSIS

REQUIRES

perl5.005, Pod::InputObjects, Exporter, Symbol, Carp

EXPORTS

DESCRIPTION

NOTE: This module is considered legacy; modern Perl releases (5.18 and higher) are going to remove Pod-Parser from core and use Pod-Simple for all things POD.

Pod::Parser is a base class for creating POD filters and translators. It handles most of the effort involved with parsing the POD sections from an input stream, leaving subclasses free to be concerned only with performing the actual translation of text.

Pod::Parser parses PODs, and makes method calls to handle the various components of the POD. Subclasses of Pod::Parser override these methods to translate the POD into whatever output format they desire.

QUICK OVERVIEW

To create a POD filter for translating POD documentation into some other format, you create a subclass of Pod::Parser which typically overrides just the base class implementation for the following methods:

command()

verbatim()

textblock()

interior_sequence()

You may also want to override the begin_input() and end_input() methods for your subclass (to perform any needed per-file and/or per-document initialization or cleanup).


If you need to perform any preprocessing of input before it is parsed you may want to override one or more of preprocess_line() and/or preprocess_paragraph().

Sometimes it may be necessary to make more than one pass over the input files. If this is the case you have several options. You can make the first pass using Pod::Parser and override your methods to store the intermediate results in memory somewhere for the end_pod() method to process. You could use Pod::Parser for several passes with an appropriate state variable to control the operation for each pass. If your input source can’t be reset to start at the beginning, you can store it in some other structure as a string or an array and have that structure implement a getline() method (which is all that parse_from_filehandle() uses to read input).

Feel free to add any member data fields you need to keep track of things like current font, indentation, horizontal or vertical position, or whatever else you like. Be sure to read PRIVATE METHODS AND DATA to avoid name collisions.

For the most part, the Pod::Parser base class should be able to do most of the input parsing for you and leave you free to worry about how to interpret the commands and translate the result.

Note that all we have described here in this quick overview is the simplest most straightforward use of Pod::Parser to do stream-based parsing. It is also possible to use the Pod::Parser::parse_text function to do more sophisticated tree-based parsing. See TREE-BASED PARSING.

PARSING OPTIONS

A parse-option is simply a named option of Pod::Parser with a value that corresponds to a certain specified behavior. These various behaviors of Pod::Parser may be enabled/disabled by setting or unsetting one or more parse-options using the parseopts() method. The set of currently accepted parse-options is as follows:

    -want_nonPODs (default: unset)

Normally (by default) Pod::Parser will only provide access to the POD sections of the input. Input paragraphs that are not part of the POD-format documentation are not made available to the caller (not even using preprocess_paragraph()). Setting this option to a non-empty, non-zero value will allow preprocess_paragraph() to see non-POD sections of the input as well as POD sections. The cutting() method can be used to determine if the corresponding paragraph is a POD paragraph, or some other input paragraph.

-process_cut_cmd (default: unset)

Normally (by default) Pod::Parser handles the =cut POD directive by itself and does not pass it on to the caller for processing. Setting this option to a non-empty, non-zero value will cause Pod::Parser to pass the =cut directive to the caller just like any other POD command (and hence it may be processed by the command() method).

Pod::Parser will still interpret the =cut directive to mean that «cutting mode» has been (re)entered, but the caller will get a chance to capture the actual =cut paragraph itself for whatever purpose it desires.

-warnings (default: unset)

Normally (by default) Pod::Parser recognizes a bare minimum of pod syntax errors and warnings and issues diagnostic messages for errors, but not for warnings. (Use Pod::Checker to do more thorough checking of POD syntax.) Setting this option to a non-empty, non-zero value will cause Pod::Parser to issue diagnostics for the few warnings it recognizes as well as the errors.

Please see parseopts() for a complete description of the interface for the setting and unsetting of parse-options.

RECOMMENDED SUBROUTINE/METHOD OVERRIDES

Pod::Parser provides several methods which most subclasses will probably want to override. These methods are as follows:

command()

This method should be overr >

    $cmd

the name of the command for this POD paragraph

$text

the paragraph text for the given POD paragraph command.

$line_num

the line-number of the beginning of the paragraph

$pod_para

a reference to a Pod::Paragraph object which contains further information about the paragraph command (see Pod::InputObjects for details).

Note that this method is called for =pod paragraphs.

The base class implementation of this method simply treats the raw POD command as normal block of paragraph text (invoking the textblock() method with the command paragraph).

verbatim()

This method may be overridden by subclasses to take the appropriate action when a block of verbatim text is encountered. It is passed the following parameters:

the block of text for the verbatim paragraph

$line_num

the line-number of the beginning of the paragraph

$pod_para

a reference to a Pod::Paragraph object which contains further information about the paragraph (see Pod::InputObjects for details).

The base class implementation of this method simply prints the textblock (unmodified) to the output filehandle.

textblock()

This method may be overridden by subclasses to take the appropriate action when a normal block of POD text is encountered (although the base class method will usually do what you want). It is passed the following parameters:

the block of text for the a POD paragraph

$line_num

the line-number of the beginning of the paragraph

$pod_para

a reference to a Pod::Paragraph object which contains further information about the paragraph (see Pod::InputObjects for details).

In order to process interior sequences, sub > $text , and the corresponding line number in $line_num , and then perform any desired processing upon the returned result.

The base class implementation of this method simply prints the text block as it occurred in the input stream).

interior_sequence()

This method should be overr > $seq_cmd and the corresponding text $seq_arg . It is invoked by the interpolate() method for each interior sequence that occurs in the string that it is passed. It should return the desired text string to be used in place of the interior sequence. The $pod_seq argument is a reference to a Pod::InteriorSequence object which contains further information about the interior sequence. Please see Pod::InputObjects for details if you need to access this additional information.

Sub > $pod_seq to see if it is nested inside some other interior-sequence (and if so, which kind).

The base class implementation of the interior_sequence() method simply returns the raw text of the interior sequence (as it occurred in the input) to the caller.

OPTIONAL SUBROUTINE/METHOD OVERRIDES

Pod::Parser provides several methods which subclasses may want to override to perform any special pre/post-processing. These methods do not have to be overridden, but it may be useful for subclasses to take advantage of them.

new()

This is the constructor for Pod::Parser and its subclasses. You do not need to override this method! It is capable of constructing subclass objects as well as base class objects, provided you use any of the following constructor invocation styles:

where MyParser is some subclass of Pod::Parser.

Using the syntax MyParser::new ( ) to invoke the constructor is not recommended, but if you insist on being able to do this, then the subclass will need to override the new() constructor method. If you do override the constructor, you must be sure to invoke the initialize() method of the newly blessed object.

Using any of the above invocations, the first argument to the constructor is always the corresponding package name (or object reference). No other arguments are required, but if desired, an associative array (or hash-table) my be passed to the new() constructor, as in:

All arguments passed to the new() constructor will be treated as key/value pairs in a hash-table. The newly constructed object will be initialized by copying the contents of the given hash-table (which may have been empty). The new() constructor for this class and all of its subclasses returns a blessed reference to the initialized object (hash-table).

initialize()

This method performs any necessary object initialization. It takes no arguments (other than the object instance of course, which is typically copied to a local variable named $self ). If sub > $self ->SUPER::initialize ( ) .

begin_pod()

This method is invoked at the beginning of processing for each POD document that is encountered in the input. Subclasses should override this method to perform any per-document initialization.

begin_input()

This method is invoked by parse_from_filehandle() immediately before processing input from a filehandle. The base class implementation does nothing, however, subclasses may override it to perform any per-file initializations.

Note that if multiple files are parsed for a single POD document (perhaps the result of some future =include directive) this method is invoked for every file that is parsed. If you wish to perform certain initializations once per document, then you should use begin_pod().

end_input()

This method is invoked by parse_from_filehandle() immediately after processing input from a filehandle. The base class implementation does nothing, however, subclasses may override it to perform any per-file cleanup actions.

Please note that if multiple files are parsed for a single POD document (perhaps the result of some kind of =include directive) this method is invoked for every file that is parsed. If you wish to perform certain cleanup actions once per document, then you should use end_pod().

end_pod()

This method is invoked at the end of processing for each POD document that is encountered in the input. Subclasses should override this method to perform any per-document finalization.

preprocess_line()

This method should be overr > $text is the input line; and the parameter $line_num is the line number of the corresponding text line.

The value returned should correspond to the new text to use in its place. If the empty string or an undefined value is returned then no further processing will be performed for this line.

Please note that the preprocess_line() method is invoked before the preprocess_paragraph() method. After all (possibly preprocessed) lines in a paragraph have been assembled together and it has been determined that the paragraph is part of the POD documentation from one of the selected sections, then preprocess_paragraph() is invoked.

The base class implementation of this method returns the given text.

preprocess_paragraph()

This method should be overr > $text is the POD paragraph from the input file; and the parameter $line_num is the line number for the beginning of the corresponding paragraph.

The value returned should correspond to the new text to use in its place If the empty string is returned or an undefined value is returned, then the given $text is ignored (not processed).

This method is invoked after gathering up all the lines in a paragraph and after determining the cutting state of the paragraph, but before trying to further parse or interpret them. After preprocess_paragraph() returns, the current cutting state (which is returned by $self ->cutting ( ) ) is examined. If it evaluates to true then input text (including the given $text ) is cut (not processed) until the next POD directive is encountered.

Please note that the preprocess_line() method is invoked before the preprocess_paragraph() method. After all (possibly preprocessed) lines in a paragraph have been assembled together and either it has been determined that the paragraph is part of the POD documentation from one of the selected sections or the — want_nonPODs option is true, then preprocess_paragraph() is invoked.

The base class implementation of this method returns the given text.

METHODS FOR PARSING AND PROCESSING

Pod::Parser provides several methods to process input text. These methods typically won’t need to be overridden (and in some cases they can’t be overridden), but subclasses may want to invoke them to exploit their functionality.

parse_text()

This method is useful if you need to perform your own interpolation of interior sequences and can’t rely upon interpolate to expand them in simple bottom-up order.

The parameter $text is a string or block of text to be parsed for interior sequences; and the parameter $line_num is the line number corresponding to the beginning of $text .

parse_text() will parse the given text into a parse-tree of «nodes.» and interior-sequences. Each «node» in the parse tree is either a text-string, or a Pod::InteriorSequence. The result returned is a parse-tree of type Pod::ParseTree. Please see Pod::InputObjects for more information about Pod::InteriorSequence and Pod::ParseTree.

If desired, an optional hash-ref may be specified as the first argument to customize certain aspects of the parse-tree that is created and returned. The set of recognized option keywords are:

    -expand_seq =>code-ref|method-name

Normally, the parse-tree returned by parse_text() will contain an unexpanded Pod::InteriorSequence object for each interior-sequence encountered. Specifying -expand_seq tells parse_text() to «expand» every interior-sequence it sees by invoking the referenced function (or named method of the parser object) and using the return value as the expanded result.

If a subroutine reference was given, it is invoked as:

and if a method-name was given, it is invoked as:

where $parser is a reference to the parser object, and $sequence is a reference to the interior-sequence object. [NOTE: If the interior_sequence() method is specified, then it is invoked according to the interface specified in interior_sequence()].

-expand_text =>code-ref|method-name

Normally, the parse-tree returned by parse_text() will contain a text-string for each contiguous sequence of characters outside of an interior-sequence. Specifying -expand_text tells parse_text() to «preprocess» every such text-string it sees by invoking the referenced function (or named method of the parser object) and using the return value as the preprocessed (or «expanded») result. [Note that if the result is an interior-sequence, then it will not be expanded as specified by the -expand_seq option; Any such recursive expansion needs to be handled by the specified callback routine.]

If a subroutine reference was given, it is invoked as:

and if a method-name was given, it is invoked as:

where $parser is a reference to the parser object, $text is the text-string encountered, and $ptree_node is a reference to the current node in the parse-tree (usually an interior-sequence object or else the top-level node of the parse-tree).

-expand_ptree =>code-ref|method-name

Rather than returning a Pod::ParseTree , pass the parse-tree as an argument to the referenced subroutine (or named method of the parser object) and return the result instead of the parse-tree object.

If a subroutine reference was given, it is invoked as:

and if a method-name was given, it is invoked as:

where $parser is a reference to the parser object, and $ptree is a reference to the parse-tree object.

interpolate()

This method translates all text (including any embedded interior sequences) in the given text string $text and returns the interpolated result. The parameter $line_num is the line number corresponding to the beginning of $text .


interpolate() merely invokes a private method to recursively expand nested interior sequences in bottom-up order (innermost sequences are expanded first). If there is a need to expand nested sequences in some alternate order, use parse_text instead.

parse_from_filehandle()

This method takes an input filehandle (which is assumed to already be opened for reading) and reads the entire input stream looking for blocks (paragraphs) of POD documentation to be processed. If no first argument is given the default input filehandle STDIN is used.

The $in_fh parameter may be any object that provides a getline() method to retrieve a single line of input text (hence, an appropriate wrapper object could be used to parse PODs from a single string or an array of strings).

Using $in_fh ->getline ( ) , input is read line-by-line and assembled into paragraphs or «blocks» (which are separated by lines containing nothing but whitespace). For each block of POD documentation encountered it will invoke a method to parse the given paragraph.

If a second argument is given then it should correspond to a filehandle where output should be sent (otherwise the default output filehandle is STDOUT if no output filehandle is currently in use).

NOTE: For performance reasons, this method caches the input stream at the top of the stack in a local variable. Any attempts by clients to change the stack contents during processing when in the midst executing of this method will not affect the input stream used by the current invocation of this method.

This method does not usually need to be overridden by subclasses.

parse_from_file()

This method takes a filename and does the following:

opens the input and output files for reading (creating the appropriate filehandles)

invokes the parse_from_filehandle() method passing it the corresponding input and output filehandles.

closes the input and output files.

If the special input filename «», «-» or » or $fh — Egt getline>) are also accepted; the handles must already be opened.

This method does not usually need to be overridden by subclasses.

ACCESSOR METHODS

Clients of Pod::Parser should use the following methods to access instance data fields:

errorsub()

Specifies the method or subroutine to use when printing error messages about POD syntax. The supplied method/subroutine must return TRUE upon successful printing of the message. If undef is given, then the carp builtin is used to issue error messages (this is the default behavior).

Returns a method name, or else a reference to the user-supplied subroutine used to print error messages. Returns undef if the carp builtin is used to issue error messages (this is the default behavior).

cutting()

Returns the current cutting state: a boolean-valued scalar which evaluates to true if text from the input file is currently being «cut» (meaning it is not considered part of the POD document).

Sets the current cutting state to the given value and returns the result.

parseopts()

When invoked with no additional arguments, parseopts returns a hashtable of all the current parsing options.

When invoked using a single string, parseopts treats the string as the name of a parse-option and returns its corresponding value if it exists (returns undef if it doesn’t).

When invoked with multiple arguments, parseopts treats them as key/value pairs and the specified parse-option names are set to the given values. Any unspecified parse-options are unaffected.

When passed a single hash-ref, parseopts uses that hash to completely reset the existing parse-options, all previous parse-option values are lost.

See PARSING OPTIONS for more information on the name and meaning of each parse-option currently recognized.

output_file()

Returns the name of the output file being written.

output_handle()

Returns the output filehandle object.

input_file()

Returns the name of the input file being read.

input_handle()

Returns the current input filehandle object.

PRIVATE METHODS AND DATA

Pod::Parser makes use of several internal methods and data fields which clients should not need to see or use. For the sake of avoiding name collisions for client data and methods, these methods and fields are briefly discussed here. Determined hackers may obtain further information about them by reading the Pod::Parser source code.

Private data fields are stored in the hash-object whose reference is returned by the new() constructor for this > /^_\w+$/ .

TREE-BASED PARSING

If straightforward stream-based parsing wont meet your needs (as is likely the case for tasks such as translating PODs into structured markup languages like HTML and XML) then you may need to take the tree-based approach. Rather than doing everything in one pass and calling the interpolate() method to expand sequences into text, it may be desirable to instead create a parse-tree using the parse_text() method to return a tree-like structure which may contain an ordered list of children (each of which may be a text-string, or a similar tree-like structure).

Pay special attention to METHODS FOR PARSING AND PROCESSING and to the objects described in Pod::InputObjects. The former describes the gory details and parameters for how to customize and extend the parsing behavior of Pod::Parser. Pod::InputObjects provides several objects that may all be used interchangeably as parse-trees. The most obvious one is the Pod::ParseTree object. It defines the basic interface and functionality that all things trying to be a POD parse-tree should do. A Pod::ParseTree is defined such that each «node» may be a text-string, or a reference to another parse-tree. Each Pod::Paragraph object and each Pod::InteriorSequence object also supports the basic parse-tree interface.

The parse_text() method takes a given paragraph of text, and returns a parse-tree that contains one or more children, each of which may be a text-string, or an InteriorSequence object. There are also callback-options that may be passed to parse_text() to customize the way it expands or transforms interior-sequences, as well as the returned result. These callbacks can be used to create a parse-tree with custom-made objects (which may or may not support the parse-tree interface, depending on how you choose to do it).

If you wish to turn an entire POD document into a parse-tree, that process is fairly straightforward. The parse_text() method is the key to doing this successfully. Every paragraph-callback (i.e. the polymorphic methods for command(), verbatim(), and textblock() paragraphs) takes a Pod::Paragraph object as an argument. Each paragraph object has a parse_tree() method that can be used to get or set a corresponding parse-tree. So for each of those paragraph-callback methods, simply call parse_text() with the options you desire, and then use the returned parse-tree to assign to the given paragraph object.

That gives you a parse-tree for each paragraph — so now all you need is an ordered list of paragraphs. You can maintain that yourself as a data element in the object/hash. The most straightforward way would be simply to use an array-ref, with the desired set of custom «options» for each invocation of parse_text. Let’s assume the desired option-set is given by the hash %options . Then we might do something like the following:

Of course, in this module-author’s humble opinion, I’d be more inclined to use the existing Pod::ParseTree object than a simple array. That way everything in it, paragraphs and sequences, all respond to the same core interface for all parse-tree nodes. The result would look something like:

Now you have the entire POD document as one great big parse-tree. You can even use the -expand_seq option to parse_text to insert whole different kinds of objects. Just don’t expect Pod::Parser to know what to do with them after that. That will need to be in your code. Or, alternatively, you can insert any object you like so long as it conforms to the Pod::ParseTree interface.

One could use this to create subclasses of Pod::Paragraphs and Pod::InteriorSequences for specific commands (or to create your own custom node-types in the parse-tree) and add some kind of emit() method to each custom node/subclass object in the tree. Then all you’d need to do is recursively walk the tree in the desired order, processing the children (most likely from left to right) by formatting them if they are text-strings, or by calling their emit() method if they are objects/references.

CAVEATS

Please note that POD has the notion of «paragraphs»: this is something starting after a blank (read: empty) line, with the single exception of the file start, which is also starting a paragraph. That means that especially a command (e.g. =head1 ) must be preceded with a blank line; __END__ is not a blank line.

SEE ALSO

Pod::InputObjects defines POD input objects corresponding to command paragraphs, parse-trees, and interior-sequences.

Pod::Select is a subclass of Pod::Parser which provides the ability to selectively include and/or exclude sections of a POD document from being translated based upon the current heading, subheading, subsubheading, etc.

AUTHOR

Please report bugs using https://rt.cpan.org.

Based on code for Pod::Text written by Tom Christiansen

LICENSE

Pod-Parser is free software; you can redistribute it and/or modify it under the terms of the Artistic License distributed with Perl version 5.000 or (at your option) any later version. Please refer to the Artistic License that came with your Perl distribution for more details. If your version of Perl was not distributed under the terms of the Artistic License, than you may distribute PodParser under the same terms as Perl itself.

htmlparsing.com — How to parse HTML the right way, without regular expressions

The CPAN module HTML::Parser is the basis for all HTML parsing in Perl. There are other CPAN modules that do parsing, but the vast majority of them are just wrappers around HTML::Parser.

Marpa::HTML does «high-level» parsing of HTML. It allows handlers to be specified for elements, terminals and other components in the hierarchical structure of an HTML document. It’s a is a completely liberal HTML parser: it never rejects a document, no matter how poorly that document fits the HTML standards.

The parsing method Marpa::HTML uses is totally new, as described in «How to Parse HTML», Parts one, two and three. Its Marpa::XS parse engine is in optimized C.

WWW::Mechanize

WWW::Mechanize is a handy module because it handles two common tasks associated with parsing HTML: fetching a remote document and extracting basic information from a document.

Calling the get() subroutine handles all the lower level work of using LWP to fetch a page and then HTML::Parser to build up a useful object. This $mech object has numerous subroutines for accessing all of the data or in a piecemeal fashion.

WWW::Mechanize also provides find_all_links() and find_all_images() for searching through all the links and images that match a certain criteria, such as:

WWW::Mechanize::TreeBuilder

WWW::Mechanize::TreeBuilder is a combination of WWW::Mechanize and WWW::TreeBuilder which brings the functionality of HTML::Element with it. Now it is possible to search by tag name or by attribute.

find() searches by tag name whereas look_down() starts at $mech and looks thru its element descendants (in pre-order), looking for elements matching the criteria you specify. In the above example we are using the internal attribute value _tag to search for

tags only. look_down() can use HTML attribute names, values or be passed a coderef.

xmlgrep

The XML::Twig module includes the xmlgrep utility, which can often be good enough. It doesn’t parse, but finds local matches.

Perl Text-Parsing; Какой алгоритм правильный?

Я пишу скрипт Perl, который принимает два файла в качестве входных данных: один вход представляет собой таблицу с разделителями табуляции с идентификатором, заинтересованным во втором столбце, второй вход представляет собой список идентификаторов, которые соответствуют второму столбцу первого файла. ЦЕЛЬ печатает только те строки таблицы, которые содержат идентификатор во втором столбце и печатать каждую строку только один раз. Я написал три версии этой программы и нахожу различное количество строк, напечатанных в каждом.

Каждый из этих подходов дает мне разные результаты, и я не понимаю, почему. Я также не понимаю, могу ли я доверять любому из них, чтобы дать мне правильный результат. Правильный вывод не должен содержать повторяющихся строк, но более одной строки может соответствовать любой идентификатор из списка.

Пример входного файла:

Список извлекается из файла, который выглядит так:

Его помещают в массив, используя этот код:

Всякий раз, когда вы слышите «Мне нужно что-то искать», подумайте о хешах.

Вы можете создать хэш, содержащий элементы, которые вы хотите вытащить из файла # 1. Затем используйте второй хеш для отслеживания того, напечатали ли вы его раньше:

Две циклы, но гораздо эффективнее. В вашем случае, если у вас было 100 элементов в первом файле и 1000 элементов во втором файле, вам нужно было бы перебирать 100 * 1000 раз или 1 000 000. В этом случае вы только зацикливаете общее количество строк в обоих файлах.

Я использую трехпараметрический метод команды open который позволяет обрабатывать файлы с именами, начинающимися с | или и т.д. Кроме того, я использую переменные для своих файловых дескрипторов, которые облегчают передачу дескриптора файла подпрограмме, если это необходимо.

Я use autodie; который обрабатывает такие проблемы, как, если мой файл не открывается. В вашей программе программа продолжится по-своему. Если вы не хотите использовать autodie , вам нужно сделать это:

Я использую два хэша. Первый — это %lookup_table котором хранятся символы, которые вы хотите распечатать. Когда я просматриваю первый файл, я могу просто проверить, существует ли $ lookup_table <$ symbol>. Если это не так, я не печатаю его, если это так, я его распечатаю.

Второй хэш %is_printed отслеживает символы, которые я уже напечатал. Если $is_printed <$symbol>существует, я знаю, что уже напечатал эту строку.

Несмотря на то, что вы сказали, что вторая таблица разделена на вкладку, я использую /\s+/ как разделенное регулярное выражение. Это поймает вкладку, но она также поймает, если кто-то использовал две вкладки (чтобы все выглядело хорошо) или случайно набрало пробел перед этой вкладкой.

Парсер XML на языке Perl с записью выходного XML файла

Из данной статьи Вы узнаете, как распарсить XML файл, а также создать свой XML файл с необходимой структурой.

Анализатор XML файлов

Отбор необходимых узлов в дереве XML идет при помощи модулей XML::DOM, XML::DOM::Parser и XML::DOM::XPath.
Главное, чем оперируют данные модули это Node – узел. Он может содержать в себе еще узлы, может содержать строку данных, может содержать не строковые (бинарные данные), может быть пустым ( к примеру, ) и т.д.

Основные методы данных модулей это :
getElementsByTagName() – возвращает список нодов с заданным именем, например можно передавать «record-id» и вернеться указатель на массив из найденных узлов с таим именем.
findnodes() — по переданной строке возвращает массив из Nodes, например можно передать более длинную строку «defect/record-id». Если указать в передаваемой строке в начале 2 слеша, например, «//record-id», то поиск узлов с заданным именем будет происходить не вглубь дерева (вниз от текущего), а с самого начала с корневого элемента.
getFirstChild()->getData() – для заданного узла вернет значение, например для 22 это значение 22.
getAttributeNode() – возвращает узел-атрибут текущего узла, с именем, которое ему было передано в качестве аргумента.

Пример 2: На основании xml файла перебрать все узлы с именем defect:

Пример кода, который найдет и переберет все узлы defect:

Создание XML файла заданной структуры

Для создания своих XML документов необходимо подключить модуль XML::Writer.

Основные методы данного модуля:
startTag() – создает узел с именем, переданным в качестве переменной. Функция startTag() обязательно должна заканчиваться endTag() , представляйте это себе как открывающуюся и закрывающуюся скобки.
endTag() – создает закрывающий узел, для текущего узла, к примеру , можно вызывать без переменной просто $node->endTag() можно для себя, чтобы знать какой блок (узел ) закрываешь указывать имя этого узла $node->endTag(«defect») .
dataElement() – сразу создает и открывающий и закрывающий блоки, и в качестве переменной можно передать значение элемента.

Пример 1: Создание узла XML документа первым способом
$node->startTag(«record-id»);
$node->characters(«15»);
$node->endTag();
Создаст узел:
15

Пример 2: Создание узла XML документа вторым способом
$node->dataElement(«record-id»,»15″);
Создаст точно такой же узел в xml документе:
15

Пример 3: Создание узла с аттрибутом
$node->dataElement(«record-id»,»15″, ‘name’ => «Record1»);
Такой код создаст узел с атрибутом name и значением Record1:
15

Если Вам нужно, какие-то не строковые данные (например jpeg файл) вставить в xml файл, то для этого нужно использовать специальную функцию:
raw() – в которую нужно передать поток перекодированных в бинарный формат данных. Т.е. сам файл сначала подготовить с помощью функции encode_base64 (модуль MIME::Base64). Как делается вставка не строковых данных в xml файл описывается в функциях парсера create_node_attachment и encode_file .

Пример 4: Создание XML-объявления и вставка типа для XML документа
my $writer = new XML::Writer(OUTPUT => «new.xml», UNSAFE =>1);
$writer->xmlDecl(‘UTF-8′,’yes’);
$writer->doctype(‘bugzilla’,undef,’bugzilla.dtd’);

Создает в xml файле следующие строки

Примечание: метод doctype($name, [ $publicID, $systemID]) может вызываться либо от одного либо от трех переменных сразу. Если Вам как в примере выше параметр PUBLIC не нужен, то заменяете его значением undef.

Описание работы XML парсера

Ниже представлен код программы, которая читает и анализирует XML формат базы TestTrack и переводит его в необходимый для Bugzilla 3.4.2 формат XML файл. Если происходит перевод из одного формата в другой, как в данном примере, то необходимо сначала составить таблицу, какой узел какому будет соответствовать. В данном примере все узлы заменяются на , на и т.д. Если каких-то полей не хватает, то создаются со значениями по-умолчанию (например нулевые), а также некоторые значения приводятся к нужному формату.

Написание простого парсера на Perl: с выводом лексера, куда идти дальше?

Я пытаюсь написать простой язык манипулирования данными на Perl (только для чтения, он предназначен для преобразования запросов на основе SQL в фильтры и свойства для использования с vSphere Perl API: https://pubs.vmware.com/vsphere-60 /topic/com.vmware.perlsdk.pg.doc/viperl_advancedtopics.5.1.html_ )

В настоящее время у меня есть что-то похожее на вывод лексера, если я правильно понимаю — список таких токенов (Data :: Dumper печатает массив хэшей):

Теперь я хотел бы создать синтаксическое дерево. Документация, которую я видел до сих пор, в основном касается использования модулей и генерации грамматик из BNF, но в настоящее время я не могу обернуться вокруг этого.

Я хотел бы возиться с относительно простым процедурным кодом, возможно, рекурсивным, чтобы самому сделать некрасивую реализацию.

В настоящее время я думаю о том, чтобы создать строку из $token-><'part'>s например:

и затем запустив против него большое и уродливое регулярное выражение, (ab) используя способность Perl встраивать код в регулярные выражения: https://perldoc.perl.org/perlretut.html#A-bit-of-magic:-executing- Perl-код-в-регулярном выражении :

Все, что я нашел до сих пор, требует глубоких знаний CS и / или лингвистики, и я даже не понимаю этого.

Что я должен сделать с выводом лексера, чтобы начать понимать и переделывать правильный анализ? Что-то вроде «создать набор временных хэшей, представляющих меньшую часть оператора» или «удалять подстроки, пока строка не станет пустой, а затем проверить, что вы получите».

Я знаю о Книге Дракона и SICP, но я бы хотел что-то более легкое в это время.

Мастер Йода рекомендует:  Мастер отзывчивого дизайна за 5 минут 4 секретные техники
Добавить комментарий