moculus
parent
865b3b33bc
commit
c17738be12
83
tab_perl.py
83
tab_perl.py
|
|
@ -1,83 +0,0 @@
|
|||
import tab
|
||||
|
||||
class PerlTabber(tab.TokenStackTabber):
|
||||
close_tags = {'}': '{',
|
||||
')': '(',
|
||||
']': '['}
|
||||
|
||||
def error(self, s):
|
||||
self.mode.window.application.set_error(s)
|
||||
self.errors = True
|
||||
|
||||
def base_indentation_level(self, y):
|
||||
if y == 0:
|
||||
return True
|
||||
lines = self.mode.window.buffer.lines
|
||||
if y < len(lines) and lines[y].startswith('sub '):
|
||||
return True
|
||||
return False
|
||||
|
||||
def stack_append_const(self, c):
|
||||
if self.tab_stack[-1][0] != c:
|
||||
self.stack_append((c, self.tab_stack[-1][1] + 4))
|
||||
def stack_pop_const(self, c):
|
||||
if self.tab_stack[-1][0] in c_args:
|
||||
self.stack_pop()
|
||||
def stack_pop_all_const(self, *c_args):
|
||||
while self.tab_stack[-1][0] in c_args:
|
||||
self.stack_pop()
|
||||
|
||||
def handle_token(self, prev_token, token, next_token, y=None):
|
||||
buffer = self.mode.window.buffer
|
||||
name = token.name
|
||||
s = token.string
|
||||
|
||||
if name == "delimiter":
|
||||
if s == "{" or s == "(" or s == "[":
|
||||
if prev_token is None:
|
||||
self.stack_pop_all_const("cont")
|
||||
if next_token is None:
|
||||
self.stack_append((s, self.tab_stack[-1][1] + 4))
|
||||
else:
|
||||
p = buffer.get_offset_point(next_token.start)
|
||||
self.stack_append((s, p.x))
|
||||
elif s == "}" or s == ")" or s == "]":
|
||||
self.stack_pop_all_const("cont")
|
||||
if self.tab_stack[-1][0] == self.close_tags[s]:
|
||||
self.stack_pop()
|
||||
if prev_token is None:
|
||||
self.line_depth = self.tab_stack[-1][1]
|
||||
elif self.errors is False:
|
||||
self.error("tag mismatch, line %d: expected %r, got %r" %
|
||||
(self.y, self.tab_stack[-1][0], s))
|
||||
if s == "}":
|
||||
self.stack_pop_all_const("cont")
|
||||
else:
|
||||
pass
|
||||
elif s == ";":
|
||||
self.stack_pop_all_const("cont")
|
||||
elif name == "heredoc":
|
||||
if token.start > self.start_offset:
|
||||
self.stack_append(('heredoc', -1))
|
||||
elif token.end <= self.end_offset:
|
||||
self.stack_pop_all_const("heredoc")
|
||||
self.stack_pop_all_const("cont")
|
||||
elif name == "pod":
|
||||
if token.start >= self.start_offset:
|
||||
self.stack_append(('pod', -1))
|
||||
elif token.end <= self.end_offset:
|
||||
assert self.tab_stack[-1][0] == 'pod', "vvvvvveije9876"
|
||||
self.stack_pop()
|
||||
self.line_depth = self.tab_stack[-1][1]
|
||||
if (name != "heredoc" and
|
||||
name != "endblock" and
|
||||
name != "pod" and
|
||||
name != "comment" and
|
||||
s != "}" and
|
||||
s != ";" and
|
||||
s != "(" and
|
||||
s != "{" and
|
||||
s != "[" and
|
||||
s != ",") and next_token is None:
|
||||
self.stack_append_const("cont")
|
||||
|
||||
141
tab_python.py
141
tab_python.py
|
|
@ -1,141 +0,0 @@
|
|||
import point, regex, util, tab
|
||||
|
||||
class PythonTabber(tab.Tabber):
|
||||
start_tags = {'(': ')',
|
||||
'{': '}',
|
||||
'[': ']'}
|
||||
|
||||
close_tags = {')': '(',
|
||||
'}': '{',
|
||||
']': '['}
|
||||
|
||||
def __init__(self, m):
|
||||
tab.Tabber.__init__(self, m)
|
||||
|
||||
self.y = None
|
||||
self.index = None
|
||||
self.tab_stack = None
|
||||
self.line_depth = None
|
||||
|
||||
def stack_append(self, item):
|
||||
self.tab_stack.append(item)
|
||||
def stack_pop(self):
|
||||
self.tab_stack.pop(-1)
|
||||
|
||||
def base_indentation_level(self, y):
|
||||
return y == 0
|
||||
|
||||
def calculate_tabs(self, start=0, goal=None):
|
||||
lines = self.mode.window.buffer.lines
|
||||
tokens = self.mode.highlighter.tokens
|
||||
buffer = self.mode.window.buffer
|
||||
|
||||
if self.levels is None:
|
||||
self.levels = [None] * (len(lines))
|
||||
|
||||
self.index = 0
|
||||
self.y = start
|
||||
self.base = 0
|
||||
self.tab_stack = []
|
||||
|
||||
# we want to process every logical line in the file
|
||||
while self.y < len(lines):
|
||||
line = lines[self.y]
|
||||
start_index = self.index
|
||||
|
||||
start_point = point.Point(0, self.y)
|
||||
start_offset = buffer.get_point_offset(start_point)
|
||||
end_point = point.Point(len(line), self.y)
|
||||
end_offset = buffer.get_point_offset(end_point)
|
||||
|
||||
# we want to find all the tokens on the line we are currently processing
|
||||
while self.index < len(tokens):
|
||||
token = tokens[self.index]
|
||||
if token.end > end_offset:
|
||||
break
|
||||
self.index += 1
|
||||
|
||||
self.handle_line(line,
|
||||
start_offset, start_index,
|
||||
end_offset, self.index)
|
||||
|
||||
self.levels[self.y] = self.line_depth
|
||||
self.y += 1
|
||||
if goal is not None and self.y > goal:
|
||||
break
|
||||
|
||||
def get_line_depth(self):
|
||||
if len(self.tab_stack) > 0:
|
||||
return self.tab_stack[-1][1]
|
||||
else:
|
||||
return self.base
|
||||
|
||||
def handle_line(self, line, start_offset, start_index, end_offset, end_index):
|
||||
self.line_depth = self.get_line_depth()
|
||||
tokens = self.mode.highlighter.tokens
|
||||
|
||||
if start_index >= len(tokens):
|
||||
return
|
||||
if regex.whitespace.match(line):
|
||||
return
|
||||
|
||||
if len(self.tab_stack) == 0 and tokens[start_index].start >= start_offset:
|
||||
self.base = util.count_leading_whitespace(line)
|
||||
|
||||
for i in range(start_index, end_index):
|
||||
token = tokens[i]
|
||||
s = token.string
|
||||
if s in self.start_tags:
|
||||
if i < end_index - 1:
|
||||
i = tokens[i+1].start - start_offset
|
||||
elif len(self.tab_stack) > 0:
|
||||
i = self.tab_stack[-1][1] + 4
|
||||
else:
|
||||
i = self.base + 4
|
||||
self.stack_append((s, i))
|
||||
elif s in self.close_tags:
|
||||
assert len(self.tab_stack), "Unbalanced closing tag"
|
||||
assert self.tab_stack[-1][0] == self.close_tags[s], "Unmatched closing tag"
|
||||
self.stack_pop()
|
||||
if i == start_index:
|
||||
self.line_depth = self.get_line_depth()
|
||||
|
||||
if tokens[start_index].start < start_offset:
|
||||
self.line_depth = -1
|
||||
|
||||
prebase = self.base
|
||||
s = tokens[start_index].string
|
||||
e = tokens[end_index-1].string
|
||||
|
||||
if s == "except" or s == "elif" or s == "else":
|
||||
if self.y > 0 and self.line_depth == self.levels[self.y - 1]:
|
||||
self.line_depth = max(0, self.line_depth - 4)
|
||||
elif (s == "return" or s == "raise" or s == "yield" or s == "break" or
|
||||
s == "pass" or s == 'continue'):
|
||||
self.base = max(0, self.base - 4)
|
||||
|
||||
if e == "\\":
|
||||
if len(self.tab_stack) and self.tab_stack[-1][0] == "\\":
|
||||
pass
|
||||
else:
|
||||
self.stack_append(("\\", prebase + 4))
|
||||
return
|
||||
elif e == ":":
|
||||
self.base += 4
|
||||
elif len(self.tab_stack) and self.tab_stack[-1][0] == "\\":
|
||||
self.stack_pop()
|
||||
|
||||
def get_indentation_level(self, y):
|
||||
if self.levels is not None and self.levels[y] is not None:
|
||||
result = self.levels[y]
|
||||
else:
|
||||
i = max(0, y - 1)
|
||||
while i > 0:
|
||||
if self.base_indentation_level(i):
|
||||
break
|
||||
i -= 1
|
||||
self.calculate_tabs(i, y)
|
||||
result = self.levels[y]
|
||||
if result == -1:
|
||||
return None
|
||||
return result
|
||||
21
test2.py
21
test2.py
|
|
@ -1,21 +0,0 @@
|
|||
#!/usr/bin/python
|
||||
import sys
|
||||
import lex2, lex2_perl
|
||||
|
||||
paths = sys.argv[1:]
|
||||
for path in paths:
|
||||
f = open(path, 'r')
|
||||
data = f.read()
|
||||
f.close()
|
||||
|
||||
lines = data.split('\n')
|
||||
|
||||
grammar = lex2_perl.PerlGrammar()
|
||||
lexer = lex2.Lexer('lexer', grammar)
|
||||
|
||||
lexer.lex(lines)
|
||||
print path
|
||||
for token in lexer:
|
||||
print '%-30s| %-6s | %r' % (token.name,
|
||||
'(%d,%d)' % (token.x, token.y),
|
||||
token.string)
|
||||
205
test3.py
205
test3.py
|
|
@ -1,205 +0,0 @@
|
|||
#!/usr/bin/python
|
||||
import sys
|
||||
import lex2, lex2_perl, lex2_python, highlight2
|
||||
|
||||
color_list = []
|
||||
color_list.extend(['\033[3%dm' % x for x in range(0, 8)])
|
||||
color_list.extend(['\033[3%d;1m' % x for x in range(0, 8)])
|
||||
color_list.append('\033[0m')
|
||||
|
||||
color_names = [
|
||||
'black', 'dred', 'dgreen', 'brown', 'dblue', 'dpurple', 'dcyan', 'lgrey',
|
||||
'dgrey', 'lred', 'lgreen', 'yellow', 'lblue', 'lpurple', 'lcyan', 'white',
|
||||
'unset',
|
||||
]
|
||||
|
||||
color_dict ={}
|
||||
for i in range(0, len(color_list)):
|
||||
color_dict[color_names[i]] = color_list[i]
|
||||
|
||||
token_colors = {
|
||||
'perl': {
|
||||
# basic stuff
|
||||
'escaped': 'lpurple',
|
||||
'null': 'white',
|
||||
'delimiter': 'white',
|
||||
'sub': 'lcyan',
|
||||
'number': 'white',
|
||||
'operator': 'white',
|
||||
'endblock': 'lred',
|
||||
'keyword': 'lpurple',
|
||||
'scalar': 'yellow',
|
||||
'array': 'yellow',
|
||||
'deref': 'yellow',
|
||||
'hash': 'yellow',
|
||||
'hash_key': 'lgreen',
|
||||
'comment': 'lred',
|
||||
'function': 'lcyan',
|
||||
'builtin': 'lpurple',
|
||||
'method': 'lcyan',
|
||||
'bareword': 'white',
|
||||
'label': 'lcyan',
|
||||
'package': 'lcyan',
|
||||
'class': 'lcyan',
|
||||
'use': 'lcyan',
|
||||
'method': 'lcyan',
|
||||
|
||||
# heredoc
|
||||
'heredoc1.start': 'lgreen',
|
||||
'heredoc1.null': 'lgreen',
|
||||
'heredoc1.end': 'lgreen',
|
||||
'heredoc2.start': 'lgreen',
|
||||
'heredoc2.null': 'lgreen',
|
||||
'heredoc2.end': 'lgreen',
|
||||
'eval_heredoc.start': 'lcyan',
|
||||
'eval_heredoc.null': 'lcyan',
|
||||
'eval_heredoc.end': 'lcyan',
|
||||
|
||||
# pod
|
||||
'pod.start': 'lred',
|
||||
'pod.null': 'lred',
|
||||
'pod.entry': 'lpurple',
|
||||
'pod.end': 'lred',
|
||||
|
||||
# "" strings
|
||||
'string1.start': 'lgreen',
|
||||
'string1.null': 'lgreen',
|
||||
'string1.escaped': 'lpurple',
|
||||
'string1.deref': 'yellow',
|
||||
'string1.end': 'lgreen',
|
||||
|
||||
# '' strings
|
||||
'string2.start': 'lgreen',
|
||||
'string2.null': 'lgreen',
|
||||
'string2.end': 'lgreen',
|
||||
|
||||
# `` strings
|
||||
'evalstring': 'lcyan',
|
||||
|
||||
# quoted region
|
||||
'quoted': 'lcyan',
|
||||
'quoted.start': 'lcyan',
|
||||
'quoted.null': 'lcyan',
|
||||
'quoted.end': 'lcyan',
|
||||
|
||||
# match regex
|
||||
'match.start': 'lcyan',
|
||||
'match.end': 'lcyan',
|
||||
'match.null': 'lcyan',
|
||||
|
||||
# replace regex
|
||||
'replace.start': 'lcyan',
|
||||
'replace.middle': 'lcyan',
|
||||
'replace.end': 'lcyan',
|
||||
'replace.null': 'lcyan',
|
||||
|
||||
# translate regex
|
||||
'translate.start': 'lpurple',
|
||||
'translate.middle': 'lpurple',
|
||||
'translate.end': 'lpurple',
|
||||
'translate.null': 'lpurple',
|
||||
},
|
||||
|
||||
'python': {
|
||||
'keyword': 'lcyan',
|
||||
'builtin_method': 'lcyan',
|
||||
'methodname': 'lblue',
|
||||
'classname': 'lgreen',
|
||||
|
||||
'string.start': 'lgreen',
|
||||
'string.null': 'lgreen',
|
||||
'string.escaped': 'lpurple',
|
||||
'string.octal': 'lpurple',
|
||||
'string.format': 'yellow',
|
||||
'string.end': 'lgreen',
|
||||
|
||||
'integer': 'lred',
|
||||
'float': 'lred',
|
||||
'imaginary': 'lred',
|
||||
|
||||
'tq_string.start': 'lgreen',
|
||||
'tq_string.null': 'lgreen',
|
||||
'tq_string.end': 'lgreen',
|
||||
|
||||
'docstring.start': 'lgreen',
|
||||
'docstring.null': 'lgreen',
|
||||
'docstring.end': 'lgreen',
|
||||
|
||||
'comment': 'lred',
|
||||
'continuation': 'lred',
|
||||
#'operator': 'yellow',
|
||||
#'delimiter': 'lpurple',
|
||||
'system_identifier': 'lcyan',
|
||||
#'bound method': color.build('yellow', 'default'),
|
||||
'import': 'lpurple',
|
||||
#'bizzaro': 'lpurple',
|
||||
},
|
||||
}
|
||||
|
||||
grammars = {
|
||||
'perl': lex2_perl.PerlGrammar,
|
||||
'python': lex2_python.PythonGrammar,
|
||||
}
|
||||
|
||||
import optparse
|
||||
|
||||
parser = optparse.OptionParser()
|
||||
parser.add_option('-d', '--dump', dest='dump', action='store_true', default=False)
|
||||
parser.add_option('-g', '--grammar', dest='grammar', action='store', default='python')
|
||||
parser.add_option('-n', '--normal', dest='normal', action='store_true', default=False)
|
||||
|
||||
(opts, args) = parser.parse_args()
|
||||
|
||||
for path in args:
|
||||
f = open(path, 'r')
|
||||
data = f.read()
|
||||
f.close()
|
||||
|
||||
lines = data.split('\n')
|
||||
lexer = lex2.Lexer('lexer', grammars[opts.grammar]())
|
||||
|
||||
h = highlight2.Highlighter(lexer)
|
||||
h.highlight(lines)
|
||||
|
||||
if opts.normal:
|
||||
if opts.dump:
|
||||
h.dump()
|
||||
else:
|
||||
h.display(token_colors[opts.grammar])
|
||||
elif False:
|
||||
(y1, x1) = (5, 9)
|
||||
(y2, x2) = (7, 14)
|
||||
#(y2, x2) = (82, 2)
|
||||
for i in range(y1 + 1, y2):
|
||||
del lines[y1 + 1]
|
||||
lines[y1] = lines[y1][0:x1] + lines[y1 + 1][x2:]
|
||||
del lines[y1 + 1]
|
||||
|
||||
h.relex_del(lines, y1, x1, y2, x2)
|
||||
#h.update_del(lines, y1, x1, y2, x2)
|
||||
#h.highlight(lines)
|
||||
if opts.dump:
|
||||
h.dump()
|
||||
else:
|
||||
h.display(token_colors[opts.grammar])
|
||||
else:
|
||||
#newlines = ['one two three']
|
||||
newlines = ['one two three', 'cat', 'dog', 'del self.foo[3]', 'oops']
|
||||
(y1, x1) = (5, 9)
|
||||
|
||||
if len(newlines) > 1:
|
||||
lines.insert(y1 + 1, newlines[-1] + lines[y1][x1:])
|
||||
lines[y1] = lines[y1][:x1] + newlines[0]
|
||||
for i in range(1, len(newlines) - 1):
|
||||
newline = newlines[i]
|
||||
lines.insert(y1 + i, newline)
|
||||
else:
|
||||
lines[y1] = lines[y1][:x1] + newlines[0] + lines[y1][x1:]
|
||||
|
||||
h.relex_add(lines, y1, x1, newlines)
|
||||
#h.update_add(lines, y1, x1, newlines)
|
||||
#h.highlight(lines)
|
||||
if opts.dump:
|
||||
h.dump()
|
||||
else:
|
||||
h.display(token_colors[opts.grammar])
|
||||
Loading…
Reference in New Issue