import json
import logging
from pathlib import Path

import yaml

from docling.backend.pypdfium2_backend import PyPdfiumDocumentBackend
from docling.datamodel.base_models import InputFormat
from docling.document_converter import (
    DocumentConverter,
    PdfFormatOption,
    WordFormatOption,
)
from docling.pipeline.simple_pipeline import SimplePipeline
from docling.pipeline.standard_pdf_pipeline import StandardPdfPipeline

_log = logging.getLogger(__name__)


def main():
    input_paths = [
        Path("README.md"),
        Path("tests/data/html/wiki_duck.html"),
        Path("tests/data/docx/word_sample.docx"),
        Path("tests/data/docx/lorem_ipsum.docx"),
        Path("tests/data/pptx/powerpoint_sample.pptx"),
        Path("tests/data/2305.03393v1-pg9-img.png"),
        Path("tests/data/pdf/2206.01062.pdf"),
        Path("tests/data/asciidoc/test_01.asciidoc"),
    ]

    ## for defaults use:
    # doc_converter = DocumentConverter()

    ## to customize use:

    # Below we explicitly whitelist formats and override behavior for some of them.
    # You can omit this block and use the defaults (see above) for a quick start.
    doc_converter = DocumentConverter(  # all of the below is optional, has internal defaults.
        allowed_formats=[
            InputFormat.PDF,
            InputFormat.IMAGE,
            InputFormat.DOCX,
            InputFormat.HTML,
            InputFormat.PPTX,
            InputFormat.ASCIIDOC,
            InputFormat.CSV,
            InputFormat.MD,
        ],  # whitelist formats, non-matching files are ignored.
        format_options={
            InputFormat.PDF: PdfFormatOption(
                pipeline_cls=StandardPdfPipeline, backend=PyPdfiumDocumentBackend
            ),
            InputFormat.DOCX: WordFormatOption(
                pipeline_cls=SimplePipeline  # or set a backend, e.g., MsWordDocumentBackend
                # If you change the backend, remember to import it, e.g.:
                #   from docling.backend.msword_backend import MsWordDocumentBackend
            ),
        },
    )

    conv_results = doc_converter.convert_all(input_paths)

    for res in conv_results:
        out_path = Path("scratch")  # ensure this directory exists before running
        print(
            f"Document {res.input.file.name} converted."
            f"\nSaved markdown output to: {out_path!s}"
        )
        _log.debug(res.document._export_to_indented_text(max_text_len=16))
        # Export Docling document to Markdown:
        with (out_path / f"{res.input.file.stem}.md").open("w") as fp:
            fp.write(res.document.export_to_markdown())

        with (out_path / f"{res.input.file.stem}.json").open("w") as fp:
            fp.write(json.dumps(res.document.export_to_dict()))

        with (out_path / f"{res.input.file.stem}.yaml").open("w") as fp:
            fp.write(yaml.safe_dump(res.document.export_to_dict()))


if __name__ == "__main__":
    main()

python3 -m venv venv
source venv/bin/activate

pip install --upgrade pip
pip install docling
pip install pandas
pip install xlrd
pip install openpyxl

import pandas as pd
from pathlib import Path
from docling.document_converter import DocumentConverter
import json

def main():
    """
    Hàm chính để xử lý chuyển đổi tài liệu từ thư mục đầu vào sang thư mục đầu ra.
    """
    # Định nghĩa các thư mục đầu vào, đầu ra và tạm thời
    input_dir = Path("./input")
    output_dir = Path("./output")
    tmp_csv_dir = Path("./tmp_csv")

    # Tạo các thư mục đầu ra và tạm thời nếu chúng không tồn tại
    try:
        output_dir.mkdir(parents=True, exist_ok=True)
        tmp_csv_dir.mkdir(parents=True, exist_ok=True)
        print(f"Đã đảm bảo thư mục '{output_dir.resolve()}' và '{tmp_csv_dir.resolve()}' tồn tại.")
    except OSError as e:
        print(f"Lỗi khi tạo thư mục: {e}")
        return

    # Khởi tạo DocumentConverter
    converter = DocumentConverter()

    # Xử lý các tệp trong thư mục đầu vào
    for file_path in input_dir.iterdir():
        # Kiểm tra nếu đường dẫn là một tệp và không phải là thư mục
        if file_path.is_file():
            print(f"Đang xử lý tệp: {file_path.name}")

            original_file_path = file_path

            # Kiểm tra xem tệp có phải là tệp Excel không
            if file_path.suffix.lower() in ['.xlsx', '.xls']:
                print(f"Đã phát hiện tệp Excel. Chuyển đổi '{file_path.name}' sang CSV trước.")
                try:
                    # Đọc tất cả các sheet từ tệp Excel
                    xls = pd.ExcelFile(file_path)
                    all_sheets_df = pd.DataFrame()
                    for sheet_name in xls.sheet_names:
                        print(f"  - Đang đọc sheet: {sheet_name}")
                        df = pd.read_excel(xls, sheet_name=sheet_name)
                        all_sheets_df = pd.concat([all_sheets_df, df], ignore_index=True)

                    csv_file_path = tmp_csv_dir / file_path.with_suffix('.csv').name
                    all_sheets_df.to_csv(csv_file_path, index=False)
                    file_path = csv_file_path
                    print(f"Đã chuyển đổi thành công Excel sang CSV tạm thời: {file_path.name}")
                except Exception as e:
                    print(f"Không thể chuyển đổi tệp Excel '{original_file_path.name}' sang CSV. Lỗi: {e}")
                    continue

            try:
                # Chuyển đổi tài liệu bằng converter
                result = converter.convert(file_path)

                # Xuất tài liệu sang định dạng markdown
                output_content = result.document.export_to_markdown()

                # Định nghĩa đường dẫn tệp đầu ra dựa trên tên tệp gốc
                output_file_path = output_dir / original_file_path.with_suffix('.md').name

                # Ghi nội dung đầu ra vào tệp mới
                with open(output_file_path, "w", encoding="utf-8") as f:
                    f.write(output_content)
                print(f"Đã chuyển đổi thành công sang markdown: '{output_file_path.name}'")

                # Xuất tài liệu sang định dạng JSON
                json_output = result.document.export_to_dict()
                json_file_path = output_dir / original_file_path.with_suffix('.json').name
                with open(json_file_path, "w") as fp:
                    fp.write(json.dumps(json_output, indent=4))
                print(f"Đã tạo đầu ra JSON thành công: '{json_file_path.name}'")

            except Exception as e:
                print(f"Không thể chuyển đổi tệp '{file_path.name}'. Lỗi: {e}")
        else:
            print(f"Bỏ qua đường dẫn không phải tệp: {file_path}")

if __name__ == "__main__":
    main()

python app4.py
Đã đảm bảo thư mục '/Users/xxx/Devs/docling-excel/output' và '/Users/xxx/Devs/docling-excel/tmp_csv' tồn tại.
Đang xử lý tệp: Bank Extraction.xlsx
Đã phát hiện tệp Excel. Chuyển đổi 'Bank Extraction.xlsx' sang CSV trước.
  - Đang đọc sheet: RECAP 2013-2014 old
  - Đang đọc sheet: RECAP2012-2013
  - Đang đọc sheet: RECAP 2014
...